olmo3-190m-zh-v2-base

OLMo3-190M-zh-v2-base

中文 from-scratch pretrain 教学模型。本模型使用自训 48k 中文 BPE tokenizer 和约 3.3907B tokens 中文语料，从零训练 OLMo3-190M 架构 1 epoch。

这是《零基础 AI 大模型研发训练营》第 04 讲作业模型。它是 base model，不是 instruction/chat model；适合用于中文续写、继续预训练和后续 SFT。

来源与动机

本模型的目标是完整走通小型中文 LLM 的基础预训练链路：

原始中文语料
  -> 自训 48k 中文 BPE tokenizer
  -> 构建 3.3907B tokenized base 数据
  -> 从零训练 OLMo3-190M base model 1 epoch
  -> 生成评估
  -> 推送 HuggingFace

这条 v2 链路没有直接复用老师旧版 tokenized 数据，而是重新训练 tokenizer、重新构建 tokenized 数据，并同步模型 config 的 vocab_size 与特殊 token id。

架构

基于 OLMo3-190M causal LM 架构：

使用

from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("Nwna/olmo3-190m-zh-v2-base")
model = AutoModelForCausalLM.from_pretrained("Nwna/olmo3-190m-zh-v2-base")

inputs = tok("人工智能是", return_tensors="pt")
outputs = model.generate(
    **inputs,
    max_new_tokens=120,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
)
print(tok.decode(outputs[0], skip_special_tokens=True))

用于继续预训练 / SFT

这是 base model，没有对话能力。推荐用途是：

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Nwna/olmo3-190m-zh-v2-base")
# 继续做 continue pretrain 或作为 SFT 底座

训练配方

Tokenizer 与数据

数据主要来自：

超参

Loss 轨迹

最后 100 条训练日志的 train loss 平均约 3.797。训练结束在 step 12,288，最后一次 eval 发生在 step 12,000。

7-prompt 抽测表现

使用 src/eval.py 的采样生成设置：

max_new_tokens=120
do_sample=True
temperature=0.8
top_p=0.9
repetition_penalty=1.1

限制

1. 不是 chat / instruction model：没有经过 SFT 或 RLHF，不具备稳定对话能力。
2. 事实可靠性有限：190M 小模型在单轮 1 epoch 训练后仍会产生事实混淆。
3. 采样输出会波动：do_sample=True 时，同一 prompt 多次生成可能不同。
4. 上下文控制较弱：开放式 prompt 可能漂移到网页、列表、故事或百科腔。

License

• 模型权重：Apache-2.0
• 训练数据：混合来源。请根据各原始数据源许可确认下游使用边界。

配套资源

• Tokenizer: https://huggingface.co/Nwna/olmo3-190m-zh-v2-tokenizer
• Tokenized data: https://huggingface.co/datasets/Nwna/olmo3-190m-zh-v2-base-data
• Space demo: https://huggingface.co/spaces/Nwna/olmo3-190m-zh-v2-base
• Continue model: https://huggingface.co/Nwna/olmo3-190m-zh-v2-continue

Citation

@misc{nwna-olmo3-190m-zh-v2-base,
  title={OLMo3-190M-zh-v2-base: Chinese From-Scratch Pretrained Teaching Model},
  author={Nwna},
  year={2026},
  howpublished={\url{https://huggingface.co/Nwna/olmo3-190m-zh-v2-base}},
  note={LLM001 Course, Lecture 04 homework}
}