olmo2-0.837b-zh-en-dpo

olmo2-0.837b-zh-en-dpo

从零训练的 0.837B 中英双语对话模型（DPO 对齐版）。纯个人学习项目，完整走完 「语料 → Tokenization → 预训练 → SFT → DPO → 评测」全流程。

模型信息

本仓库为 DPO 最终产物；SFT 版本见 zhubolin/olmo2-0.837b-zh-en-sft。

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer

path = "zhubolin/olmo2-0.837b-zh-en-dpo"
tok = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, dtype="bfloat16", device_map="auto")

messages = [{"role": "user", "content": "保持健康的三个提示。"}]
text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=False)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

生成停止符：eos_token_id = [151645, 151643]（<|im_end|> / <|endoftext|>）， Qwen 模板生成会在 <|im_end|> 处正常停止。

评测

OpenCompass（core 数据包子集，约 9.5K 题，SFT/DPO 同题对比）：

局限性

• 0.8B 小模型：事实性知识薄弱，会一本正经地胡说八道（幻觉），不要用于事实查询。
• 训练数据为纯语言指令/对话，未做代码、数学专项训练，也不含安全对齐。
• 预训练语料的中英配比约 3:7，英文能力强于中文。
• 仅供学习交流，生产使用需自行评估数据许可与安全风险。