babyllm-chinese

<div align="center">

🍼 BabyLLM: 从零预训练中文小型语言模型

NLPCC 2026 ChineseBabyLM Challenge · SULAB Team

23 天 · 15 个版本迭代 · PPL 从 597 降至 38.68 (↓93.5%)

论文/报告 · GitHub · WandB · 挑战赛主页

</div>

---

📋 目录

• 项目概述
• 模型仓库索引
• 使用方法
• 模型评测
• 版本演进
• 技术架构
• 训练流水线
• 关键技术创新
• 参数效率分析
• 训练细节
• Tokenizer 说明
• 失败经验与教训
• 局限性
• 引用

---

项目概述

本项目参加 NLPCC 2026 首届 ChineseBabyLM 挑战赛，目标是在约 1 亿中文字符（~82M tokens）的儿童语料上，从头预训练一个高性能的小型中文语言模型。

核心约束

核心矛盾

100M tokens 的数据量远低于 Chinchilla 最优比例（tokens/params = 20–200×）。项目通过 15 个版本的系统实验验证：对 100M tokens，最优参数量为 40–55M（tokens/param ≈ 1.8–2.5×）。

---

模型仓库索引

本仓库包含 15 个版本、22 个模型检查点。按推荐程度排序：

🏆 推荐使用

🔬 研究参考

📜 早期版本

🔄 最新迭代

---

使用方法

快速开始

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载 V13 SOTA 模型
model = AutoModelForCausalLM.from_pretrained(
    "NLP-beginner/babyllm-chinese",
    subfolder="v13-sota",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("NLP-beginner/babyllm-chinese", subfolder="v13-sota")

# 文本生成
inputs = tokenizer("从前有一座山，", return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.8,
    top_p=0.9,
    do_sample=True,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

加载 V12 效率最佳模型

# V12: 仅 54.2M 参数，PPL=38.84，适合资源受限场景
model = AutoModelForCausalLM.from_pretrained(
    "NLP-beginner/babyllm-chinese",
    subfolder="v12-efficient",
    torch_dtype=torch.bfloat16,
)
tokenizer = AutoTokenizer.from_pretrained("NLP-beginner/babyllm-chinese", subfolder="v12-efficient")

计算 PPL

import math

def compute_ppl(model, tokenizer, text, max_length=1024):
    encodings = tokenizer(text, return_tensors="pt", truncation=True, max_length=max_length)
    input_ids = encodings.input_ids.to(model.device)
    
    with torch.no_grad():
        outputs = model(input_ids, labels=input_ids)
    return math.exp(outputs.loss.item())

text = "今天天气真好，我想出去玩。"
print(f"PPL: {compute_ppl(model, tokenizer, text):.2f}")

---

模型评测

官方评测结果（Official Evaluation）

评测配置: ZhoBLiMP/汉字/拼音为零样本评测; AFQMC/OCNLI/TNEWS/WSC2020 使用 finetune (lr=3e-5, batch=32, epochs=10)

ZhoBLiMP 15 维度详细分析 (V13)

诊断: 模型擅长浅层模式匹配（BA、量词搭配、fci_licensing），但在深层句法推理（照应、被动、NPI）上低于随机基线，表明 100M tokens 的数据量不足以学习深层语法。

---

版本演进

V1–V15 版本演进时间线。蓝色 = 成功，黄色 = SOTA，红色 = 失败。

各版本最佳验证集 PPL（对数刻度）。从 V2 的 597 到 V13 的 38.68，整体降幅达 93.5%。

完整版本对比

---

技术架构

模型架构 (V13 SOTA)

LlamaForCausalLM (94,246,656 params)
├── Tokenizer: SentencePiece Unigram (32K vocab)
├── Embedding: 768d (tied with LM head, 节省 ~24.6M 参数)
├── Transformer Blocks × 14
│   ├── RMSNorm (eps=1e-5, Pre-Norm)
│   ├── Self-Attention (SDPA / Flash Attention)
│   │   ├── Q: 12 heads × 64d = 768d
│   │   ├── K:  4 heads × 64d = 256d  (GQA, 3:1 压缩)
│   │   ├── V:  4 heads × 64d = 256d
│   │   └── RoPE (θ=10000, max_pos=1024)
│   ├── RMSNorm
│   └── FFN (SwiGLU)
│       ├── Gate: 768d → 2048d
│       ├── Up:   768d → 2048d
│       └── Down: 2048d → 768d
├── RMSNorm (final)
└── LM Head (768d → 32K, tied)

架构演进：GPT-2 → LLaMA

---

训练流水线

三阶段设计

Stage 2 MNTP (Masked Next Token Prediction)

MNTP 是本项目的核心创新之一，结合了 GPT 的因果语言建模和 BERT 的掩码预测：

• CLM:MNTP 动态比例: 25% → 12.5% → 6.25%（随训练进度递减）
• Mask 比例退火: 25% → 10%（逐步降低掩码比例）
• Focal Loss: 聚焦困难 token，γ=1.0 (Stage 2), 1.5 (Stage 1)

分阶段 PPL 改进

---

关键技术创新

技术贡献排名

核心公式

Perplexity (PPL):

PPL = exp( -1/N × Σ log p(x_i | x_{<i}) )

Focal Loss:

FL(p_t) = -(1 - p_t)^γ × log(p_t)
γ = 1.5 (Stage 1), 1.0 (Stage 2)

EMA (Exponential Moving Average):

θ_EMA = 0.999 × θ_EMA + 0.001 × θ

MNTP Loss:

L_MNTP = α × L_CLM + (1-α) × L_Mask
动态调整: α ∈ {0.25, 0.125, 0.0625}

EMA 定量贡献

📌 关键发现: EMA 在 Stage 1 (高 LR + 高噪声) 效果最显著，后续阶段收益递减。

---

参数效率分析

💡 Chinchilla Scaling Law 要求 tokens/param = 20200×。本项目仅 82M tokens，因此 4055M 参数是最优范围。V13 虽然 PPL 最低，但 94.2M 参数的效率不如 V12 的 54.2M。

---

训练细节

超参数配置 (V13 SOTA)

数据处理流程

原始数据 (babylm-zho-100M, ~2M 行)
    │
    ▼ 清洗: 去除过短行 (≤2 chars), 中文字符比例过滤
    │
    ▼ 去重: MD5 精确去重 + MinHash 近似去重 (threshold=0.7)
    │
    ▼ PPL 过滤: 用已训练模型计算每行 PPL, 过滤 max_ppl=250
    │
    ▼ 硬样本上采样: PPL>80 的样本 ×2
    │
    ▼ Tokenization: SentencePiece Unigram (32K vocab)
    │
    ▼ 分块: 滑动窗口 (max_length=1024, stride=512, 50% 重叠)
    │
    ▼ 分割: 95% 训练 / 5% 验证

---

Tokenizer 说明

Tokenizer 演进

ByteLevel BPE 的灾难性影响

示例: "今天天气真好" 的分词对比：

• ByteLevel BPE (V2): ['ä»Ĭ天天æ°Ķ', 'çľŁå¥½', 'ï', '¼', 'Į', ...] — 中文字符被拆成无意义的 UTF-8 字节
• SentencePiece (V3+): ['▁今天', '天气', '真好'] — 正确的字/词级别分词

这一差异导致 V2 (ByteLevel BPE) PPL=597，而切换到 SentencePiece 后 PPL 大幅改善，是全项目最大的单次技术贡献。

---

失败经验与教训

---

局限性

1. 数据量不足: 100M tokens 远低于 Chinchilla 最优比例，限制了模型能力上限
2. 深层语法推理弱: ZhoBLiMP 的 anaphor、passive、NPI 维度低于随机基线
3. CLUEWSC 固定: 所有版本均为 63.49% (MCC=0.0)，模型学到浅层启发式
4. 贪婪解码退化: 贪婪解码产生 token 级重复，需使用 sampling
5. 生成质量有限: 作为 94M 参数的小模型，生成能力有限

---

引用

如果本项目对您的研究有帮助，请引用：

@misc{babylm2026sulab,
  title={BabyLLM: From-Scratch Pre-training of Compact Chinese Language Models},
  author={SULAB Team},
  year={2026},
  howpublished={NLPCC 2026 ChineseBabyLM Challenge},
  url={https://github.com/C5-jpg/babyLLM}
}

参考文献

• Touvron et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971
• Su et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv:2104.09864
• Shazeer (2020). GLU Variants Improve Transformer. arXiv:2002.05202
• Lin et al. (2017). Focal Loss for Dense Object Detection. arXiv:1708.02002
• Loshchilov & Hutter (2016). SGDR: Stochastic Gradient Descent with Warm Restarts. arXiv:1608.03983
• Kudo & Richardson (2018). SentencePiece. arXiv:1808.06226
• Hoffmann et al. (2022). Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556

---

<div align="center">

🔗 相关链接

最后更新: 2026-06-05 · SULAB Team · NLPCC 2026

</div>