CancriV2-0.5B-Chat

Cancri 500M DPO6

一个自定义 PyTorch 语言模型（Cancri 500M 系列，DPO 第 6 版），基于黑板分段注意力架构。

模型配置

• vocab: 32,000
• d_model: 1536
• n_layer: 16
• n_head: 24, n_kv_head: 4
• intermediate: 4096
• rope_theta: 500000
• board memory slots (m): 32
• 总参数量约 439M

文件说明

• cancri_500m_dpo6.ckpt — 模型权重（PyTorch state_dict + cfg）。
• tokenizer.json — 32k BPE tokenizer，训练时使用。
• model.py — CancriGPT 模型定义、load_model、generate_board 等推理函数。
• run.py — 命令行推理脚本。
• requirements.txt — 运行依赖。

安装

pip install -r requirements.txt

推理示例

使用 ChatML 模板（推荐，DPO 底座在该模板下才进入“助手”模式）：

python run.py --prompt "你好" --chatml --device cpu

关闭 ChatML，只做续写：

python run.py --prompt "一元二次方程 ax²+bx+c=0 的求根公式是" --no-chatml --max-new 128

调整采样参数：

python run.py --prompt "用三句话解释光合作用" \
  --temperature 0.7 --top-p 0.9 --repetition-penalty 1.1 \
  --max-new 256 --device cuda

Tokenizer 特殊符号

• <|pad|> — id 2
• <|end_of_text|> — id 1
• <|im_start|> — id 3
• <|im_end|> — id 4（ChatML 停止符）

在代码里调用

import torch
from tokenizers import Tokenizer
from model import load_model, generate_board, PAD_ID

model, ck = load_model("cancri_500m_dpo6.ckpt", "cpu")
tok = Tokenizer.from_file("tokenizer.json")

prompt = (
    "<|im_start|>system\n你是一个乐于助人的中文助手。<|im_end|>\n"
    "<|im_start|>user\n你好<|im_end|>\n"
    "<|im_start|>assistant\n"
)
ids = torch.tensor(tok.encode(prompt).ids, dtype=torch.long)
im_end_id = tok.token_to_id("<|im_end|>")

out = generate_board(
    model, ids,
    max_new_tokens=256,
    seg_len=512,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.1,
    pad_id=PAD_ID,
    device="cpu",
    eos_id=im_end_id,
)
reply = tok.decode(out[len(ids):]).strip()
print(reply)

注意事项

• 当前 checkpoint 已去除 optimizer，可直接通过 load_model() 加载。
• 默认 seg_len=512，prompt + max_new_tokens 应小于该长度。
• requirements.txt 未包含 Gradio / ZeroGPU 依赖；如需部署为 Hugging Face Space，请参考 cancri-500m-space/ 目录下的 app.py、README.md。