Qwen3.5-27B-Ancient-Scheme1b-Tender100

Qwen3.5-27B Ancient — Scheme1b Tender100

本仓库是古语释义与翻译训练 scheme1b tender run 的 checkpoint100 完整合并模型。496个LoRA模块已合入权重，可直接加载，无需另挂adapter，也不要再次合并同一adapter。

上游架构为Qwen3.5-27B；直接训练起点是项目内部已合并的stage2 SFT checkpoint227。此处的“100”指后续RL的optimizer global step，不是SFT步数。模型包含12个BF16 safetensors分片及完整tokenizer、配置、chat template。合并采用FP32的B@A与加法，再转回基础权重dtype；具体校验信息见MODEL_PROVENANCE.json。

已有评估

本checkpoint已完成固定96题快测：维吾尔文、传统蒙古文、藏文各包含释义和翻译两个bucket，每bucket16题。它尚未完成2300题全测。

100相对90的加权reward差为+0.004487，探索性95%配对区间为[−0.022955,+0.030698]，跨零。这支持优先验证100，尚不证明可靠提升。增分主要集中于两题格式恢复和一题答案缩短；reward对参考措辞敏感，不等同于语义正确率。0/96也不能证明全测无格式退化。

各checkpoint使用相同题面、prompt、seed和生成预算；90复用原全测首答，批组成与新快测不同。测试集已用于选点/debug，并非未接触的holdout。每个bucket只有16题，区间未校正多checkpoint选择。详见evaluation_summary.json。

训练使用最终答案奖励、hard format gate、dropout关闭、β=0.001、DAPO全局有效token归一化和std floor=0.02。当前奖励没有直接保证思考内容可信；低非零方差组会缩小advantage，而不是自动整组丢弃。思考流畅、格式合规均不等于答案正确。

使用

本次实际文本评测环境为Transformers 5.16.1、vLLM 0.23.0、Torch 2.11.0和ms-swift 4.5.2。虽然保留了原多模态架构，本轮只验证了文本任务。

使用仓库内system_prompt.txt保留任务和输出约定。chat template须开启enable_thinking=True，最终答案使用<ANS>…</ANS>；不要自动删除重复标签再当作原始合规结果。

from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

repo = "MooreMuaMu/Qwen3.5-27B-Ancient-Scheme1b-Tender100"
tokenizer = AutoTokenizer.from_pretrained(repo)
with open(hf_hub_download(repo, "system_prompt.txt"), encoding="utf-8") as f:
    system_prompt = f.read()
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "请将以下原文翻译为简体中文：<在这里填入原文>"},
]
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=True
)
llm = LLM(
    model=repo, tensor_parallel_size=4, dtype="bfloat16",
    max_model_len=16384, max_num_seqs=32, max_num_batched_tokens=8192,
    enforce_eager=True, enable_prefix_caching=False,
    gpu_memory_utilization=0.78,
    limit_mm_per_prompt={"image": 0, "video": 0}, mm_processor_cache_gb=0,
)
params = SamplingParams(
    temperature=0.7, top_p=0.95, top_k=-1, max_tokens=8192,
    skip_special_tokens=False, seed=20260906,
)
result = llm.generate([prompt], params)[0].outputs[0]
print(result.text)

示例为加载方式，不是额外的模型评测结果。原快测逐题使用冻结seed，保留全部首答，不重试或修复失败。