CNX-F01B-0.5M

CNX-F01B-0.5M

本仓库平等发布 F01b 的三个普通 PEFT LoRA adapter（训练种子 43、44、45）。没有选择或标记“best seed”；请仅为复现需要显式选择种子，不要依据这里的诊断 benchmark 进行 seed 选择。

模型与训练合同

• Base：Qwen/Qwen3-4B-Base，精确 revision 906bfd4b4dc7f14ee4320094d8b41684abff8539。
• 严格 no-think；训练 completion 为 fenced code，监督终止 token 为 151643，训练目标中 151645 计数为 0。
• 普通 LoRA：r=64、alpha=128、dropout 0.0；目标模块为 q/k/v/o_proj 与 gate/up/down_proj。
• F01b 的唯一方法轴改动：把 optimizer 更新组织为 60 个按监督 target token 平衡的窗口。其余共享训练合同保持不变。
• 剂量：500,170 个有效监督 target tokens，1,897 行；padding 0、oversampling 0、截断行 0。
• 三个训练种子：43 / 44 / 45，地位完全相同。

每个 seed43/、seed44/、seed45/ 子目录都包含可由 PEFT 直接加载的 adapter_config.json 和 adapter_model.safetensors。发布版配置将本地 Base 路径替换为公开模型 ID，并固定上述 revision；权重字节保持 receipt 哈希不变。

加载示例

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_id = "Qwen/Qwen3-4B-Base"
base_revision = "906bfd4b4dc7f14ee4320094d8b41684abff8539"
adapter_repo = "modrill/CNX-F01B-0.5M"
seed_subfolder = "seed43"  # seed43 / seed44 / seed45；三者平等

tokenizer = AutoTokenizer.from_pretrained(base_id, revision=base_revision)
base = AutoModelForCausalLM.from_pretrained(
    base_id,
    revision=base_revision,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(base, adapter_repo, subfolder=seed_subfolder)

messages = [{"role": "user", "content": "Write a Python function that ..."}]
inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    enable_thinking=False,
    return_tensors="pt",
).to(model.device)
outputs = model.generate(inputs, max_new_tokens=8192, eos_token_id=[151643, 151645])
print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))

Matched forensic 诊断结果

同一冻结 runner（SHA-256 6dd31dc3973f29ff964113295c835d73e992f0750552af626826e5ade44b7dee）下，3 个训练种子 × 3 个评测种子的 matched forensic final matrix v2 汇总为：

• HumanEval+：86.667%
• LCB DEV256：33.116%
• MBPP+：81.163%
• LCB 相对 official control：+1.215 pp，cluster-bootstrap 95% CI [-0.434, 2.865] pp，跨 0。
• LCB 相对 Base：+0.955 pp，cluster-bootstrap 95% CI [-1.563, 3.472] pp，跨 0。

这些结果仅为 diagnostic，不构成 survivor、winner 或 best-seed 声明，也未授权后续训练。终止审计汇总为 API finish_reason=stop 99.4179%（3928/3951）、长度 cap 0.5821%（23/3951）；现有 wire artifact 无法区分实际 stop ID 是 151643 还是 151645，因此不作终止机制声明。evaluation_summary.json 只含汇总分数、CI 和计数，不含题目、预测或 benchmark asset。

用途与限制

适用于 no-think 代码生成研究、可复现实验和下游评估。它不是经过生产安全、网络安全、事实性或所有编程语言验证的系统；生成代码可能错误、不安全或侵犯第三方权利，部署前必须人工审查并在隔离环境测试。公开诊断分数不应被用于从三个训练种子中挑选“最佳”模型。

本仓库不包含训练数据、benchmark 题目、预测、review、sandbox 产物、hidden 数据或内部日志。

许可证与数据说明

Base 模型在上述精确 revision 的 Hugging Face 模型卡中标注为 Apache-2.0。训练所用本地 materialized pool 的聚合 receipt 没有建立完整的上游数据许可证链，因此本发布不为 adapter 另行声明或推定许可证，也不把 Base 的许可证表述为训练数据权利。公开可下载不等于授予任何额外权利；使用者应自行核验适用条款。训练数据不随本仓库发布。

English summary

CNX-F01B-0.5M publicly releases three equally positioned standard PEFT LoRA adapters (training seeds 43/44/45) for the exact Qwen3-4B-Base revision above. F01b changes only the update boundary to 60 target-token-balanced optimizer windows. The matched results are diagnostic only; confidence intervals for the reported LCB deltas cross zero, no survivor/winner claim is made, and no best seed is selected. No raw training or benchmark content is included. The base is marked Apache-2.0, while this release makes no separate adapter-license claim because the complete upstream training-data license chain was not established by the aggregate receipts.