prefill-assistant-models

prefill-assistant checkpoints

伴随 zywang624/prefill-assistant。

每个checkpoint是什么、命名规则（前缀=模型、后缀=方法+预算）、哪些是flagged（错模型/训练中断/旧协议）， 完整清单见仓库里的 CHECKPOINTS.md （不放在这里，是为了这个HF仓库公开时不连带公开每个checkpoint具体是做什么用的）。

每个目录是一次训练：a.pt 是可训练状态（仅 FFN 三矩阵），a.step1000.pt 是中间存点， 门控的 run 另有 folded.pt（折叠成逐层宽度，评测用这个），train.log 含每步损失与留出集曲线。

关于 CALIBRATION-ONLY_gate75_old-protocol

它是旧批次的门控 75%（原名 c32k_gate2304）：旧数据池（150M token，同一份数据过 3.49 遍， 只覆盖 PG19 的 2/23 个分片）、窗口 128–256 离散两点。它之所以在这里，只有一个理由 —— 它在当前评测口径下的每个子任务分数都测过，所以另一台机器可以用它验证自己的流程是否正确。

预期分数与逐任务明细在仓库的 EVALUATING.md，摘要：

评测它必须用 --window 128，因为它是按 128–256 训的。用 512 评它会低估 —— 那是它没训练过的 regime。

不要把它的分数当作方法的结果。 新批次的门控 75%（b2_gate2304）用新数据池和连续窗口重训， 训完已经补进这个仓库，那个才是要展示的数。

数据

训练与评测数据在 mississippiu/prefill-assistant-data。