lyco-agent-qwen3-0.6b-ondevice

lyco-agent Qwen3-0.6B router v13（端侧 NL→CLI 路由器）

给 lyco_agent 用的端侧小模型：把自然语言翻译成一条 CLI 命令。 基于 Qwen/Qwen3-0.6B SFT，已量化为 GGUF Q4_K_M，纯 CPU（llama.cpp）可跑，适用于手机 / 单板 / 离线私有环境。

v13 = MVP 定版：在一组 2×2 对照实验（底座 0.6B vs 0.8B × 原始数据 vs 重组合成数据，共 v13/v14/v15/v16 四个检查点）中， v13 是全场唯一的「域内 + 跨域双优」——其余三个检查点都在另一维度上回退。详见下方「为什么是 v13」。

文件

推理必读

system prompt（训练与推理必须一致）：

你是 lyco_agent 的命令路由器。把用户的日常意图翻译成**一条**本地 CLI 命令。支持的域：hw(硬件)/gh(github)/ff(ffmpeg)/lb(行情持仓只读)/brush(shell 通用命令)。只输出命令本身，不要解释；不支持的请求输出 (无需调用硬件命令)。

⚠️ 必须关闭 thinking：训练使用 Qwen3 模板且 enable_thinking=False。 若推理时开启思考，模型会先输出长篇推理而不给命令。

llama-cli -m router_v13-Q4_K_M.gguf \\
  -sys "你是 lyco_agent 的命令路由器。把用户的日常意图翻译成**一条**本地 CLI 命令。支持的域：hw(硬件)/gh(github)/ff(ffmpeg)/lb(行情持仓只读)/brush(shell 通用命令)。只输出命令本身，不要解释；不支持的请求输出 (无需调用硬件命令)。" \\
  -p "列出我仓库里还没关的 issue" -n 64 --temp 0 -st \\
  --chat-template-kwargs '{"enable_thinking": false}'

llama-server -m router_v13-Q4_K_M.gguf -c 2048 --port 8080 \\
  --chat-template-kwargs '{"enable_thinking": false}'

新版 llama.cpp（0.4.1-dev+）已移除 -no-cnv，单轮退出用 -st。

读数

域内五域（held-out，_rag = system prompt 里追加能力表 schema，零额外训练）

跨域泛化（训练语料从未出现的 CLI，零样本）

exec 度量 = 剥掉 brush 前缀后命令是否精确命中 gold（该输出前缀是 lyco_agent 的执行管道格式）。

rust 臂是最干净的试金石：训练语料中 cargo 仅 160 条、rustup 59 条、cargo-zigbuild 0 条（且均为间接共现）， 属于「零专门训练数据」的纯泛化探测。结论：预训练先验 + gh/ffmpeg 真实对训练出的 NL→CLI 能力，能迁移到完全未见的工具链。

⚠️ 必读：与「未微调底座」的对照（2026-09-21 补测）

如果你要拿这个模型做零样本 CLI 迁移，请先看这一节。

我们在同一套协议（同 schema 注入块、同 greedy、同 enable_thinking=False）下， 补跑了未微调 Qwen/Qwen3-0.6B 原始权重的跨域分：

Δ_SFT = −43.3pp。没有任何一个训练臂超过未训练底座。

两个必须理解的限定条件，否则会误读：

1. base 的 85% 完全依赖 schema 注入——不给 schema（plain 臂）时 base 同样是 0–8%。 也就是说，这份能力来自**「把命令清单放进上下文」这个协议**，不是权重里的知识。
2. v13 仍然值得用，因为它的价值不在跨域，而在：
   • 域内 + 真 tool-call：列出没关的issue → gh issue list、空调26度 → hw air 26 （base 做不到稳定产出这条命令形态，plain 臂 0%）
   • 格式稳定：域内 hw_A 98.8% / noop 94.4%
   • 体积与速度可接受：484MB / 77–90 TPS（780M Vulkan）

给使用者的直接建议：

• 想扩到新 CLI → 优先用 schema 注入 + 原始底座，别指望 SFT 产物能迁移；
• 想要域内稳定命令输出与 tool-call 形态 → 用本模型（v13）；
• 两者叠加（同一进程里按域切换）是我们下一步在做的方向。

⚠️ 安全：这个模型不会拒绝

reject 集合准确率 0%（跨所有检查点与 CLI 一致）：给危险请求（cargo publish、删除类命令）它照样输出命令，甚至对「最该拒绝」的请求最自信。

这是设计取舍，不是缺陷：把安全判定从模型层移出、交给执行层。

任何把本模型接到真实 shell 的系统，必须自己实现 ≥T1 执行门（危险命令确认 / 参数白名单 / 不拼 shell）。 模型层保证不了拒绝。

为什么是 v13（2×2 矩阵）

机制结论：「重组合成」是放大器，而放大器需要容量余量做燃料——0.6B 没有余量去消化「模板原子 + 重组组合」双层知识， 砍掉热门模板频次反而直接伤害基频能力。该方向留档为「1B+ 再战」（v2）。

加了 base 基线后必须补充的更根本结论（2026-09-21）：上表比的是训练臂之间； 一旦把未训练底座（85.0%）放进来，四个检查点全部低于它。 → 「换底座」「换配方」这两个维度都不是当前的主要矛盾； 主要矛盾是训练本身在磨掉预训练先验。因此本模型应被定位为 「域内稳定命令发生器 + tool-call 形态提供者」，而非「CLI 泛化引擎」。

已知局限

• ff_B 17.9%、lb_A 0–10.5%、bash_held 7.2%：这三个域/子集明显偏弱
• yt-dlp 跨域 0%：完全未见且形态特殊的 CLI 仍有上限
• 拒绝能力 0%：必须由外部执行层兜底（见上）
• 0.6B 容量的天花板已被三组对照实验确认，不是继续加同志数据能解的

训练与复现

• 实验日志：lyco_agent/docs/cli-router-experiments-2026-09-19.md（§5.12–§5.14）
• 训练脚本：lyco-ops/cloudstudio/a10_v13_train.py；评测：同目录 a10_zs_cli_eval.py / a10_zs_rust_eval.py
• 单阶段混合 SFT，Adafactor lr=2e-5，约 4100 条混合样本 × 4 epoch；GitHub 域使用 169 条 ALFA 真实 NL→CLI 对
• 数据纪律：held-out 评测与训练模板族 + 值域互斥，断言 0 泄漏

许可

继承基座 Qwen/Qwen3-0.6B：Apache-2.0。