Downloads · 30 days
40
18% of all-time downloads
minne100/qwen36-35b-a3b-colibri-i8
qwen36-35b-a3b-colibri-i8 is a machine learning model from minne100. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for colibri.
colibri 运行时容器(container)格式的 Qwen3.6-35B-A3B(35B 总参数 / 3B 激活,MoE)。 引擎仓库:https://github.com/JustVugg/colibri (c/qwen36.c)。
Downloads · 30 days
40
18% of all-time downloads
All-time downloads
228
Public
Repo size
46 GB
Likes
2
Public
Click a slice to open those files.
.safetensors37.2 GB · 100%
From the Hugging Face model README
colibri 运行时容器(container)格式的 Qwen3.6-35B-A3B(35B 总参数 / 3B 激活,MoE)。
引擎仓库:https://github.com/JustVugg/colibri (c/qwen36.c)。
命名说明:仓库名带
i4是规划期的历史命名。本仓库实际权重是 int8(不是 int4),约 35 GB。 这是因为当前qwen36引擎只实现了 int8 专家反量化;int8 比 int4 量化损失更小、输出更准。 若以后引擎支持 int4,会另开i4仓库。
g|u|d 合并为 int8 merged_weight + f32 .qs 缩放,完全复用了 olmoe 的布局;
稠密层(embed、注意力、norm)以 f32 常驻。model.layers.{i}.linear_attn.*,由引擎里的循环 gated-delta-rule 递推执行。config.json # 已为 colibri 引擎“扁平化”:顶层含 hidden_size / num_hidden_layers /
# vocab_size / rms_norm_eps / rope_theta(见下“对原版 config 的改动”)
tokenizer.json # Qwen3.6 分词器(引擎自动加载,直接打印可读文本)
qwen36_meta.json # 引擎读取的全部维度(head_dim / rope_dim / moe 路由 / DeltaNet 维度等)
model-00000..00039.safetensors # 分片权重(int8 merged_weight + .qs)
model-globals.safetensors # 全局权重(f16)
cap=8(每层常驻 8 个专家槽位)下常驻约 9–10 GB(峰值 RSS ~10–11 GB),稳稳装进 16 GB 笔记本。这是 C 程序(不是 Python)。从源码编译 c/qwen36.c:
cd c && make qwen36mingw32-make 需要 sh.exe(WinLibs 不含),直接 gcc 编译:
gcc -D_FILE_OFFSET_BITS=64 -O3 -march=native -fopenmp -o qwen36.exe qwen36.c -lm -fopenmp -static -lpsapi
本仓库已在 Windows 11 + MinGW-w64 (GCC 16) + 16 GB 上验证通过。引擎直接用原始文本做输入——编码(文本 → token)和解码(token → 文本)都在 C 里完成,你不需要任何预分词。
把你想问的话写进一个纯文本文件,比如 prompt.txt:
Explain the Gated DeltaNet architecture in one sentence. 请简要说明门控DeltaNet的结构。
想用聊天格式?直接把特殊 token 写进文件即可(引擎会自动识别 <|im_start|> / <|im_end|> 等):
<|im_start|>user
Hello, world! 你好,世界。<|im_end|>
<|im_start|>assistant
设置 SNAP 指向本仓库目录,运行:
export SNAP=/path/to/this/repo # Windows: $env:SNAP="C:\path\to\repo"
./qwen36 8 8 prompt.txt # Windows: .\qwen36.exe 8 8 prompt.txt
N_NEW 控制(默认 64):N_NEW=128 ./qwen36 8 8 prompt.txt。tokenizers 逐 token 一致),再 prefill + 贪心生成 N_NEW 个 token,并把输出逐 token 流式解码成可读文本(像聊天一样一个字一个字蹦出来)。./qwen36 8 8 prompt.txt > out.txt 会得到只包含生成文本的 out.txt,可干净地管道给下游程序。NOSTREAM=1 即可(内存/速度不变,只是输出时机不同)。$ ./qwen36 8 8 prompt.txt # stdout 实时吐出生成文本:
assistant
G
$ ./qwen36 8 8 prompt.txt 2>diag.log # 诊断信息全在 diag.log,stdout 只有纯文本
设 OPENAI=1 让引擎输出 OpenAI Chat Completions 格式(默认流式 = SSE,配 NOSTREAM=1 则输出单个 JSON 对象)。
诊断信息仍走 stderr,stdout 只含 OpenAI 格式的响应,可直接对接 OpenAI SDK / 兼容前端。
流式(默认):逐 token 发 data: {...} SSE 块(object: chat.completion.chunk,首块带 role:assistant,末块带 finish_reason:"stop" + usage + timings,最后 data: [DONE])。
非流式:一次性输出单个 chat.completion JSON(choices[0].message.content 为完整文本)。
每个响应都带 usage(prompt_tokens / completion_tokens / total_tokens)和 timings:
ttft_s:首 token 输出时间(从生成开始到第一个 token,含 prefill)tokens_per_sec:解码生成速度 = completion_tokens / (total_s − ttft_s),只算生成阶段、不含 prefill(与 vLLM/llama.cpp 的 eval-rate 口径一致;单 token 退化时回退为 completion_tokens / total_s)total_s:总耗时(从生成开始到结束,含 prefill)模型名可用 MODEL= 覆盖(默认 qwen3.6-35b-a3b-colibri)。
OPENAI=1 ./qwen36 8 8 prompt.txt # SSE 流式,兼容 OpenAI 流
OPENAI=1 NOSTREAM=1 ./qwen36 8 8 prompt.txt # 单个 JSON 对象
# 非流式输出示例:
# {"id":"chatcmpl-...","object":"chat.completion","created":...,"model":"qwen3.6-35b-a3b-colibri",
# "choices":[{"index":0,"message":{"role":"assistant","content":"..."},"finish_reason":"stop"}],
# "usage":{"prompt_tokens":5,"completion_tokens":6,"total_tokens":11},
# "timings":{"ttft_s":6.181,"tokens_per_sec":0.547,"total_s":10.964}}
需要精确控制输入/续写 token 时,仍可传 .json(文件名以 .json 结尾即进入此模式):
{
"prompt_ids": [510, 5347, 273, 6181, 310],
"full_ids": [510, 5347, 273, 6181, 310, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
}
prompt_ids:输入 token id。full_ids:prompt + 想续写的 token。len(full_ids) − len(prompt_ids) 个 token,并打印 Matching tokens 与参考的对比。参数含义(ref.json 模式与文本模式通用):
| 参数 | 含义 |
|---|---|
cap(第 1 个,示例 8) | 每层常驻专家槽位数。256 专家 / topk=8 下 cap=8 即每层保留最近使用的 8 个专家解压在内存。越大→常驻越多、越快、越耗 RAM(默认 16)。 |
bits(第 2 个,示例 8) | 量化位宽参数(2..8)。引擎当前专家一律按 int8 反量化,对这份 int8 容器填 8 即可;该参数目前主要做日志标注。 |
| 第 3 个参数 | 文本文件(prompt.txt 等,非 .json)→ 文本 prompt 模式;.json → token 级续写模式。 |
config.json 的改动(重要)原版 HF config.json 把 hidden_size / num_hidden_layers / vocab_size / rms_norm_eps / rope_theta
嵌套在 text_config 下。colibri 引擎的 load_cfg() 从顶层读取这些字段(缺失即报错),
因此本仓库的 config.json 在保留原嵌套结构的同时,顶层补了这 5 个字段(值与嵌套一致)。
请勿删掉顶层字段,否则引擎将无法定位模型维度。
colibri 的 c/tools/convert_qwen36.py 从 HF 原模型转换而来(专家合并为 merged_weight + .qs,复用 olmoe 布局)。c/tools/_ref_dn.py --mode full 做 HF 余弦校验;
本仓库在 Spark(tiny 模型)上已对引擎做到 cosine ≥ 0.999 / top1 匹配。