Downloads · 30 days
20
27% of all-time downloads
GGQuanta/Xenomi-nano
Xenomi-nano is a text generation model from GGQuanta. Use it when you need the model to write or continue text. It is set up for gguf. The card lists the license as apache-2.0.
Xenomi-nano 是玄幂家族的端侧档,面向路由、术语抽取、关键词与短文本判别。 本仓库提供合并后的 BF16 GGUF,可用 llama.cpp / llama-cli / llama-server 直接加载。
Downloads · 30 days
20
27% of all-time downloads
All-time downloads
74
Public
Repo size
1.5 GB
Likes
0
Public
Click a slice to open those files.
.gguf1.5 GB · 100%
From the Hugging Face model README
Xenomi-nano 是玄幂家族的端侧档,面向路由、术语抽取、关键词与短文本判别。
本仓库提供合并后的 BF16 GGUF,可用 llama.cpp / llama-cli / llama-server 直接加载。
Qwen/Qwen3.5-0.8B(Apache 2.0)同家族:4B = Xenomi-mini,27B = Xenomi-pro(规划),122B-A10B = Xenomi-max(规划)。
| 文件 | 格式 | 说明 |
|---|---|---|
xenomi-0.8b-p0-cuda-BF16.gguf | GGUF BF16 | 完整合并权重;约 1.4 GB |
本文件不含量子路由头(方案 C 的读出头是独立模块,不在 GGUF 内)。
身份金句门(thin-A)是服务侧规则,推理权重本身不内置拦截。
wsl-rtx5070,日期 2026-07-28。本 GGUF 为对应 adapter 的合并转出,未在 llama.cpp 上重跑同一套 eval。| 模型 | 路由 Acc | RAG Acc | NER micro-F1 | Keyword F1 | 短文本 Acc | Parse-OK |
|---|---|---|---|---|---|---|
| Qwen3.5-0.8B | 31.2 | 80.0 | 33.7 | 22.2 | 56.2 | 99.2 |
| Xenomi-nano | 95.0 | 83.8 | 74.7 | 74.1 | 100.0 | 100.0 |
相对基座:路由 +63.8、RAG +3.8、NER +41.0、关键词 +51.9、短文本 +43.8。五项门槛均为 PASS。
产品身份(叠加 thin-A v1.2):Identity 92%。
# 交互式 Chat
llama-cli -hf GGQuanta/Xenomi-nano:BF16 -cnv --jinja --reasoning off
# 或本地文件
llama-cli -m xenomi-0.8b-p0-cuda-BF16.gguf -cnv --jinja --reasoning off -c 8192
# OpenAI 兼容服务
llama-server -m xenomi-0.8b-p0-cuda-BF16.gguf --jinja --port 8080
Chat 模板为 Qwen3.5 / ChatML。默认可关思考(--reasoning off);需要 <think> 时设 --reasoning on。
建议系统提示(可选):
你是玄幂(Xenomi),由中科国光量超训练的量子计算 / 科研领域模型。
采样可从非思考档起步:temperature=0.7,top_p=0.8,top_k=20。
基座与本仓库权重按 Apache 2.0 提供。使用时请同时遵守 Qwen3.5 的许可与使用政策。