jijun-LM-GGUF

jijun-LM-GGUF — 58M 端側工具呼叫語意模型 (GGUF 格式)

the-walking-fish/jijun-LM 之 GGUF 量化版本（v4d，2026-10-15）

---

版本 (Version)

本 repo 目前為 v4d（2026-10-15），對應 the-walking-fish/jijun-LM 的 model-json/（同為 v4d）。

v4d 為 continue-SFT（v1 → v2 → v4b → v4c → v4d）最新一代，主打「使用者自訂分類名字面命中」修復：輸入句中出現的分類名若存在於 prompt 的 enum 內，即原樣抄寫（例：輸入 孝親費10000 即選 孝親費）。同時修復了 GGUF 分詞器前綴欄位缺失（見下方）。

量化規格列表 (Available Quantizations)

---

重要：tokenizer.ggml.pre（自訂 GGUF 載入者必讀）

本 repo 的 GGUF 一律寫入 tokenizer.ggml.pre = "olmo"，與訓練端 HuggingFace tokenizer.json 的 ByteLevel 前分詞逐 token id 對齊（實測 80 筆多域 prompt 零差異）。

若使用不認得此欄位的自訂載入器，CJK 混排 prompt 會被 llama-bpe 字節前綴切分、偏離訓練分佈，推論品質會明顯劣化（自訂分類名場景全滅）。llama.cpp / wllama / llama-cpp-python 等正規實作會自動讀取並套用，無需處理。

---

快速開始 (Quickstart)

輸入協定為裸 ChatML 拼接（無 HF chat template）；輸出為 <|tool_call|>包裷的 JSON tool call。

1. 使用 llama-cpp-python (Python 測試)

from llama_cpp import Llama

llm = Llama(
    model_path="bookkeeping_model_q4_0.gguf",
    n_ctx=2048,
    n_threads=4,
    verbose=False,
)

system_prompt = (
    "今天是 2026-12-01（星期二）。你是一個記帳助理。你被賦予了以下 tools:\n"
    '{"name": "add_record", "description": "新增一筆記帳記錄", "parameters": {"type": "object", "properties": {"amount": {"type": "number"}, "category": {"type": "string", "enum": ["飲食", "日常", "交通", "娛樂", "醫療", "教育", "還款", "薪水", "獎金", "零用錢", "兼職", "投資", "利息", "欠款回收", "其他"]}, "account": {"type": "string", "enum": ["現金", "信用卡", "悠遊卡", "一卡通", "街口支付", "LINE Pay", "Apple Pay", "Google Pay", "郵局帳戶", "銀行存款", "外幣帳戶", "加密貨幢", "悠遊付", "icash"]}, "description": {"type": "string"}, "type": {"type": "string", "enum": ["expense", "income"]}, "date": {"type": "string", "description": "ISO 8601 格式日期"}}, "required": ["amount", "category", "account", "type", "date"]}}'
)
prompt = (
    "<|im_start|>system\n" + system_prompt + "<|im_end|>\n"
    "<|im_start|>user\n早餐 60<|im_end|>\n"
    "<|im_start|>assistant\n"
)

out = llm.create_completion(prompt=prompt, max_tokens=300, temperature=0.0,
                            stop=["<|tool_result|>", "<|im_end|>"])
print(out["choices"][0]["text"])
# 預期：<|tool_call|>{"name": "add_record", "args": {"amount": 60, "category": "飲食", "account": "現金", "description": "早餐", "type": "expense", "date": "2026-12-01"}}<|tool_result|>

2. 在瀏覽器端使用 @wllama/wllama (JavaScript / PWA)

import { Wllama } from '@wllama/wllama';

const wllama = new Wllama({ 'llama.cpp': { suppressLog: true } });

await wllama.loadModelFromUrl(
  'https://huggingface.co/the-walking-fish/jijun-LM-GGUF/resolve/main/bookkeeping_model_q4_0.gguf');

const response = await wllama.createCompletion(prompt, {
  nPredict: 300,
  sampling: { temp: 0 },
  // stop 建議含標準 ChatML 與 tool 收尾標記
});
console.log(response);

---

評測（v4d，Greedy 全量自迴歸）

評測集（831 筆分層語料，含日期擺點），持續改善與遺忘防線實測：

---

授權 (License)

MIT License。分詞器借用 jingyaogong/minimind-3 之 Llama 相容詞表並動態註冊記帳特殊 Token；模型權重為自訓。