Downloads · 30 days
1K
26% of all-time downloads
tony65535/llavon-ime-llama-250m-GGUF
llavon-ime-llama-250m-GGUF is a text generation model from tony65535. Use it when you need the model to write or continue text. The card lists the license as cc-by-nc-4.0.
tony65535/llavon-ime-llama-250m 的 GGUF 版本,可直接以 llama.cpp 載入。拉風輸入法安裝時下載的就是這裡的模型。
Downloads · 30 days
1K
26% of all-time downloads
All-time downloads
3.9K
Public
Repo size
4 GB
Likes
1
Public
Click a slice to open those files.
.gguf995 MB · 100%
From the Hugging Face model README
tony65535/llavon-ime-llama-250m 的 GGUF 版本,可直接以 llama.cpp 載入。拉風輸入法安裝時下載的就是這裡的模型。
這是專門把注音轉成繁體中文的小型語言模型(約 2.5 億參數),不是通用的聊天或文字生成模型,必須搭配專用的注音詞表與候選字遮蔽才能正常使用。
tony65535/llavon-ime-llama-250m| 檔案 | 大小 | 說明 |
|---|---|---|
llavon-ime-llama-250m-Q4_K_M.gguf | 153 MB | 建議使用,輸入法預設下載此版本 |
llavon-ime-llama-250m-Q3_K_M.gguf | 126 MB | 較小,實驗性質 |
llavon-ime-llama-250m-IQ3_M.gguf | 121 MB | 較小,實驗性質 |
llavon-ime-llama-250m-Q2_K.gguf | 100 MB | 最小,使用前請自行確認選字品質 |
llavon-ime-llama-250m-f16.gguf | 496 MB | F16 基準版本 |
<BOS> <前文字-0> <前文字-1> ... <注音-0> <注音-1> ... <SEP> <字-0> <字-1> ...
<SEP> 之後的每個位置對應一個注音音節;使用者已手動選定的字,直接以該字的 token 填入對應位置。模型為自迴歸(AR)模型,最基本的用法是在 <SEP> 之後逐字解碼。拉風輸入法另外會把上一輪的預測結果當作草稿,與本輪輸入一次送入模型批次驗證,直到第一個不一致的位置才改回逐字解碼。在精確算術下,結果與逐字解碼相同,也不需要額外的草稿模型。
上述 tokenizer、候選字遮蔽、草稿批次驗證與 KV cache 管理,都實作在拉風輸入法的推論核心 ime-core,自行整合時建議直接參考。
本儲存庫的 GGUF 權重依 創用 CC 姓名標示-非商業性 4.0 國際授權條款(CC BY-NC 4.0)釋出,僅限非商業目的使用。
本模型權重由本專案獨立訓練。本專案並不認為模型權重當然構成訓練資料的重製物、改作或衍生著作。
然而,訓練過程使用了部分標示為 CC BY-NC 4.0 的第三方資料集。考量原始資料的授權條款、部分來源權利狀態不明,以及潛在的著作權風險,本專案採取保守立場,以 CC BY-NC 4.0 釋出模型權重。
此授權選擇係基於風險管理及公開釋出的考量,不應解釋為本專案承認模型權重必然受任何特定訓練資料集授權條款的拘束。
本授權僅適用於模型權重;輸入法程式碼的授權,以各程式碼儲存庫所載者為準。
本模型權重不包含原始訓練語料,亦非以重現或散布訓練文本為目的。本專案並未就原始訓練資料集授予任何使用、重製或散布的權利。訓練資料來源說明詳見 DATA_SOURCES.md。