Gemma-3-TAIDE-12b-Chat-GGUF

• English Version

基於 taide/Gemma-3-TAIDE-12b-Chat 使用 llama.cpp b6298 版量化過的模型。

模型簡介

• TAIDE計畫致力於開發符合台灣語言和文化特性的生成式人工智慧對話引擎模型，同時建構可信任的人工智慧環境。結合產學研能量，推動可信任生成式人工智慧的發展，提升台灣在國際競爭中的地位，促進產業發展，避免對外國技術的依賴。
• Gemma 3 TAIDE 系列模型以 Google 公司釋出的 Gemma 3 12b 為基礎，導入台灣不同領域可用的文本與訓練素材，提高模型在正體中文回應的能力與特定任務的表現。公開釋出的模型如下:
  • Gemma-3-TAIDE-12b-Chat: 以 Gemma-3-12b-pt 為基礎，使用正體中文資料預訓練 (continual pretraining)，並透過指令微調(instruction tuning)強化辦公室常用任務和多輪問答對話能力，適合聊天對話或任務協助的使用情境。

支援模態

• 輸入：文字（建議僅以文字輸入）
• 輸出：文字

模型參數

• 參數量: 12.4B
• 最大內容長度 (context length): 128K
• 繁中訓練資料 token 量: 46B
• 訓練時間: 642 H200 GPU Hours

特色

• 針對台灣在地文化、用語、國情等知識做加強
• 嚴格把關模型的訓練資料，提升模型生成資料的可信任性和適用性
• 針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強
• 具備多輪問答對話能力

應用範例

使用說明

• 範例程式
• prompt 樣版
  • 一般問答用法

    chat = [
        {"role": "user", "content": "{question}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {question} 替換成使用者的輸入
  • 加入 system prompt 的用法

    chat = [
        {"role": "system", "content": "{sys}"},
        {"role": "user", "content": "{question}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {sys} 替換成指令。
    • 將 {question} 替換成使用者的問題
  • 多輪問答用法

    chat = [
        {"role": "system", "content": "{sys}"},
        {"role": "user", "content": "{question1}"},
        {"role": "assistant", "content": "{model_anwer_1}"},
        {"role": "user", "content": "{question2}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {sys} 替換成指令，例如：你是一個來自台灣的AI助理，你的名字是 TAIDE，樂於以台灣人的立場幫助使用者，會用正體中文回答問題。
    • 將 {question1} 替換成使用者的問題1
    • 將 {model_anwer_1} 替換成模型的回答1
    • 將 {question2} 替換成使用者的問題2
  • 更多細節請參考Gemma 3 Model Card

訓練方法

• 軟硬體規格
  • 國網中心 H200
  • 訓練框架: PyTorch
• 資料前處理
  • 字元標準化
  • 去除重覆
  • 去除雜訊
    • 網頁資料的html tag、javascript
    • 非標準字元或亂碼
    • 字數過短的文章
    • 去除文章中的特定格式，如為排版增加的換行
  • 去除個資，如email、電話
  • 去除不當文字，如賭博、色情等
• 持續預訓練 (continual pretraining, CP)
  • 補充大量來源可信賴的正體中文知識
  • 超參數 (hyper parameters)
    • optimizer: FusedAdam
    • learning rate: 1e-4
    • batch size: 4M tokens
    • epoch: 1
• 微調 (fine-tuning, FT)
  • 讓模型可針對正體中文提問回答問題
  • 超參數 (hyper parameters)
    • optimizer: FusedAdam
    • learning rate: 3e-6
    • batch size: 4M tokens
    • epoch: 5

訓練資料

• 持續預訓練資料(資料量約為240G) | 資料集 | 資料描述 | | --- | -------- | | 訴訟資料 | 《司法院裁判書》自2013年1月至2023年12月各級法院民事、刑事、行政訴訟資料。 | | 中央社 | 《中央社中文新聞》資料集含中央社自1993年6月至2024年12月，共31.5年份之每日新聞文章。內容涵蓋國內外政治、社會、財經、文教、生活等領域。 | | ETtoday 新聞雲 | 《ETtoday新聞雲》資料，包含自2011年10月至2024年11月的資料。 | | 立法院公報 | 《立法院公報》包含自第8屆第1會期至第10屆第7會期之公報資料。 | | 出版商網站書籍介紹 | 包含三采、Gotop出版商網站上的書籍簡介。 | | GRB 研究計畫摘要 | GRB為收錄由政府經費補助之研究計畫及其成果報告的資訊系統，此資料集主要收錄 1993年至 2023年之研究計畫摘要以及研究報告摘要，含中文及其英文對照。 | | 學術會議論文摘要 | 收錄《學術會議論文摘要資料庫》中自1988至2009年由台灣所舉辦之學術會議論文。 | | 光華雜誌 | 《台灣光華雜誌》含自1993年7月至2023年6月的文章，共30年份。內容著重於我國文化、觀光與民情等。 | | 樂詞網 | 《樂詞網》涵蓋文理領域約187萬則學術名詞及其譯名對照。 | | 各部會資料 | 包含行政院「國情簡介」、文化部「國家文化記憶庫」、國發會「檔案支援教學網」、交通部「交通安全入口網」等部會網站資料之部分資料。 | | 今周刊 | 《今周刊》為一以財經為主的週刊雜誌，此資料集涵蓋2008年1月至2023年7月的文章。 | | 教育部國語辭典、成語辭典 | 包含以下三項資料:<br>教育部《成語典》，含5,338條成語，內容包含每條成語的釋義、典故原文及其白話說明、用法說明、例句等。<br>教育部《重編國語辭典修訂本》，收錄中文單字及各類辭彙，包含讀音、部首、釋義等資訊，共約165,539筆資料。<br>教育部《國語辭典簡編本》，為《重編國語辭典修訂本》的簡編版本，共45,247筆資料。 | | 科技大觀園資料 | 含《科技大觀園網站》上的科學新知以及科普文章。 | | iKnow 科技產業資訊室 | 《科技產業資訊室（iKnow）》提供台灣及全球的科技市場趨勢、策略分析、專利知識，及技術交易資訊，專注於科技產業的創新與發展，包含自 2008 年至 2023 年。 | | 科學發展月刊 | 《科學發展月刊》為國科會為推廣科學教育而出版的科普刊物，含自2004年10月至2020年12月之科普文章；2021年起，以《科技魅癮》季刊重新出發，提供國際關注科技議題的新知文章。 | | 法規資料庫 | 《法規資料庫》含截自 112 年 10 月各政府部門最新發布之中央法規、行政規則、法規命令草案及地方自治法規等。 | | 各地政府旅遊網 | 涵蓋台灣部分縣市地方政府觀光旅遊網站上之部分資料。 | | 國教院課程綱要(十二年國教) | 含十二年國教課程綱要之總綱以及各級學校不同科目之課程綱要。 | | 中央社譯名檔資料庫 | 《中央社譯名檔資料庫》蒐集中央社新聞業務上翻譯過的中外姓氏、人名、組織、地名等譯名對照。 | | RedPajama-Data-V2 | 從國外開放多國語言語料庫 RedPajama-Data-v2 取出英文資料 | | MathPile-commercial | 國外開放數學語料庫 MathPile-commercial | | 中文維基百科 | 《中文維基百科》截至2023年1月所有條目的內容。 | | github-code-clean | 為 github 開源程式碼資料集，去除unlicense的程式碼和文件。 |
• 微調資料
  • TAIDE團隊訓練Llama3及Gemma-3系列模型來產生微調資料，產生的任務包含世界知識、創意寫作、普通常識、翻譯、摘要、程式、台灣價值等單輪或多輪對話問答，共 220K 筆。

模型評測

• TMMLU +

  • 評測資料

    • STEM, Humanities, Social Sciences, Other (Business, Health, Misc.)，共66個子類別，20,118 題。

  • 評測方法

    • 評分程式: lm-evaluation-harness

  • 評測分數 | 模型 | STEM | Humanities | Social Sciences | Other | 平均 | | --- | ----- | ----- | ---- | ---- | ---- | | Gemma-3-TAIDE-12b-Chat | 48.00 | 47.59 | 58.19 | 45.68 | 49.95 | | Gemma-3-12b-it | 56.00 | 44.41 | 60.52 | 50.36 | 53.82 | | Llama-3.1-TAIDE-LX-8B-Chat | 42.11 | 46.23 | 50.96 | 43.22 | 45.58 |

    • 由於 Gemma-3-TAIDE-12b-Chat 有特別加強台灣相關知識，故同時參考 TMMLU+ 的台灣相關指標 （台灣地理、台灣用語、閩南語）。 | 模型 | 台灣地理 | 台灣用語 | 閩南語 | | --- | ----- | ----- | ---- | | Gemma-3-TAIDE-12b-Chat | 69.14 | 80.53 | 38.76 | | Gemma-3-12b-it | 60.93 | 71.68 | 28.68 | | Llama-3.1-TAIDE-LX-8B-Chat | 62.36 | 75.10 | 31.78 |

• taide-bench

  • 評測資料
    • 寫文章、寫信、摘要、英翻中、中翻英，共500題
    • 資料連結: taide-bench
  • 評測方法
    • gpt-4o評分
    • 評分程式: taide-bench-eval
  • 評測分數 | 模型 | 中翻英 | 英翻中 | 摘要 | 寫文章 | 寫信 | 平均 | | --- | ----- | ----- | ---- | ---- | ---- | --- | | Gemma-3-TAIDE-12b-Chat | 7.99 | 8.46 | 7.64 | 9.73 | 9.57 | 8.67 | | Gemma-3-12b-it | 8.24 | 8.44 | 7.77 | 9.60 | 9.46 | 8.70 | | Llama-3.1-TAIDE-LX-8B-Chat* | 6.99 | 7.26 | 9.17 | 8.80 | 7.18 | 7.88 |

*註：由於更換評測 judge prompt，故 Llama-3.1-TAIDE-LX-8B-Chat 的 taide-bench 評測分數與前次釋出的分數不同。

授權條款

• （Gemma 版次）-TAIDE 模型授權條款

免責聲明

• LLM 模型由於設計架構的限制，以及資料難免有偏誤，語言模型的任何回應不代表 TAIDE 立場，使用前需要額外加入安全防護機制，且回應內容也可能包含不正確的資訊，使用者請勿盡信。

開發團隊

• https://taide.tw/index/teamList

相關連結

• TAIDE官網
• TAIDE Huggingface
• TAIDE Github

Citation

• TAIDE官網