Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit

Fork from taide/Llama3-TAIDE-LX-8B-Chat-Alpha1

4-bit Quantization

nf4_config = BitsAndBytesConfig(load_in_4bit=True,
                                bnb_4bit_use_double_quant=True,
                                bnb_4bit_compute_dtype=torch.bfloat16,
                                bnb_4bit_quant_type="nf4")

模型簡介

• TAIDE計畫致力於開發符合台灣語言和文化特性的生成式人工智慧對話引擎模型，同時建構可信任的人工智慧環境。結合產學研能量，推動可信任生成式人工智慧的發展，提升台灣在國際競爭中的地位，促進產業發展，避免對外國技術的依賴。
• Llama3 TAIDE 系列模型以 Meta 公司釋出的 LLaMA3-8b 為基礎，導入台灣不同領域可用的文本與訓練素材，提高模型在正體中文回應的能力與特定任務的表現。公開釋出的模型如下:
  • Llama3-TAIDE-LX-8B-Chat-Alpha1: 以 LLaMA3-8b 為基礎，使用繁體中文資料預訓練 (continuous pretraining)，並透過指令微調(instruction tuning)強化辦公室常用任務和多輪問答對話能力，適合聊天對話或任務協助的使用情境。Llama3-TAIDE-LX-8B-Chat-Alpha1 另外有提供4 bit 量化模型，量化模型主要是提供使用者的便利性，可能會影響效能與更多不可預期的問題，還請使用者理解與注意。

模型參數

• 參數量: 8B
• 最大內容長度 (context length): 8K
• 繁中訓練資料 token 量: 43B
• 訓練時間: 2336 H100 GPU Hours

特色

• 嚴格把關模型的訓練資料，提升模型生成資料的可信任性和適用性
• 針對自動摘要、寫信、寫文章、中翻英、英翻中等辦公室常用任務做加強
• 針對台灣在地文化、用語、國情等知識做加強
• 具備多輪問答對話能力

應用範例

使用說明

• 範例程式
  • 範例程式與文件後續會釋出到github
• prompt 樣版
  • 一般問答用法

    chat = [
        {"role": "user", "content": "{question}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {question} 替換成使用者的輸入
  • 加入 system prompt 的用法

    chat = [
        {"role": "system", "content": "{sys}"},
        {"role": "user", "content": "{question}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {sys} 替換成指令，例如：你是一個來自台灣的AI助理，你的名字是 TAIDE，樂於以台灣人的立場幫助使用者，會用繁體中文回答問題。
    • 將 {question} 替換成使用者的問題
  • 多輪問答用法

    chat = [
        {"role": "system", "content": "{sys}"},
        {"role": "user", "content": "{question1}"},
        {"role": "assistant", "content": "{model_anwer_1}"},
        {"role": "user", "content": "{question2}"},
    ]
    prompt = tokenizer.apply_chat_template(chat)
    

    • 將 {sys} 替換成指令，例如：你是一個來自台灣的AI助理，你的名字是 TAIDE，樂於以台灣人的立場幫助使用者，會用繁體中文回答問題。
    • 將 {question1} 替換成使用者的問題1
    • 將 {model_anwer_1} 替換成模型的回答1
    • 將 {question2} 替換成使用者的問題2
  • 更多細節請參考Llama3 文件

訓練方法

• 軟硬體規格
  • 國網中心 H100
  • 訓練框架: PyTorch
• 資料前處理
  • 字元標準化
  • 去除重覆
  • 去除雜訊
    • 網頁資料的html tag、javascript
    • 非標準字元或亂碼
    • 字數過短的文章
    • 去除文章中的特定格式，如為排版增加的換行
  • 去除個資，如email、電話
  • 去除不當文字，如賭博、色情等
• 持續預訓練 (continuous pretraining, CP)
  • 補充大量來源可信賴的繁體中文知識
  • 超參數 (hyper parameters)
    • optimizer: AdamW
    • learning rate: 1e-4
    • batch size: 1M tokens
    • epoch: 1
• 微調 (fine tune, FT)
  • 讓模型可針對繁體中文提問回答問題
  • 超參數 (hyper parameters)
    • optimizer: AdamW
    • learning rate: 5e-5
    • batch size: 256K tokens
    • epoch: 3

訓練資料

• 持續預訓練資料(資料量約為140G) | 資料集 | 資料描述 | | --- | -------- | | 訴訟資料 | 《司法院裁判書》自2013年1月至2023年12月各級法院民事、刑事、行政訴訟資料。 | | 中央社 | 《中央社中文新聞》資料集含中央社自1993年6月至2023年06月，共30年份之每日新聞文章。內容涵蓋國內外政治、社會、財經、文教、生活等領域。 | | ETtoday 新聞雲 | 《ETtoday新聞雲》資料，包含自2011年10月至 2023年12月的資料。 | | 立法院公報 | 《立法院公報》包含自第8屆第1會期至第10屆第7會期之公報資料。 | | 出版商網站書籍介紹 | 包含三采、Gotop出版商網站上的書籍簡介。 | | GRB 研究計畫摘要 | GRB為收錄由政府經費補助之研究計畫及其成果報告的資訊系統，此資料集主要收錄 1993年至 2023年之研究計畫摘要以及研究報告摘要，含中文及其英文對照。 | | 學術會議論文摘要 | 收錄《學術會議論文摘要資料庫》中自1988至2009年由台灣所舉辦之學術會議論文。 | | 光華雜誌 | 《台灣光華雜誌》含自1993年7月至2023年6月的文章，共30年份。內容著重於我國文化、觀光與民情等。 | | 樂詞網 | 《樂詞網》涵蓋文理領域約187萬則學術名詞及其譯名對照。 | | 各部會資料 | 包含行政院「國情簡介」、文化部「國家文化記憶庫」、國發會「檔案支援教學網」、交通部「交通安全入口網」等部會網站資料之部分資料。 | | 今周刊 | 《今周刊》為一以財經為主的週刊雜誌，此資料集涵蓋2008年1月至2023年7月的文章。 | | 教育部國語辭典、成語辭典 | 包含以下三項資料:<br>教育部《成語典》，含5,338條成語，內容包含每條成語的釋義、典故原文及其白話說明、用法說明、例句等。<br>教育部《重編國語辭典修訂本》，收錄中文單字及各類辭彙，包含讀音、部首、釋義等資訊，共約165,539筆資料。<br>教育部《國語辭典簡編本》，為《重編國語辭典修訂本》的簡編版本，共45,247筆資料。 | | 科技大觀園資料 | 含《科技大觀園網站》上的科學新知以及科普文章。 | | iKnow 科技產業資訊室 | 《科技產業資訊室（iKnow）》提供台灣及全球的科技市場趨勢、策略分析、專利知識，及技術交易資訊，專注於科技產業的創新與發展，包含自 2008 年至 2023 年。 | | 科學發展月刊 | 《科學發展月刊》為國科會為推廣科學教育而出版的科普刊物，含自2004年10月至2020年12月之科普文章；2021年起，以《科技魅癮》季刊重新出發，提供國際關注科技議題的新知文章。 | | 法規資料庫 | 《法規資料庫》含截自 112 年 10 月各政府部門最新發布之中央法規、行政規則、法規命令草案及地方自治法規等。 | | 各地政府旅遊網 | 涵蓋台灣部分縣市地方政府觀光旅遊網站上之部分資料。 | | 國教院課程綱要(十二年國教) | 含十二年國教課程綱要之總綱以及各級學校不同科目之課程綱要。 | | 中央社譯名檔資料庫 | 《中央社譯名檔資料庫》蒐集中央社新聞業務上翻譯過的中外姓氏、人名、組織、地名等譯名對照。 | | 童話書 | 共 20 本童話書，含湯姆歷險記、小飛俠、愛麗絲夢遊仙境、長腿叔叔等。 | | RedPajama-Data-V2 | 從國外開放多國語言語料庫 RedPajama-Data-v2 取出英文資料 | | MathPile-commercial | 國外開放數學語料庫 MathPile-commercial | | 中文維基百科 | 《中文維基百科》截至2023年1月所有條目的內容。 | | github-code-clean | 為 github 開源程式碼資料集，去除unlicense的程式碼和文件。 |
• 微調資料
  • TAIDE團隊訓練llama2系列模型來產生微調資料資料，產生的任務包含世界知識、創意寫作、普通常識、翻譯、摘要、程式、台灣價值等單輪或多輪對話問答共 128K 筆。微調資料後續會對外釋出。

模型評測

• taide-bench
  • 評測資料
    • 寫文章、寫信、摘要、英翻中、中翻英，共500題
    • 資料連結: taide-bench
  • 評測方法
    • gpt4評分
    • 評分程式: taide-bench-eval
  • 評測分數 | 模型 | 中翻英 | 英翻中 | 摘要 | 寫文章 | 寫信 | 平均 | | --- | ----- | ----- | ---- | ---- | ---- | --- | | Llama3-TAIDE-LX-8B-Chat-Alpha1 | 7.770 | 8.280 | 8.495 | 9.605 | 8.950 | 8.620 | | GPT3.5 | 8.880 | 8.810 | 7.450 | 9.490 | 8.750 | 8.676 | | TAIDE-LX-7B-Chat | 7.165 | 7.685 | 7.720 | 9.635 | 9.110 | 8.263 | | LLAMA2 7B | 6.075 | 4.475 | 5.905 | 2.625 | 3.040 | 4.424 | | LLAMA2 13B | 6.480 | 6.135 | 6.110 | 2.565 | 3.000 | 4.858 | | LLAMA2 70B | 6.975 | 6.375 | 6.795 | 2.625 | 2.990 | 5.152 |

授權條款

• Llama3-TAIDE 模型社群授權同意書

免責聲明

• LLM 模型由於設計架構的限制，以及資料難免有偏誤，語言模型的任何回應不代表 TAIDE 立場，使用前需要額外加入安全防護機制，且回應內容也可能包含不正確的資訊，使用者請勿盡信。

開發團隊

• https://taide.tw/index/teamList

相關連結

• TAIDE官網
• TAIDE Huggingface
• TAIDE Github
• Kuwa AI

Citation

• TAIDE官網