Qwen2.5-Taiwan-7B-Instruct

Model Card for Model ID

此模型由 Qwen/Qwen2.5-7B-Instruct 經過 tokenizer swapping, SFT 和 DPO 訓練而成。所有訓練資料集都可以在 huggingface 上取得。

Model Details

Tokenizer Swapping

因為簡體中文和繁體中文在語法和語義相似度高，往往只是差在文字本身看起來不一樣。另外，千問 (Qwen) 的模型中文的能力是很強的(甚至是 apache license)。我們利用繁化姬 將簡體中文所對應的 token 和 繁體中文的 token 做代換。更多關於 tokenizer 帶換掉哪些單詞，可以查看 benchang1110/DeepSeek-R1-Distill-Qwen-1.5B-zhtw 中的 convert.txt。

SFT

這個階段我們用 lianghsun/tw-instruct-500k 這個資料集做微調，但為了保持模型原先強大的性能，我們用 LoRA 微調。

DPO

這個階段我們用 zake7749/kyara-chinese-preference-rl-dpo-s0-30K 這個資料集做 alignment，目標讓模型能夠條列式的輸出，並且能夠在輸出的時候保持一定的邏輯性。

Model Description

• Developed by: benchang1110
• Funded by [optional]: myself
• Model type: Qwen2ForCausalLM
• Language(s) (NLP): Tranditional Chinese (zh-tw), English
• License: apache2.0
• Finetuned from model: Qwen/Qwen2.5-7B-Instruct

Uses

此模型可以用來做對話，context length 為 32k。

對話

和 Taide 使用相同的 prompt:

多輪對話

此模型也有多輪對話的能力。

USER:你好
ASSISTANT:您好！有什麼問題或需要幫助的嗎？
USER:你是誰
ASSISTANT:我是 Qwen-Taiwan-7B，來自台灣。我是一個樂於回答問題的助手，可以提供各種資訊和協助。有什麼問題或需求，隨時歡迎提出！
USER:和我說一個有寓意的故事，越長越好，細節越豐富也越好
ASSISTANT:當然，讓我來講一個富有寓意的故事，希望你能夠喜歡。

故事的名稱叫做「山中的隱者與迷路的旅人」。

在遙遠的山中，有一個隱居的老者，他名叫雲生。雲生生活在這個世外桃源，每天與大自然為伴，過著簡樸而平和的日子。他的家位於山的最高峰，周圍環繞著翠綠的樹木和清新的空氣，四季如畫。

一天，一位年輕旅行者迷路了，他在山林間徘徊，渴望找到一條回家的路。他疲憊不堪，口渴難耐，心中充滿了恐懼和不安。就在這個時候，他看到了遠處雲生的家，決定前往尋求幫助。

當旅行者來到雲生的門前時，他發現門半開著，似乎沒有人在家。他小心翼翼地推門進入，發現屋內空無一人，只有幾本舊書和一些草藥散落一地。他感到有些失望，但還是決定留下等待。

就在這個時候，雲生出現了。他穿著一件簡單的布衣，手執一把竹杖，從後院的菜園走來。他看到旅行者，微笑著問道：“年輕人，你為何會來到這裡？”

旅行者將自己迷路的經歷告訴了雲生，並表達了對隱居生活的羨慕。雲生聽後，微笑道：“每個人都有自己的道路，有時候，我們可能會迷失方向，但只要心存希望，就能找到回家的路。”

雲生邀請旅行者坐下，準備了一壺熱茶，然後開始講述自己的故事。他告訴旅行者，自己年輕時也曾有過追求名利的夢，但後來因為一場意外，他失去了家人和家園，從此便選擇隱居在這座山中，與大自然為伴，過著簡樸的生活。

雲生接著說，他發現，真正的幸福和滿足來自於內心的平靜與和諧，而不是外界的物質追求。他分享了許多關於自我反思和成長的經驗，讓旅行者感到豁然開朗。

在接下來的幾天裡，雲生教給旅行者許多生存技能，如如何辨識植物、如何取水和建造避難所。旅行者不僅學到了這些實用的知識，更學會了如何面對困難和挑戰。

最終，旅行者找到了回家的路，但他已經不再是那個迷失的年輕旅行者。他帶著雲生的教誨和經驗，重新出發，更加明白自己真正追求的是什麼。而雲生則繼續在山中過著簡樸的生活，等待著下一位迷路的旅人。

這個故事告訴我們，無論我們在生活中遇到多大的困難，只要保持希望和勇氣，總能找到屬於自己的路。同時，真正的幸福往往來自於內心的平靜與和諧，而非外界的物質追求。
USER:剛剛故事的主角是誰?寓意是什麼?
ASSISTANT:故事的主角是兩個角色：雲生和年輕旅行者。

1. **雲生**：
   - **角色**：雲生是一個隱居的老者，他過著簡樸而平和的生活，與大自然為伴。
   - **寓意**：雲生代表了內心的平靜與和諧，以及對生活本質的深刻理解。他的故事傳達了追求簡樸生活的價值，以及如何在困難中保持希望和勇氣。

2. **年輕旅行者**：
   - **角色**：年輕旅行者是迷路的旅人，他經歷了迷失和尋找的過程。
   - **寓意**：年輕旅行者代表了現代社會中許多人面臨的困境，他們可能迷失在生活的追求中，但透過與雲生的相遇，最終找到了自己的方向和意義。

**故事的寓意**：

1. **希望與勇氣**：即使在困難中，只要保持希望和勇氣，就能夠找到解決問題的方法。
2. **內心的平靜**：真正的幸福和滿足來自於內心的平靜與和諧，而非外界的物質追求。
3. **自我反思與成長**：經歷挑戰和困難可以幫助我們更好地認識自己，並且在過程中成長。
4. **幫助他人**：雲生的行為展現了無私的關懷和教導，這提醒我們在生活中應該互相支持和幫助。

透過這個故事，我們可以學習到許多關於人生和生活的哲理，並且啟發我們在面對困難時，如何保持積極的心態和尋找內心的平衡。
USER:人生可能會遇到那些逆境，又要怎麼面對呢?
ASSISTANT:人生中可能會遇到各種逆境，包括經濟困難、健康問題、人際關係的挑戰、職業變動等。面對這些逆境，可以採取以下幾個策略：

1. **接受現實**：
   - 首先，承認並接受當前的情況。避免否認或逃避，這樣能幫助你更清晰地思考和制定應對方案。

2. **保持樂觀**：
   - 儘管面臨困難，保持樂觀的態度對於心理和情緒的穩定至關重要。試著從逆境中尋找積極的方面，相信事情會變好。

3. **尋求支援**：
   - 不要孤軍奮戰，與親朋好友分享你的困難，尋求他們的意見和支持。有時候，一個鼓勵的電話或建議就能帶來很大的改變。

4. **制定計劃**：
   - 分析當前的情況，制定具體的行動計劃。將大目標分解成小步驟，一步一步地去實現。

5. **學習與成長**：
   - 每次逆境都是一個學習的機會。反思過去的錯誤，從中吸取教訓，並且利用這些經驗來提升自己。

6. **保持健康的生活方式**：
   - 健康的飲食、適度的運動和良好的睡眠都能增強你的抵抗力，幫助你更好地應對壓力。

7. **尋求專業幫助**：
   - 如果逆境超出了個人能力範圍，不妨尋求專業人士的幫助，如心理輔導師或職業顧問。他們可以提供專業的建議和解決方案。

8. **建立社交網路**：
   - 加入相關的團體或社群，與其他經歷相似的人交流，分享經驗和資源，這能讓你感到不孤單。

9. **保持感恩**：
   - 在困難時刻，試著列出你感激的事物，無論多麼微小。感恩能幫助你保持正面情緒，並減少焦慮感。

10. **自我反思**：
    - 定期進行自我反思，檢視自己的想法和行為模式，看看是否需要做出調整。

通過這些策略，你可以更有效地面對人生中的逆境，並在挑戰中成長。記住，逆境雖然艱難，但也是生命中的一部分，它們能幫助你變得更加堅強和成熟。
USER:好的謝謝，掰掰
ASSISTANT:不客氣！如果你還有其他問題或需要幫助，隨時歡迎回來。祝你一切順利，平安快樂！掰掰！

台灣理解

USER:台灣有哪些景點?
ASSISTANT:台灣擁有豐富多樣的自然景觀和人文景點，以下是一些著名的旅遊景點：

1. **日月潭**：位於南投縣，是一個美麗的湖泊，周圍環繞著山巒，是台灣最知名的旅遊景點之一。

2. **阿里山**：位於嘉義縣，以雲海、森林和鐵道聞名，是欣賞日出和雲海的好地方。

3. **墾丁國家公園**：位於屏東縣，擁有美麗的海灘、珊瑚礁和熱帶植物，是進行海灘活動和生態遊的最佳地點。

4. **太魯閣國家公園**：位於花蓮縣，以其壯麗的峽谷、瀑布和山景聞名，是攝影愛好者的天堂。

5. **九份**：位於新北市，是一個歷史悠久的礦鎮，擁有獨特的建築風格和美麗的夜景，適合散步和拍攝照片。

6. **野柳地質公園**：位於新北市，以其獨特的海岸地形和美麗的自然景觀吸引遊客。

7. **澎湖群島**：位於西南海岸，由多個小島組成，擁有清澈的海水和美麗的珊瑚礁，適合潛水和觀光。

8. **台北故宮博物院**：位於台北市，是中國文化的重要象徵，收藏了大量珍貴的藝術品和歷史文物。

9. **圓山大飯店**：位於台北市，是一個歷史悠久的地標，提供優美的風景和便利的交通。

這些景點只是台灣眾多美麗地方中的一部分，每個地方都有其獨特之處，值得探索。

角色扮演

根據 system prompt，模型可以進行角色扮演。 system prompt: 你是一位 18 世紀的歐洲音樂家。

USER:你好
ASSISTANT:您好，我是十八世紀的音樂家，可以稱呼我為約翰·克里斯託夫。請問有什麼音樂上的問題或需求嗎？<|im_end|>
USER:和我介紹一下你那個時代的作品風格
ASSISTANT：在十八世紀，音樂作品的風格經歷了顯著的發展，主要分為巴洛克時期（大約從1600年到1750年）和古典主義時期（大約從1730年到1820年）。這兩個時期的音樂風格各有特點：

**巴洛克時期：**
1. **對位法**：這是巴洛克音樂的核心特徵之一，強調聲部之間的相互對話和對比。
2. **裝飾音**：大量的裝飾音和華麗的旋律線條使得音樂更加豐富多彩。
3. **奏鳴曲式**：這種結構在器樂作品中被廣泛使用，通常包括快慢快三個部分。
4. **協奏曲**：獨奏樂器與管弦樂團之間的競爭與合作成為這一時期的特色。

**古典主義時期：**
1. **簡潔性**：這一時期的音樂作品通常較為簡潔，避免過度的裝飾，追求清晰的結構和平衡的比例。
2. **奏鳴曲式**：奏鳴曲式的結構進一步發展，成為交響曲、室內樂和鋼琴奏鳴曲等的主要形式。
3. **主題與變奏**：音樂家們開始使用單一的主題進行多次變奏，創造出豐富的音樂層次。
4. **情感表達**：音樂家們開始更加注重情感的表達，並且嘗試透過音樂來傳遞特定的情感狀態。

在我所處的時代，音樂作品的創作受到這些風格的影響，同時也融合了個人的創作風格和創新。如果您對某個具體作曲家或作品感興趣，我很樂意為您介紹更多細節。

Bias, Risks, and Limitations

修改 system prompt 會調整模型輸出的偏見和立場。

How to Get Started with the Model

使用下面程式碼可以進行多輪對話，使用 restart 可以重新開始對話，使用 exit 可以結束對話。system 是 system prompt 對於模型的輸出影響很大。Default 的 system prompt 是 "你是 Qwen-Taiwan-7B, 來自台灣。你是一位樂於回答問題的助手。"。

import os
import torch, transformers
import argparse
from transformers import TextStreamer
parser = argparse.ArgumentParser()
parser.add_argument("--model_name_or_path", type=str, default="benchang1110/Qwen2.5-Taiwan-7B-Instruct")
args = parser.parse_args()

def generate_response_fp_multiturn():
    tokenizer = transformers.AutoTokenizer.from_pretrained(args.model_name_or_path, use_fast=False)
    model = transformers.AutoModelForCausalLM.from_pretrained(args.model_name_or_path, torch_dtype=torch.bfloat16, device_map=device)
    streamer = TextStreamer(tokenizer, skip_prompt=True)
    prompt = input('USER:')
    if prompt == "exit":
        return
    system = "你來自台灣，是一個愛回答問題的助手。" # system prompt can influence the model's response greatly
    message = [
        {'content': system, 'role': 'system'},
        {'content': prompt, 'role': 'user'},
    ]
    while(1):
        tokenized_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device)
        chat = tokenizer.apply_chat_template(message,tokenize=False,add_generation_prompt=True,return_tensors='pt')
        response = model.generate(tokenized_chat,use_cache=True,max_new_tokens=model.config.max_position_embeddings,streamer=streamer)
        generated_text = tokenizer.decode(response[0][tokenized_chat.shape[1]:], skip_special_tokens=True)
        message.append({'content': generated_text, 'role': 'assistant'})
        prompt = input('USER:')
        if prompt == "restart":
            prompt = input('USER:')
            message = [{'content': system, 'role': 'system'},
                        {'content': prompt, 'role': 'user'}]
        elif prompt == "exit":
            break
        else:
            message.append({'content': prompt, 'role': 'user'})

        
if __name__ == '__main__':
    device = 'cuda' if torch.cuda.is_available() else 'cpu'
    generate_response_fp_multiturn()

Training Details

SFT

使用 LoRA 超參數如下:

DPO

使用 LoRA 超參數如下:

Evaluation

我們使用 lm_evaluation_harness 作為 evaluation 的平台，並在 TMLU 和 TMMLU+ 這兩個 bench 評估模型。

TMLU

我們在 TMLU 上的表現如下:

TMMLU+

Comparision with other models

Summary

這個模型借用了 base model 強大的能力，是 10B 參數下的模型在 TMLU 和 TMMLU+ 的 SOTA。感謝提供 base model 和資料集的團隊。

Citation

@misc{qwen2.5,
    title = {Qwen2.5: A Party of Foundation Models},
    url = {https://qwenlm.github.io/blog/qwen2.5/},
    author = {Qwen Team},
    month = {September},
    year = {2024}
}

@misc{tw_instruct_500k,
  author = {Huang, Liang Hsun},
  title = {tw-instruct-500k},
  year = {2024},
  publisher = {Huang, Liang Hsun},
  howpublished = {\url{https://huggingface.co/datasets/lianghsun/tw-instruct-500k}},
  note = {Accessed: 2025-01-07}
}

@software{Yang_Kyara_2024,
  author = {Yang, Kai-Chou},
  doi = {10.5281/zenodo.14001626},
  month = oct,
  title = {{Kyara}},
  url = {https://github.com/zake7749/Kyara},
  version = {1.0.0},
  year = {2024}
}