Qwen2.5-3B-Instruct-zhtw

Qwen2.5-3B-Instruct-zhtw (Taiwanese Chinese)

<details> <summary>English</summary>

This model is a fine-tuned version of Qwen2.5-3B-Instruct, specifically optimized for generating Traditional Chinese text through Direct Preference Optimization (DPO) training. It focuses on Taiwanese vocabulary and expressions.

Training Details

• Objective: To guide Qwen2.5-3B-Instruct in consistently generating Traditional Chinese text with a preference for Taiwanese expressions over Simplified Chinese.

• DPO Dataset: The model was trained on a version of the shibing624/alpaca-zh dataset adapted for Traditional Chinese. Originally in Simplified Chinese, the dataset was converted to Traditional Chinese and enriched with Taiwan-specific vocabulary using OpenCC.

  • Input: Traditional Chinese
  • Generated Output: Traditional Chinese (Taiwanese expressions)
  • Avoided Responses: Simplified Chinese

• Training Configuration:

  • Steps: 600
  • Epochs: 1
  • LoRA Level: 1 (alpha = 1)
  • Dropout Rate: 97%

• Merging Method: DPO training was repeated three times on the same dataset, using different sample orders. After each training run, the resulting DPO model was sparsified to a density of 0.05, and then merged with the original Qwen2.5-3B-Instruct model using TIES. This ensures that the behavior of turn-ending in generated text is accurate.

• Dataset Purity: No new information beyond the converted dataset was added during the training process. This was a deliberate choice to minimize interference with the original knowledge base of the Qwen model.

Intended Use

This model is suitable for applications that require the generation of Traditional Chinese text, especially in scenarios where Taiwanese vocabulary and expressions are needed.

Limitations

• Core Knowledge: The model's knowledge base is largely consistent with the original Qwen2.5-3B-Instruct model.

  • It inherits the knowledge, censorship mechanisms, and biases from the original Qwen model.
  • No specific new information about Taiwan was incorporated during training.

• Vocabulary Consistency: Despite DPO training, the model may occasionally produce responses that contain Simplified Chinese or Mainland Chinese vocabulary (e.g., "鼠标" instead of the preferred Taiwanese "滑鼠"). This inconsistency may need further handling in certain applications.

</details> <details> <summary>Chinese</summary>

該模型是 Qwen2.5-3B-Instruct 的微調版本，專為產生繁體中文文本而進行直接偏好優化 (DPO) 訓練，並特別關注台灣的詞彙和表達方式。

訓練細節

• 目標：指導 Qwen2.5-3B-Instruct 一致地生成繁體中文文本，並優先使用台灣的表達方式，而非簡體中文。

• DPO 資料集：該模型基於 shibing624/alpaca-zh 資料集的繁體中文改編版本進行訓練。資料集原本為簡體中文，經過轉換為繁體中文後，並使用 OpenCC 融入台灣特有的詞彙。

  • 輸入：繁體中文
  • 產生的答案：繁體中文（台灣表達）
  • 避免的回應：簡體中文

• 訓練配置：

  • 步數：600
  • 時代數：1
  • LoRA 等級：1（alpha = 1）
  • 輟學率：97%

• 合併方法：DPO 訓練在相同的資料集上重複三次，並使用不同的樣本順序。每個訓練後的 DPO 模型會被稀疏化到 0.05 的密度，然後與原始的 Qwen2.5-3B-Instruct 透過 TIES 進行合併。這樣做是為了確保生成的文字中回合結束的行為正確。

• 資料純度：在訓練過程中，未加入轉換後資料集以外的任何新資訊。這是一個深思熟慮的選擇，旨在最大限度減少對 Qwen 原有知識庫的干擾。

預期用途

該模型適用於需要生成繁體中文文本的應用程式，尤其是那些需要使用台灣詞彙和表達方式的應用場景。

限制

• 核心知識：此模型的知識庫基本與原始 Qwen2.5-3B-Instruct 相同。

  • 它繼承了原始 Qwen 模型中的知識、審查機制及偏見。
  • 訓練過程中並未加入任何關於台灣的具體新資訊。

• 詞彙一致性：儘管經過 DPO 訓練，模型有時仍會產生包含簡體中文或中國大陸詞彙的回應（例如「鼠標」），而非首選的台灣詞彙（例如「滑鼠」）。這種不一致在某些應用中可能需要進一步處理。

</details>

Examples

<details> <summary>List the parts of a computer in Chinese.</summary> 當然可以，電腦的主要部分可以用中文來解釋為：

1. 主機板（主板） - 主機板是整個電腦的基礎架構，負責連接和傳輸各種內部設備。
2. 處理器（CPU） - 負責執行計算任務的核心單元。
3. 記憶體（RAM） - 短暫存儲數據的地方，讓系統能夠快速訪問這些資料。
4. 硬碟驅動器（HDD/SSD） - 儲存長期資訊的大容量儲存裝置。現代大多數電腦採用固態硬盤（SSD），因為它們速度快且耐用。
5. 顯示卡（顯卡） - 也稱為圖形處理單元（GPU），專門負責圖像渲染和其他視覺相關的工作。
6. 網路通訊卡（網卡） - 適用于有線網絡連接，提供與其他設備之間進行數據交換的能力。
7. 聲卡或音效擴充卡（Sound Card/Audio Adapter） - 對聲音進行編解碼、放大等處理的一種設備。
8. 電源供應器（電池或其他類似設備） - 提供電腦運行所需的電力。

</details> <details> <summary>Write a brief paragraph about AI.</summary> Artificial Intelligence (AI) refers to the simulation of human intelligence processes by machines, especially computer systems. These processes include learning, reasoning, and self-correction. AI can be categorized into narrow or specialized AI, which is designed for specific tasks, and general AI, also known as artificial general intelligence, which aims at replicating all aspects of human cognitive abilities. Today, AI technologies are integrated into various applications such as voice assistants like Siri and Alexa, recommendation systems on e-commerce platforms, autonomous vehicles, medical diagnostics tools, and more. As technology advances, AI continues to evolve, promising significant improvements in efficiency, convenience, and problem-solving capabilities across numerous industries. </details> <details> <summary>寫一段關於人工智慧的簡短段落。</summary> 當然，這裡有一段關於人工智慧的簡短段落：

隨著技術不斷進步，人工智慧已經成為現代社會發展的重要驅動力之一。它不僅能夠幫助人類解決複雜問題、提高生產效率和創新體驗，還潛在地改變了我們的生活方式與工作模式。通過學習大規模數據並進行歸納推理，人工智慧系統能夠越來越精準地預測未來趨勢，為各種應用場景帶來無數可能性。然而，儘管人工智慧帶來諸多好處，也引發了一些倫理道德及隱私保護等方面的挑戰，這些都要求我們持續關注其開發與應用過程中的平衡點。總體來說，人工智慧是一個充滿變革與機遇的新時代關鍵領域。

</details>