qwen2.5-0.5b-lora-chat

Qwen2.5-0.5B LoRA 微调模型（GGUF）

基于 Qwen/Qwen2.5-0.5B-Instruct，在 Alpaca-Cleaned（约 5.1 万条英文指令数据）上做 LoRA 微调后合并得到的完整模型，已转换为 f16 GGUF。

文件

• qwen-merged-f16.gguf — 合并后完整模型的 f16 GGUF（约 994 MB），含 Qwen Chat 模板，可直接被 llama.cpp / Ollama 加载。
• Modelfile — Ollama 模型定义（FROM 指向同目录下的 GGUF，相对路径）。

用 Ollama 运行

Ollama 的 Modelfile FROM 只接受本地文件，不支持直接写 HuggingFace URL。请先下载 GGUF，再创建模型：

# 1) 下载本仓库的 GGUF（任选其一）
#   - 直接打开下方 "Files" 页下载 qwen-merged-f16.gguf，或
#   - 命令行下载：
pip install -U huggingface_hub
huggingface-cli download liixy11/qwen2.5-0.5b-lora-chat qwen-merged-f16.gguf --local-dir .

# 2) 用仓库内 Modelfile 创建模型（保证 GGUF 和 Modelfile 在同一目录）
ollama create my-qwen-lora -f Modelfile

# 3) 运行
ollama run my-qwen-lora

说明：仓库内 Modelfile 的 FROM qwen-merged-f16.gguf 是相对路径，需在与 GGUF 同目录下执行 ollama create。

HTTP API 服务（Ollama 自带，默认端口 11434）：

curl http://localhost:11434/api/generate -d '{"model":"my-qwen-lora","prompt":"你好","stream":false}'

训练要点

• 框架：PEFT + transformers Trainer
• LoRA：r=8, alpha=16, dropout=0.05，覆盖 q/k/v/o/gate/up/down 7 个模块
• 超参：lr=1.5e-4，bf16，max_length=256，2 epochs（约 12940 步）
• 注意：训练数据为纯英文（Alpaca-Cleaned），微调后中文能力有明显遗忘（灾难性遗忘），中文问答可能不理想。

免责声明

仅供学习研究使用，训练数据与输出可能存在偏见/错误，请自行甄别。