qwen2.5-1.5b-prompt-optimizer-lora

Qwen2.5-1.5B 提示词自动优化器 (Prompt Optimizer LoRA)

本模型基于 Qwen2.5-1.5B，使用 QLoRA 微调，能够将模糊的自然语言提问自动改写为结构化的提示词。

训练配置

• 基座模型：Qwen/Qwen2.5-1.5B（Apache 2.0）
• 微调方法：QLoRA (4-bit) + LoRA (r=16, alpha=32)
• 训练设备：Tesla T4 (Google Colab 免费版)
• 训练数据：100 条'差→好'提示词配对
• 训练时长：66 秒
• 最终训练损失：0.81
• 训练轮数：3 epochs

评测结果

在 14 条测试集上：

使用方法

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = AutoModelForCausalLM.from_pretrained('Qwen/Qwen2.5-1.5B')
model = PeftModel.from_pretrained(base_model, 'redstone-ui/qwen2.5-1.5b-prompt-optimizer-lora')
tokenizer = AutoTokenizer.from_pretrained('redstone-ui/qwen2.5-1.5b-prompt-optimizer-lora')

input_text = '告诉我生态系统。'
inputs = tokenizer(input_text, return_tensors='pt')
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

局限性

• 训练数据规模较小（100 条），模型泛化能力有限
• 测试集仅 14 条，统计意义有限
• 本模型为教学演示用途，非生产级工具

许可证

Apache 2.0