qwen3.5-rouzhiba-lora

Qwen3.5 2B 若智吧 LoRA 模型

这是一个基于 Qwen/Qwen3.5-2B 使用弱智吧数据集进行 SFT 微调的 LoRA 模型。

训练配置

• Epochs: 2
• Learning Rate: 2e-4
• LoRA R: 16
• LoRA Alpha: 32

如何使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

repo_id = "你的HF用户名/qwen3.5-2b-ruozhiba-lora"
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-2B", torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base_model, repo_id)
tokenizer = AutoTokenizer.from_pretrained(repo_id)

# 接下来就可以正常推理了...