Downloads · 30 days
0
zanyyan/Chinese-Llama-2-7b-finetuned-NekoQA
Chinese-Llama-2-7b-finetuned-NekoQA is a machine learning model from zanyyan. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
这是一个基于 LinkSoul/Chinese-Llama-2-7b 进行 LoRA 微调的模型。
Downloads · 30 days
0
Access
Public
Updated Sep 12, 2025
Repo size
320 MB
Likes
0
Public
Click a slice to open those files.
.safetensors320 MB · 96%
From the Hugging Face model README
这是一个基于 LinkSoul/Chinese-Llama-2-7b 进行 LoRA 微调的模型。
基于猫娘大模型数据集 NekoQA-10K 进行微调,适合中文问答和对话场景。
NekoQA-10K 数据集进行微调。lora_r=32, lora_alpha=32, max_steps=150# 步骤 1: 导入所有需要的库
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import os
# --- 打印一下 PyTorch 和 GPU 的信息,确保环境正常 ---
print("PyTorch Version:", torch.__version__)
print("CUDA is available:", torch.cuda.is_available())
if torch.cuda.is_available():
print("CUDA Version:", torch.version.cuda)
print("Current GPU:", torch.cuda.get_device_name(torch.cuda.current_device()))
# 步骤 2: 定义模型路径
# !!! 请务必确认这两个路径是正确的 !!!
# 基础模型的路径,即原始的、未微调的Llama-2模型
base_model_path = "LinkSoul/Chinese-Llama-2-7b"
# 你微调后得到的 LoRA 适配器路径
peft_adapter_path = "zanyyan/Chinese-Llama-2-7b-finetuned-NekoQA"
print(f"基础模型路径: {base_model_path}")
print(f"PEFT适配器路径: {peft_adapter_path}")
# 步骤 3: 配置 4-bit 量化
# 这一步必须和你的训练脚本保持一致,以确保模型能被正确加载
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_use_double_quant=True,
)
print(">>> 量化配置加载完毕。")
# 步骤 4: 加载基础模型
# 首先,加载原始的 Llama-2 模型,并应用量化配置
# device_map="auto" 会自动将模型加载到可用的GPU上
print(">>> 正在加载基础模型 (可能需要一些时间)...")
base_model = AutoModelForCausalLM.from_pretrained(
base_model_path,
quantization_config=quantization_config,
device_map="auto",
torch_dtype=torch.bfloat16, # 使用 bfloat16 以提高效率
trust_remote_code=True # 如果模型定义在远端仓库,需要加上这个
)
print(">>> 基础模型加载完毕。")
# 步骤 5: 加载分词器 (Tokenizer)
# 分词器应该从你的适配器文件夹中加载,以确保它包含了所有你在微调时可能添加的特殊词元(tokens)
print(">>> 正在加载分词器...")
tokenizer = AutoTokenizer.from_pretrained(peft_adapter_path)
print(">>> 分词器加载完毕。")
# 步骤 6: 将 LoRA 适配器融合到基础模型中
# 这是最关键的一步,我们使用 PeftModel 类来完成这个“附加”操作
print(">>> 正在融合 LoRA 适配器...")
model = PeftModel.from_pretrained(base_model, peft_adapter_path)
print(">>> LoRA 适配器融合完毕。")
# 步骤 7: 准备模型进行推理
# model.eval() 会将模型切换到评估(推理)模式
# 在这个模式下,像 Dropout 这样的层会被禁用
model.eval()
print(">>> 模型已切换到推理模式。")
# 步骤 8: 进行对话测试
print("\n" + "="*20 + " 开始对话测试 " + "="*20)
# 准备一个输入
prompt = "你好,请介绍一下你自己"
# Llama-2 使用特定的聊天模板,我们用 apply_chat_template 来自动格式化输入
# add_generation_prompt=True 会在末尾添加提示,让模型知道轮到它说话了
messages = [
{"role": "user", "content": prompt},
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# 使用 model.generate() 函数进行推理
with torch.no_grad(): # 在推理时,我们不需要计算梯度
outputs = model.generate(
input_ids=input_tensor,
max_new_tokens=512, # 定义模型最多可以生成多少个新的词元
do_sample=True, # 开启采样,让回答更具多样性
temperature=0.7, # 温度系数,越小回答越确定,越大越随机
top_p=0.9, # Top-p 采样
)
# 解码生成的词元ID,并跳过输入的提示部分,只打印模型的回答
response = tokenizer.decode(outputs[0][input_tensor.shape[-1]:], skip_special_tokens=True)
print(f"用户输入: {prompt}")
print(f"模型回答: {response}")
print("\n" + "="*20 + " 对话测试结束 " + "="*20)