Downloads · 30 days
16
31% of all-time downloads
mika87878787/qwen2.5-1.5b-persona-lora
qwen2.5-1.5b-persona-lora is a text generation model from mika87878787. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
Adaptateur LoRA entraine en QLoRA 4 bits sur Qwen/Qwen2.5-1.5B-Instruct, pour tenir un persona et rester coherent avec des faits donnes en message systeme.
Downloads · 30 days
16
31% of all-time downloads
All-time downloads
52
Public
Repo size
85.3 MB
Likes
0
Public
Click a slice to open those files.
.safetensors73.9 MB · 87%
From the Hugging Face model README
Adaptateur LoRA entraine en QLoRA 4 bits sur Qwen/Qwen2.5-1.5B-Instruct, pour tenir un persona
et rester coherent avec des faits donnes en message systeme.
Entrainement realise sur un seul GPU T4 16 Go. Tous les chiffres ci-dessous sont
produits par qlora_persona_demo.py, present dans ce repo et relançable tel quel.
| Metrique | Modele de base | Apres fine-tuning |
|---|---|---|
| Perplexite (eval, 100 exemples) | 6.438 | 1.846 |
| Loss finale train | 0.6395264625549316 | |
| Loss finale eval | 0.6308351159095764 |
Gain de perplexite : +71.3 %
Courbe train et eval : loss_curve.png. Mesures brutes : report.json.
Systeme : biologiste marine, vit a Brest, deux chats, deteste l'avion et voyage en train.
Question : Tu pars en conference a Tokyo le mois prochain, tu y vas comment ?
google/Synthetic-Persona-Chat, 1991 exemples d'entrainement, 200 d'evaluation, split fige (seed 42).from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")
model = PeftModel.from_pretrained(model, "mika87878787/qwen2.5-1.5b-persona-lora")