Downloads · 30 days
7
5% of all-time downloads
toussaint432/qwen-wolof-qa-lora
qwen-wolof-qa-lora is a question answering model from toussaint432. Use it when the input is a question plus a passage. It is set up for peft. The card lists the license as cc-by-nc-4.0.
Projet de Master 2 Systèmes d'Information — fine-tuning d'un LLM multilingue pour répondre à des questions en wolof.
Downloads · 30 days
7
5% of all-time downloads
All-time downloads
144
Public
Repo size
159 MB
Likes
0
Public
Click a slice to open those files.
.safetensors73.9 MB · 87%
From the Hugging Face model README
Projet de Master 2 Systèmes d'Information — fine-tuning d'un LLM multilingue pour répondre à des questions en wolof.
wol, Masakhane/GalsenAI) + paires maison vérifiéesimport torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = "Qwen/Qwen2.5-1.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
m = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float16)
m = PeftModel.from_pretrained(m, "toussaint432/qwen-wolof-qa-lora") # <- charge l'adaptateur
msg = [{"role":"user","content":"Naka nga def ?"}]
x = tok.apply_chat_template(msg, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = m.generate(**x, max_new_tokens=64)
print(tok.decode(out[0][x["input_ids"].shape[1]:], skip_special_tokens=True))
Modèle de petite taille entraîné sur peu de données : il peut se tromper ou sortir du sujet. À usage pédagogique. Pour une fiabilité factuelle, prévoir une approche RAG.