luyoonwakh-lora-adapter

LuYoonWakh — Adaptateur LoRA juridique sénégalais

LuYoonWakh (Lu Yoon Wakh en wolof — "Que dis la loi") est un adaptateur LoRA fine-tuné sur Mistral 7B Instruct v0.2, spécialisé dans le droit sénégalais. Il est conçu pour être utilisé dans une architecture RAG (Retrieval-Augmented Generation) pour l'assistance juridique.

Description

Ce modèle est le composant LLM de la plateforme LuYoonWakh, un système d'aide à la décision juridique pour le système judiciaire sénégalais. Il ne prend jamais de décision finale — la validation humaine est toujours requise.

• Développé par : Thierno Souleymane Mbengue
• Type de modèle : LoRA adapter (QLoRA 4-bit) sur Mistral 7B Instruct v0.2
• Langue : Français (droit sénégalais)
• Licence : Apache 2.0
• Modèle de base : mistralai/Mistral-7B-Instruct-v0.2

Utilisation

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

base = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.2",
    quantization_config=bnb_config,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("SalomonMbengue/luyoonwakh-lora-adapter")
model = PeftModel.from_pretrained(base, "SalomonMbengue/luyoonwakh-lora-adapter")

prompt = "<s>[INST] Tu es un expert en droit sénégalais.\n\nQuelles sont les conditions de licenciement au Sénégal ? [/INST]"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    out = model.generate(**inputs, max_new_tokens=300, do_sample=False)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))