mistral-lmr-v1

Mistral LMR v1 - Les Mangeurs du Rouleau

📖 Description

Fine-tuning LoRA de Mistral-7B-Instruct-v0.2 pour générer du contenu éditorial en français pour le réseau social littéraire "Les Mangeurs du Rouleau".

Capacités principales :

• ✅ Génération de titres accrocheurs
• ✅ Résumés de discussions
• ✅ Ton authentique et poétique
• ✅ Sortie JSON structurée

🚀 Utilisation

Avec PEFT (Inférence Locale)

from peft import PeftModel, AutoModelForCausalLM
from transformers import AutoTokenizer
import torch

# Charger le modèle de base
base_model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Charger les adaptateurs LoRA
model = PeftModel.from_pretrained(base_model, "Olsen12/mistral-lmr-v1")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")

# Génération
prompt = '''### Instruction:
Generate 5 engaging titles in French for the provided text.

### Input:
Votre texte ici...

### Response:
'''

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Avec l'API Inference Providers (NOUVELLE API ✨)

import requests

# ⚠️ NOUVELLE URL API (Novembre 2025)
# Ancienne (dépréciée) : https://api-inference.huggingface.co/models/Olsen12/mistral-lmr-v1
# Nouvelle : https://router.huggingface.co/hf-inference/models/Olsen12/mistral-lmr-v1

API_URL = "https://router.huggingface.co/hf-inference/models/Olsen12/mistral-lmr-v1"
headers = {"Authorization": "Bearer YOUR_HF_TOKEN"}

def query(payload):
    response = requests.post(API_URL, headers=headers, json=payload)
    return response.json()

output = query({
    "inputs": "### Instruction:\nGenerate titles...\n\n### Input:\n...\n\n### Response:\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.7,
        "top_p": 0.9
    }
})

Migration depuis l'ancienne API

Si vous utilisez encore l'ancienne API, remplacez simplement :

# ❌ Ancienne URL (retourne 404 depuis Nov 2025)
"https://api-inference.huggingface.co/models/Olsen12/mistral-lmr-v1"

# ✅ Nouvelle URL
"https://router.huggingface.co/hf-inference/models/Olsen12/mistral-lmr-v1"

📊 Informations Techniques

• Modèle de base: Mistral-7B-Instruct-v0.2
• Méthode: LoRA (Low-Rank Adaptation)
• Paramètres entraînables: ~1.43% du modèle total
• Rang LoRA: 64
• Alpha: 16
• Modules ciblés: q_proj, k_proj, v_proj, o_proj

📝 Format de Prompt

Le modèle est entraîné avec le format Alpaca:

### Instruction:
[Votre instruction ici]

### Input:
[Votre texte d'entrée]

### Response:
[La réponse générée]

⚠️ Limitations

• Modèle optimisé pour le français
• Dataset d'entraînement limité (early version)
• Conçu pour des tâches éditoriales spécifiques

📜 Licence

Apache 2.0 (héritée de Mistral-7B-Instruct-v0.2)

🔗 Liens Utiles

• Documentation API Inference Providers
• Guide de migration

🙏 Crédits

• Modèle de base: Mistral AI
• Fine-tuning: Les Mangeurs du Rouleau
• Framework: PEFT