Lyra-Mistral7B-irrigation-LoRA

🌐 Looking for the English version? Just scroll down — it's right below! 👇

👉 Jump to English version

Lyra-Mistral7B-irrigation-LoRA 🌱💧

<img src="https://upload.wikimedia.org/wikipedia/en/c/c3/Flag_of_France.svg" width="40px" height="auto" />

Description

Ce modèle est une adaptation LoRA du Mistral-7B-Instruct-v0.3 spécialisée sur des données d'irrigation agricole (format instruction/réponse en français).
Objectif : proposer des recommandations simples d’apports en eau (mm) selon le type de sol, le stade phénologique et la tension hydrique (cbar).

Détails techniques

• Base model: mistralai/Mistral-7B-Instruct-v0.3
• Technique: QLoRA (4-bit, bitsandbytes)
• Modules LoRA: q_proj, k_proj, v_proj, o_proj, down_proj
• Epochs: 3
• GPU: A100 (Colab Pro)

Résultats observés

Le modèle apprend à répondre en français par des valeurs numériques claires (mm d’irrigation) et adaptées au contexte du prompt.
Comparé au modèle de base, il évite les réponses vagues ou hors sujet.

Utilisation

!pip install -q peft transformers accelerate bitsandbytes sentencepiece huggingface_hub hf_xet

from transformers import AutoTokenizer, AutoModelForCausalLM
from huggingface_hub import login
from peft import PeftModel
import torch

login(token="MY_HF_TOKEN") #entrer ici votre Token (équivalent d'une clé API gratuite, récupéré sur Hugging Face) 
# préalablement il faut aussi demander une autorisation (par simple clic sur le bouton dédié) sur la page https://huggingface.co/jeromex1/Lyra-Mistral7B-irrigation-LoRA
base_model = "mistralai/Mistral-7B-Instruct-v0.3"
lora_model = "jeromex1/Lyra-Mistral7B-irrigation-LoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(model, lora_model)

prompt = "contexte : agriculture. sol sableux, tension 70 cbar, stade Croissance, quel apport d'eau ?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50)[0], skip_special_tokens=True))

Recommandation

Pour éviter les erreurs liées aux dépendances, à l’absence de GPU ou aux lenteurs extrêmes sur PC, nous conseillons vivement d’utiliser Google Colab (gratuit ou idéalement Colab Pro), et d'y sélectionner un GPU pour exécuter ce modèle dans un environnement optimisé.

Pour cela, une fois dans le notebook Google Colab, aller dans le menu exécution -> modifier le type d'exécution et choisir GPU T4 si gratuit, A100 si Colab Pro. Et être un peu patient le temps que cela charge...

📘 Pour en savoir plus, rendez-vous sur ma page GitHub consacrée au projet :
👉 Lyra-Mistral7B-irrigation-LoRA

📘 Découvrez mes 40 projets IA et sciences STEM ici :
👉 github.com/Jerome-openclassroom

<a name="english-version"></a>

🌍 English Version

description

This model is a LoRA adaptation of Mistral-7B-Instruct-v0.3, specialized in agricultural irrigation data (instruction/response format in French).
Goal: to provide simple water input recommendations (in mm) based on soil type, phenological stage, and water tension (cbar).

Technical Details

• Base model: mistralai/Mistral-7B-Instruct-v0.3
• Technique: QLoRA (4-bit, bitsandbytes)
• LoRA modules: q_proj, k_proj, v_proj, o_proj, down_proj
• Epochs: 3
• GPU: A100 (Colab Pro)

Observed Results

The model learns to respond in French with clear numerical values (mm of irrigation) adapted to the prompt context.
Compared to the base model, it avoids vague or irrelevant answers.

Usage

!pip install -q peft transformers accelerate bitsandbytes sentencepiece huggingface_hub hf_xet

from transformers import AutoTokenizer, AutoModelForCausalLM
from huggingface_hub import login
from peft import PeftModel
import torch

login(token="MY_HF_TOKEN") #entrer ici votre Token (équivalent d'une clé API gratuite, récupéré sur Hugging Face) 
# préalablement il faut aussi demander une autorisation (par simple clic sur le bouton dédié) sur la page https://huggingface.co/jeromex1/Lyra-Mistral7B-irrigation-LoRA
base_model = "mistralai/Mistral-7B-Instruct-v0.3"
lora_model = "jeromex1/Lyra-Mistral7B-irrigation-LoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(model, lora_model)

prompt = "contexte : agriculture. sol sableux, tension 70 cbar, stade Croissance, quel apport d'eau ?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**inputs, max_new_tokens=50)[0], skip_special_tokens=True))

To avoid issues related to dependencies, lack of GPU, or extremely slow performance on a PC, we strongly recommend using Google Colab (free or ideally Colab Pro), and selecting a GPU to run this model in an optimized environment.

To do so, once inside the Google Colab notebook, go to the Runtime menu → Change runtime type → choose GPU (T4 for free tier, A100 for Colab Pro). And be a little patient while it loads...

📘 To learn more, visit my GitHub page dedicated to the project : 👉 Lyra-Mistral7B-irrigation-LoRA

📘 Discover my 45 AI and STEM science projects here : 👉 github.com/Jerome-openclassroom