lyra_air_sante_mistral7B_qLoRA

🌐 Looking for the English version? Scroll down 👇

👉 Jump to English version

<img src="https://upload.wikimedia.org/wikipedia/en/c/c3/Flag_of_France.svg" width="40px" height="auto" />

lyra_air_sante_mistral7B_qLoRA

Description

Ce modèle est une adaptation LoRA (qLoRA 4 bits) du modèle mistralai/Mistral-7B-Instruct-v0.3, spécialisée pour l’évaluation rapide des risques santé liés à la qualité de l’air et aux conditions atmosphériques.

Le modèle apprend à répondre à des scénarios du type :

• température élevée / humidité / inversion thermique,
• niveau de pollens / particules,
• vent fort / pluie,
• indice de qualité de l’air (IQA), et à produire une évaluation synthétique du risque pour la population (ex. allergies, stress cardio-respiratoire).

Objectif : générer des alertes lisibles par des non-spécialistes, réutilisables dans des tableaux de bord santé-environnement, ou des assistants conseil air/santé locaux.

Ce modèle n’est pas un dispositif médical. C’est un système de priorisation / alerte précoce.

Base model

• mistralai/Mistral-7B-Instruct-v0.3
• Licence Mistral Instruct
• Capacités conversationnelles en français et en anglais

Méthode d’entraînement

• Technique : qLoRA 4 bits (PEFT)
• GPU : environnement Colab Pro (GPU haut de gamme type A100)
• Framework : transformers, trl (SFTTrainer), bitsandbytes, peft
• Type d'entraînement : SFT (Supervised Fine-Tuning)
• Nombre d’échantillons d’entraînement : ~400
• Nombre d’échantillons de validation : ~120
• Format conversationnel : style chat [{"role": "user", "content": ...}, {"role": "assistant", "content": ...}]

L’entraînement n’a pas modifié tous les poids du modèle Mistral 7B. Seules de petites matrices d’adaptation (LoRA adapters) ont été apprises. C’est pourquoi ce repo publie uniquement ces adapters, pas les poids complets du modèle d’origine.

Format des données

Chaque exemple du jeu d'entraînement est une conversation courte :

{
  "messages": [
    {
      "role": "user",
      "content": "Conditions météo : Température = >30°C, Humidité = 40-70%, Inversion thermique = oui, Pollens = élevé, IQA = 5, Vent fort = oui, Pluie forte = non.\nQuels sont les impacts potentiels sur la santé ?"
    },
    {
      "role": "assistant",
      "content": "Niveau d’allergie : très élevé. Sensibilité cardiovasculaire : élevé."
    }
  ]
}

Le tokenizer Mistral (mistralai/Mistral-7B-Instruct-v0.3) a été utilisé avec son chat_template pour convertir ces messages en texte d’entraînement.

🧪 Exemples d’inférence

Les exemples ci-dessous montrent le comportement du modèle lyra_air_sante_mistral7B_qLoRA sur cinq scénarios climatiques typiques. Les entrées suivent la structure exacte du dataset (messages → user / assistant).

🧩 Test 1 Conditions météo : Température = 34°C, Humidité = 45%, Inversion thermique = oui, Pollens = très élevé, IQA = 6, Vent fort = non, Pluie forte = non. Question : Quels sont les impacts potentiels sur la santé ?

Réponse : Niveau d’allergie : très élevé.
Sensibilité cardiovasculaire : élevé.

🧩 Test 2 Conditions météo : Température = 10°C, Humidité = 80%, Inversion thermique = non, Pollens = faible, IQA = 2, Vent fort = oui, Pluie forte = oui. Question : Effets possibles sur les personnes âgées ?

Réponse : Niveau d’allergie : faible.
Sensibilité cardiovasculaire : faible.

🧩 Test 3 Conditions météo : Température = 28°C, Humidité = 30%, Inversion thermique = oui, Pollens = moyen, IQA = 8, Vent fort = non, Pluie forte = non. Question : Quels conseils pour les personnes asthmatiques ?

Réponse : Niveau d’allergie : élevé.
Sensibilité cardiovasculaire : élevé.

🧩 Test 4 Conditions météo : Température = 22°C, Humidité = 60%, Inversion thermique = non, Pollens = élevé, IQA = 4, Vent fort = oui, Pluie forte = non. Question : Risque pour les travailleurs en extérieur ?

Réponse : Niveau d’allergie : élevé.
Sensibilité cardiovasculaire : faible.

🧩 Test 5 Conditions météo : Température = 36°C, Humidité = 50%, Inversion thermique = oui, Pollens = faible, IQA = 7, Vent fort = non, Pluie forte = non. Question : Quels effets combinés chaleur + pollution prévoir ?

Réponse : Niveau d’allergie : faible.
Sensibilité cardiovasculaire : élevé.

Comment utiliser ces adapters

1. Charger le modèle de base Mistral 7B Instruct.
2. Charger les adapters LoRA.
3. Fusionner pour l’inférence.

Exemple (Python) :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "mistralai/Mistral-7B-Instruct-v0.3"
adapter_id    = "jeromex1/lyra_air_sante_mistral7B_qLoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)

model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

model = PeftModel.from_pretrained(
    model,
    adapter_id
)

prompt = (
    "Conditions météo : Température = 32°C, Humidité = 60%, "
    "Inversion thermique = oui, Pollens = très élevé, "
    "IQA = 5 (mauvais), Vent fort = non, Pluie forte = non.\n"
    "Quels sont les impacts potentiels sur la santé ?"
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    out = model.generate(
        **inputs,
        max_new_tokens=128,
        temperature=0.7,
        top_p=0.9,
    )

print(tokenizer.decode(out[0], skip_special_tokens=True))

Le modèle doit répondre avec une synthèse structurée du risque, par exemple :

• allergies,
• irritation respiratoire,
• charge thermique,
• stress cardio pour personnes fragiles.

Cas d’usage cibles

• Alerte locale air/santé pour des collectivités ou associations.
• Vulgarisation grand public (messages courts, lisibles).
• Base pour agents IA environnement-santé (tableau de bord quotidien).
• Déclenchement d’avertissements spécifiques (personnes asthmatiques, personnes âgées, travailleurs extérieurs, etc.).

Limites importantes

• Le modèle ne remplace pas un avis médical ni un service d’urgence.
• Les scores de risque ne sont pas calibrés médicalement pour un territoire précis.
• Les prédictions se basent sur des conditions environnementales déclarées dans l’entrée. Si l’entrée est incomplète ou imprécise, la sortie peut l’être aussi.
• Le modèle a été fine-tuné sur un volume relativement compact (quelques centaines d’exemples ciblés). Il est spécialisé, mais pas omniscient.

Avertissement éthique

• Ne pas utiliser ce modèle pour prendre des décisions cliniques immédiates (diagnostic, traitement).
• Ne pas utiliser ce modèle pour trier des individus d’un point de vue assurantiel, RH ou légal.
• L’usage raisonnable est : sensibilisation, vulgarisation, aide à la décision publique.

Auteur / contact

• Auteur / entraînement : Jérôme (jeromex1)
• Pipeline : préparation dataset JSONL -> chat template Mistral -> qLoRA 4 bits sur GPU Colab Pro -> publication des adapters.
• Positionnement : IA appliquée environnement / santé publique locale.

📘 Découvrez mes 40 projets IA et sciences STEM ici : 👉 github.com/Jerome-openclassroom

📘 Pour en savoir plus, rendez-vous sur ma page GitHub consacrée au projet : 👉 Mistral_7B_AirQuality_LoRA

<a name="english-version"></a>

lyra_air_sante_mistral7B_qLoRA

Description

This model is a LoRA adaptation (qLoRA 4-bit) of mistralai/Mistral-7B-Instruct-v0.3, specialized for rapid health risk assessment related to air quality and atmospheric conditions.

The model learns to respond to scenarios combining:

• temperature / humidity / thermal inversion,
• pollen and particulate levels,
• strong wind / rainfall,
• Air Quality Index (AQI),
  and to generate a synthetic health risk evaluation (e.g., allergies, cardio-respiratory stress).

Goal: produce short, readable alerts suitable for environmental health dashboards or local air/health assistant systems.

⚠️ This model is not a medical device, but an early alert and prioritization system.

Base Model

• mistralai/Mistral-7B-Instruct-v0.3
• Mistral Instruct License
• Bilingual conversational capabilities (French and English)

Training Method

• Technique: qLoRA 4-bit (PEFT)
• GPU: Colab Pro environment (high-end GPU such as A100)
• Framework: transformers, trl (SFTTrainer), bitsandbytes, peft
• Training type: SFT (Supervised Fine-Tuning)
• Training samples: ~400
• Validation samples: ~120
• Conversational format: [{"role": "user", "content": ...}, {"role": "assistant", "content": ...}]

Only small LoRA adapter matrices were trained — not the full model weights.
Therefore, this repository only publishes the adapters, not the base weights.

Data Format

Each training sample is a short chat pair:

{
  "messages": [
    {
      "role": "user",
      "content": "Weather conditions: Temperature = >30°C, Humidity = 40-70%, Thermal inversion = yes, Pollen = high, AQI = 5, Strong wind = yes, Heavy rain = no.\nWhat are the potential health impacts?"
    },
    {
      "role": "assistant",
      "content": "Allergy level: very high. Cardiovascular sensitivity: high."
    }
  ]
}
The Mistral tokenizer (mistralai/Mistral-7B-Instruct-v0.3) was used with its chat_template to convert these messages into training text.

🧪 Inference Examples
Below are five sample predictions illustrating the behavior of lyra_air_sante_mistral7B_qLoRA.

🧩 Test 1
Weather: Temperature = 34°C, Humidity = 45%, Thermal inversion = yes, Pollen = very high, AQI = 6, Strong wind = no, Heavy rain = no.
Question: What are the potential health impacts?

Answer:
Allergy level: very high.
Cardiovascular sensitivity: high.

🧩 Test 2
Weather: Temperature = 10°C, Humidity = 80%, Thermal inversion = no, Pollen = low, AQI = 2, Strong wind = yes, Heavy rain = yes.
Question: Effects on elderly people?

Answer:
Allergy level: low.
Cardiovascular sensitivity: low.

🧩 Test 3
Weather: Temperature = 28°C, Humidity = 30%, Thermal inversion = yes, Pollen = medium, AQI = 8, Strong wind = no, Heavy rain = no.
Question: Recommendations for asthmatic individuals?

Answer:
Allergy level: high.
Cardiovascular sensitivity: high.

🧩 Test 4
Weather: Temperature = 22°C, Humidity = 60%, Thermal inversion = no, Pollen = high, AQI = 4, Strong wind = yes, Heavy rain = no.
Question: Risk for outdoor workers?

Answer:
Allergy level: high.
Cardiovascular sensitivity: low.

🧩 Test 5
Weather: Temperature = 36°C, Humidity = 50%, Thermal inversion = yes, Pollen = low, AQI = 7, Strong wind = no, Heavy rain = no.
Question: Combined effects of heat and pollution?

Answer:
Allergy level: low.
Cardiovascular sensitivity: high.

Using the Adapters
Load the base Mistral 7B Instruct model

Load the LoRA adapters

Merge them for inference

Example (Python):

python
Copier le code
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "mistralai/Mistral-7B-Instruct-v0.3"
adapter_id    = "jeromex1/lyra_air_sante_mistral7B_qLoRA"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)

model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

model = PeftModel.from_pretrained(model, adapter_id)

prompt = (
    "Weather conditions: Temperature = 32°C, Humidity = 60%, "
    "Thermal inversion = yes, Pollen = very high, "
    "AQI = 5 (poor), Strong wind = no, Heavy rain = no.\n"
    "What are the potential health impacts?"
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    out = model.generate(
        **inputs,
        max_new_tokens=128,
        temperature=0.7,
        top_p=0.9,
    )

print(tokenizer.decode(out[0], skip_special_tokens=True))
Expected output:
A structured summary of health risks such as allergies, respiratory irritation, thermal stress, or cardio strain for vulnerable groups.

Target Use Cases
Local air/health alert systems for municipalities or associations

Public communication (short, readable messages)

Environmental health dashboards and daily reports

Risk alerts for specific populations (asthmatics, elderly, outdoor workers, etc.)

Limitations
The model does not replace medical expertise or emergency services.

Risk scores are not medically calibrated to a specific region.

Predictions depend on the completeness of the environmental input data.

The fine-tuning dataset is small (a few hundred curated examples). It’s specialized but not general-purpose.

Ethical Disclaimer
Do not use this model for clinical diagnosis or treatment.

Do not use it for insurance, HR, or legal decision-making.

Intended use: awareness, public communication, and policy support.

Author / Contact
Author / Training: Jérôme (jeromex1)

Pipeline: dataset preparation → Mistral chat template → qLoRA 4-bit fine-tuning on Colab GPU → adapter publication

Focus: Applied AI for environmental and public health intelligence.

📘 Discover my 45+ STEM and AI projects on GitHub : 👉 [github.com/Jerome-openclassroom](https://github.com/Jerome-openclassroom/)

📘 **To know more about this project**, see here :  👉 [Mistral_7B_AirQuality_LoRA](https://github.com/Jerome-openclassroom/Mistral_7B_AirQuality_LoRA/blob/main/README_En.md)