anonymiseur-lyceen

🛡️ Anonymiseur-Lycéen

Modèle CamemBERT fine-tuné pour l'anonymisation automatique de copies d'élèves.

Détecte et annote les données personnelles dans les textes scolaires français : noms, prénoms, établissements, classes, numéros étudiants, adresses, professions des parents, etc.

📊 Dataset d'entraînement : XenocodeRCE/anonymiseur-lyceen-dataset — 282 copies d'élèves synthétiques générées avec Mistral 7B.

---

📊 Statistiques d'entraînement

Évolution de la perte

---

🏷️ Entités détectées (8 types)

Distribution des entités dans le dataset d'entraînement

O                : 17513 tokens (90.0%)
I-ETABLISSEMENT  :   364 tokens ( 1.9%)
I-ADRESSE        :   318 tokens ( 1.6%)
I-CLASSE         :   224 tokens ( 1.2%)
I-NUMERO_ETUDIANT:   186 tokens ( 1.0%)
B-PRENOM         :   139 tokens ( 0.7%)
B-NOM            :   134 tokens ( 0.7%)
B-ETABLISSEMENT  :    74 tokens ( 0.4%)
B-CLASSE         :    72 tokens ( 0.4%)
B-PROFESSION     :    72 tokens ( 0.4%)
B-ADRESSE        :    42 tokens ( 0.2%)
B-NUMERO_ETUDIANT:    40 tokens ( 0.2%)

---

🚀 Utilisation

Installation

pip install transformers torch

Avec le pipeline Hugging Face

from transformers import pipeline

ner = pipeline("ner", model="XenocodeRCE/anonymiseur-lyceen", aggregation_strategy="simple")

texte = "Je m'appelle Pierre Dupont, je suis au Lycée Baudelaire à Lyon."
resultats = ner(texte)

for ent in resultats:
    print(f"[{ent['entity_group']}] {ent['word']} ({round(ent['score']*100)}%)")

Sortie :

[PRENOM] Pierre (48%)
[NOM] Dupont (51%)
[ETABLISSEMENT] Lycée Baudelaire à Lyon (47%)

Avec PyTorch (niveau avancé)

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

model_path = "XenocodeRCE/anonymiseur-lyceen"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForTokenClassification.from_pretrained(model_path)

texte = "Sarah Cohen, Terminale G au Lycée International de Strasbourg."
inputs = tokenizer(texte, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)

tokens = tokenizer.convert_ids_to_tokens(inputs["input_ids"][0])
labels = [model.config.id2label[p.item()] for p in predictions[0]]

for token, label in zip(tokens, labels):
    if label != "O":
        print(f"{token:15s} -> {label}")

Via l'API Hugging Face

import requests

API_URL = "https://api-inference.huggingface.co/models/XenocodeRCE/anonymiseur-lyceen"
headers = {"Authorization": "Bearer VOTRE_TOKEN_HF"}

response = requests.post(API_URL, headers=headers, json={
    "inputs": "Je m'appelle Pierre Dupont, élève au Lycée Baudelaire à Lyon."
})
print(response.json())

---

📈 Performances

Exemples réels

Limites connues

• ⚠️ Faux positifs possibles sur les noms de personnes célèbres (ex: Victor Hugo) — des exemples négatifs sont présents dans le dataset mais le modèle n'est pas parfait
• ⚠️ Bruit résiduel sur la ponctuation et les mots courts (,, ', au, en)
• 📈 Scores en nette progression (63-70% vs 47-53% précédemment) grâce au dataset 3.5× plus grand
• 🆕 VILLE maintenant détecté correctement (Lyon, Arles, Strasbourg...)
• 🚫 Pas encore de détection des dates de naissance, emails, téléphones (classes rares)

---

🔄 Ré-entraînement

Le script train.py contient tout le nécessaire pour reproduire l'entraînement :

python generate_dataset.py   # Génère les données via LM Studio (LLM local)
python train.py              # Lance l'entraînement avec class weights
python test_model.py         # Teste le modèle localement

Points clés de l'entraînement

• Class weights : les classes rares (ex: B-NUMERO_ETUDIANT) sont pondérées jusqu'à 437× plus que la classe O pour compenser le déséquilibre (90% des tokens sont O)
• 30 époques nécessaires pour que le modèle apprenne les classes minoritaires
• Sans class weights : le modèle prédit O partout (stratégie paresseuse)

---

📁 Structure du projet

anonymiseur-lyceen/
├── config.json              # Configuration du modèle
├── model.safetensors        # Poids du modèle (420 MB)
├── tokenizer.json           # Tokenizer SentencePiece
├── tokenizer_config.json    # Configuration du tokenizer
├── sentencepiece.bpe.model  # Vocabulaire BPE
└── README.md                # Ce fichier

---

⚖️ Licence

MIT — Utilisation libre, y compris commerciale.

---

🙏 Remerciements

• CamemBERT — Modèle de langue français pré-entraîné par l'Inria
• Hugging Face — Infrastructure d'entraînement et de déploiement
• Données générées synthétiquement via LM Studio (Gemma 4 12B)

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Framework versions

• Transformers 4.48.0
• Pytorch 2.12.1+cpu
• Datasets 3.2.0
• Tokenizers 0.21.4