marketing-lora-a

synthetic-data-benchmark

Quelle méthode de génération de données synthétiques produit le meilleur modèle ? Une comparaison contrôlée sur une tâche de stratégie marketing.

Le problème

Les datasets d'instruction de qualité sont rares et petits. La génération synthétique par LLM est la réponse courante — mais quelle méthode employer ? La littérature propose plusieurs approches sans les comparer à volume égal.

Le protocole

Dataset de départ : RafaM97/marketing_social_media — 689 exemples instruction / input / response de stratégie marketing.

Trois méthodes de génération, exactement 900 exemples chacune :

Quatre modèles entraînés, tous sur le même volume :

Le jeu de test est identique pour tous : exemples réels, gelés avant toute génération, jamais synthétisés.

⚠️ Contrôle de la variable. Chaque méthode produit le même nombre d'exemples. Sans cela, le benchmark mesurerait le volume, pas la méthode.

Les métriques

Niveau 1 — qualité des datasets (sans GPU)

• diversité lexicale (distinct-1, distinct-2)
• taux de quasi-doublons
• couverture des secteurs et étapes de workflow
• statistiques de longueur

Niveau 2 — performance des modèles

• présence d'un budget chiffré dans la réponse
• canaux marketing concrets cités
• mécanisme de mesure/suivi proposé
• reprise des contraintes de l'entrée
• ROUGE-L (avec ses limites)

La question centrale : la diversité mesurée d'un dataset prédit-elle la performance du modèle qu'il produit ?

Pourquoi cette tâche

Contrairement à la synthèse juridique (où existe une vérité terrain), une stratégie marketing n'a pas de bonne réponse unique. L'évaluation porte donc sur des critères structurels vérifiables, pas sur une comparaison à une référence. C'est une contrainte réaliste : beaucoup de tâches métier n'ont pas de vérité terrain.

Résultats

Qualité des datasets générés (sans GPU)

Performance des modèles entraînés

Même modèle de base, mêmes hyperparamètres, même jeu de test gelé. Seule variable : la composition du dataset.

Le résultat principal : une inversion du classement

Le dataset le mieux noté produit le modèle le plus faible. Le plus mal noté produit le meilleur.

Pourquoi

Le seul indicateur de dataset corrélé au résultat final est la richesse des réponses, pas la diversité des instructions :

• B avait la meilleure diversité de réponses (0,507) et les réponses les plus longues (730 caractères) → son modèle produit les sorties les plus complètes
• C avait 435 contextes variés mais des réponses courtes (331 car.) → son modèle a appris à être bref (346 car. en sortie)

Le modèle apprend à produire des réponses, pas à poser des questions. Des instructions répétitives associées à des réponses riches enseignent mieux qu'un catalogue de contextes variés associés à des réponses standardisées.

Le gain des données synthétiques est faible

A et C n'apportent que +0,8 et +0,4 point malgré +53 % de volume d'entraînement. C'est dans le bruit. Seule B dépasse ce seuil avec +6,7 points, principalement sur le critère mecanisme_suivi (10 % → 27 %).

Ajouter des données synthétiques n'est pas automatiquement bénéfique.

Limites

• Un seul run par variante. Sans plusieurs graines, on ne peut pas distinguer +0,8 point du bruit d'entraînement. Seul l'écart de B est vraisemblablement significatif. C'est la limite principale de ce travail.
• Les métriques structurelles sont des proxys : elles mesurent la complétude d'une réponse, pas sa qualité stratégique.
• Ratio synthétique/réel modeste (269 pour 512).
• Un seul modèle générateur, un seul modèle de base.
• Le score plafonne à ~0,5 pour tous : 2 époques sur 781 exemples restent insuffisantes pour une tâche aussi ouverte.

Détail complet : eval/benchmark_final.json

Artefacts

Structure

src/        code réutilisable (schéma, métriques, génération)
scripts/    scripts exécutables
tests/      tests unitaires
data/       datasets générés (non versionnés)
eval/       résultats

Licence

MIT (code). Le dataset source est sous sa propre licence.