mistral-flo-finetune-2-T4

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

mistral-flo-finetune-2-T4

This model is a fine-tuned version of mistralai/Mistral-7B-v0.1 on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2.5e-05
• train_batch_size: 4
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1
• training_steps: 500

Framework versions

• PEFT 0.8.2
• Transformers 4.37.0
• Pytorch 2.1.2
• Datasets 2.1.0
• Tokenizers 0.15.1

Mistral_fine_tuning

Florian Dufaure - Volodia Fernandez

Introduction

Nous sommes parties de Mistral afin de créer un générateur de phrase en le fine tunant avec du light novel

Dataset Light Novel

Notre modèle est sur Hugging Face à l'adresse suivante : Mistral-fine-tuning-light-novel

Version en local

Nous avons eu quelques soucis avec le fonctionnement depuis Hugging Face, donc il est possible de tester notre modèle en local depuis le fichier Light_Novel_Generation.ipynb.

Pour cela il suffit d'aller à la fin du fichier dans la partie Test en local de notre fichier. Et de modifier l'eval_prompt afin que notre modèle le complète.

Running

Pour lancer notre service il suffit de faire

python app.py

Et de se rendre sur l'url indiqué dans le terminal et de générer ce qu'on veut.

Entrainement du modèle

Nous avons entrainé le modèle sur une petite partie du dataset par manque de temps et sur une époque.

Voici la courbe de loss durant le training du modèle

<img src="Loss_during_training.png" alt="Loss function during training" width="600"/>