Downloads · 30 days
23
21% of all-time downloads
Sara12340999/camembert-base-ner-personne-fr
camembert-base-ner-personne-fr is a token classification model from Sara12340999. Use it when you need labels on individual words, such as names. The card lists the license as mit.
Modèle de classification de tokens qui indique, pour chaque mot d'un texte français, s'il fait partie d'un nom de personne (1) ou non (0).
Downloads · 30 days
23
21% of all-time downloads
All-time downloads
110
Public
Parameters
110M
880 MB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors440 MB · 99%
From the Hugging Face model README
Modèle de classification de tokens qui indique, pour chaque mot d'un texte
français, s'il fait partie d'un nom de personne (1) ou non (0).
Réalisé dans le cadre du TD2 de NLP (ESGI).
Fine-tuning complet (aucune couche gelée) de almanach/camembert-base, en deux étapes :
B-PER/I-PER) — apprentissage du français général.(à compléter avec les métriques obtenues)
La baseline « prédire aucun nom partout » atteint 95,6 % sur MultiNERD FR et 86,9 % sur France Inter : c'est à cette référence qu'il faut comparer l'accuracy, et c'est pourquoi le F1 sur la classe positive est rapporté.
import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
model = AutoModelForTokenClassification.from_pretrained("Sara12340999/camembert-base-ner-personne-fr")
tokenizer = AutoTokenizer.from_pretrained("Sara12340999/camembert-base-ner-personne-fr")
def predict_at_word_level(text_split_into_words, model, tokenizer):
encoded = tokenizer(
text_split_into_words, is_split_into_words=True,
truncation=True, return_tensors="pt",
)
model.eval()
with torch.no_grad():
predictions = model(**encoded).logits.argmax(dim=-1)[0].tolist()
word_ids = tokenizer(
text_split_into_words, is_split_into_words=True, truncation=True
).word_ids()
labels = [0] * len(text_split_into_words)
previous = None
for token_idx, word_idx in enumerate(word_ids):
if word_idx is not None and word_idx != previous:
labels[word_idx] = int(predictions[token_idx])
previous = word_idx
return labels
words = ["La", "chronique", "de", "Juliette", "Arnaud"]
print(predict_at_word_level(words, model, tokenizer))
# [0, 0, 0, 1, 1]
On prend la prédiction du premier sous-token de chaque mot, comme à l'entraînement.