Downloads · 30 days
159
10% of all-time downloads
TristanQUINTARD/claude-oss-9b-juriste-gguf
claude-oss-9b-juriste-gguf is a text generation model from TristanQUINTARD. Use it when you need the model to write or continue text. It is set up for gguf. The card lists the license as apache-2.0.
Downloads · 30 days
159
10% of all-time downloads
All-time downloads
1.6K
Public
Repo size
26.6 GB
Likes
0
Public
Click a slice to open those files.
.gguf26.6 GB · 100%
From the Hugging Face model README
claude-oss-9b-juriste-ggufDéveloppé et entraîné par Treestan325
Version quantifiée en GGUF multi-formats de claude-oss-9b-juriste, un modèle de 9 milliards de paramètres spécialisé en droit des contrats français. Ce modèle est un ajustement fin (fine-tuning) du modèle de base squ11z1/claude-oss (9B), configuré pour fonctionner de manière fluide sur du matériel grand public grâce à llama.cpp, Ollama, LM Studio ou KoboldCpp.
Le modèle a été entraîné avec le jeu de données dataset_sft.jsonl en utilisant la plateforme Unsloth pour effectuer un entraînement en 16-bit natif (bfloat16) sur GPU NVIDIA H100 (80 Go) ou A100 (40 Go). Il adopte le style de réflexion signature de Claude : analytique, prévenant, courtois et structure ses pensées de façon limpide et élégante, tout en agissant en tant que juriste expert du droit.
Le modèle a été entraîné selon un protocole d'élite conçu pour préserver l'intégrité cognitive du modèle d'origine :
bfloat16) : Pas de quantification QLoRA 4-bit à l'entraînement. Le modèle conserve 100 % de ses poids d'origine et de ses capacités pour une précision de raisonnement juridique maximale.q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj) pour intégrer profondément les nuances du droit dans la structure synaptique.max_seq_length) de 512 tokens (les blocs de texte faisant en moyenne 450 tokens) pour garantir une stabilité totale de la VRAM.2e-5 avec un ordonnanceur (lr_scheduler_type) cosine pour préserver la structure cognitive et le raisonnement du modèle.Nous proposons 5 formats de quantification GGUF différents téléversés via Unsloth pour s'adapter à toutes les configurations de mémoire VRAM/RAM :
| Fichier / Format | Quant | Taille indicative | Description |
|---|---|---|---|
*f16.gguf | F16 | ~18 Go | Précision maximale — Aucun compromis sur les poids d'origine. Nécessite une carte avec >20 Go de VRAM (ex. RTX 3090/4090 ou Mac Studio). |
*q8_0.gguf | Q8_0 | ~9.5 Go | Qualité quasi-parfaite (near-lossless) — Recommandé pour des machines puissantes avec au moins 16 Go de RAM/VRAM. |
*q5_k_m.gguf | Q5_K_M | ~6.5 Go | Excellent compromis — Très haute qualité avec une consommation modérée de RAM/VRAM. |
*q4_k_m.gguf | Q4_K_M | ~5.6 Go | Recommandé par défaut — Excellent compromis entre vitesse d'inférence, préservation de l'intelligence et empreinte mémoire. |
*q3_k_l.gguf | Q3_K_L | ~4.8 Go | Le plus léger — Idéal pour les configurations avec des ressources matérielles limitées. |
llama-cli)Vous pouvez lancer le modèle en ligne de commande locale avec llama.cpp en utilisant la commande suivante.
Note : Il est fortement recommandé d'utiliser une pénalité de répétition de 1.15 pour éviter toute boucle de répétition dans les raisonnements longs.
llama-cli \
-m claude-oss-9b-juriste-q4_k_m.gguf \
-p "<|im_start|>system\nTu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit français.<|im_end|>\n<|im_start|>user\nBonjour. Quelle est la différence fondamentale entre l'exigence d'écrit ad probationem et ad validitatem en droit des contrats électroniques ?<|im_end|>\n<|im_start|>assistant\n" \
-n 512 \
--temp 0.6 --top-p 0.95 --repeat-penalty 1.15 \
-c 512
Modelfile :FROM ./claude-oss-9b-juriste-q4_k_m.gguf
# Paramètres recommandés basés sur l'entraînement
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER repeat_penalty 1.15
PARAMETER num_ctx 512
# Invite système par défaut
SYSTEM "Tu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit français."
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""
ollama create claude-oss-juriste -f Modelfile
ollama run claude-oss-juriste
Glissez-déposez le fichier .gguf de votre choix dans le dossier de modèles de votre logiciel. Le modèle utilise la structure d'invite standard ChatML (ou Qwen). Sélectionnez le modèle d'invite (Chat Template) ChatML ou laissez la détection automatique lire les métadonnées intégrées par llama.cpp.
Pour obtenir des réponses juridiques fluides et de haute qualité :
| Paramètre | Valeur recommandée | Justification |
|---|---|---|
temperature | 0.6 | Équilibre la créativité et la rigueur logique. |
top_p | 0.95 | Concentre la génération sur les tokens les plus probables. |
repeat_penalty | 1.15 | Crucial pour supprimer les répétitions en boucle du modèle. |
max_new_tokens | 512 | Calibré selon la longueur maximale définie lors de la phase de SFT. |
[!WARNING] Évitez le décodage glouton (greedy decoding) ou les températures trop basses (T ≤ 0.3), car elles peuvent induire des boucles de répétition infinies sur ce modèle.
repetition_penalty = 1.15 lors de l'inférence sous peine d'avoir des comportements répétitifs.