Downloads · 30 days
11
4% of all-time downloads
Sadou/medai-rural-qwen2.5-1.5b-gguf
medai-rural-qwen2.5-1.5b-gguf is a text generation model from Sadou. Use it when you need the model to write or continue text. The card lists the license as cc-by-nc-4.0.
Version GGUF Q4KM quantizée du modèle Sadou/medai-rural-qwen2.5-1.5b-lora.
Downloads · 30 days
11
4% of all-time downloads
All-time downloads
259
Public
Repo size
986 MB
Likes
0
Public
Click a slice to open those files.
.gguf986 MB · 100%
From the Hugging Face model README
Version GGUF Q4_K_M quantizée du modèle Sadou/medai-rural-qwen2.5-1.5b-lora.
📊 Voir le repo LoRA principal pour la méthodologie complète, benchmarks, fonction de parsing JSON et format de prompt exact.
| Caractéristique | Valeur |
|---|---|
| Modèle de base | Qwen 2.5-1.5B fine-tuné (LoRA mergé) |
| Quantization | Q4_K_M (4-bit) |
| Taille | ~986 MB |
| RAM nécessaire | ~1 GB |
| Vitesse CPU | ~20-30 tokens/sec sur laptop moderne |
| Vitesse GPU | ~80-120 tokens/sec |
wget https://huggingface.co/Sadou/medai-rural-qwen2.5-1.5b-gguf/resolve/main/qwen2.5-1.5b.Q4_K_M.gguf
cat > Modelfile <<'EOF'
FROM ./qwen2.5-1.5b.Q4_K_M.gguf
TEMPLATE """<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """Tu es MedAI Rural, un assistant médical IA expert pour médecins en zone rurale
(Afrique francophone). On te fournit une question médicale et un ou plusieurs
passages issus d'un corpus médical de référence (Guides MSF).
Tu dois :
1. Analyser les passages fournis et identifier ceux qui sont pertinents
2. Générer une réponse clinique précise basée EXCLUSIVEMENT sur les passages pertinents
3. Citer les passages utilisés dans ta réponse (ex: \"Selon [1], ...\")
4. Ignorer les passages non pertinents
RÉPONDS UNIQUEMENT EN JSON VALIDE."""
PARAMETER stop "<|im_end|>"
PARAMETER temperature 0.1
PARAMETER num_predict 400
EOF
ollama create medai-rural -f Modelfile
ollama run medai-rural "Question: Quand dois-je référer un patient présentant des effets secondaires graves au traitement antituberculeux?
Passages disponibles:
[1] [Chapitre 10 : multirésistante et résistante à la > 10.7 Effets indésirables] [Section] Chapitre 10 : multirésistante et résistante à la > 10.7 Effets indésirables
Les effets indésirables peuvent apparaître à tout moment au cours du traitement..."
⚠️ Format important : la question doit commencer par Question: et les passages par Passages disponibles: (cf. le repo LoRA pour le format exact).
Le modèle peut générer du texte parasite après le JSON. Utilisez TOUJOURS un parser robuste (voir le repo LoRA pour la fonction extract_first_json()).
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make
./llama-cli \
--model qwen2.5-1.5b.Q4_K_M.gguf \
--chat-template chatml \
--temp 0.1 \
-n 400 \
-p "..." # Avec le format Question: + Passages disponibles:
⚠️ Modèle destiné à la recherche uniquement. PAS d'usage clinique sans validation médicale.
Voir le repo LoRA pour la liste complète des limitations.
CC-BY-NC-4.0 — Usage non commercial uniquement.