Pars-Medical-o1-Llama-FFT-GGUF

<div align="center">

🩺 Pars-Medical-o1-Llama-FFT-GGUF - ⚠️This is a beta version and does not have the ability to correctly respond to or handle local runs on its own.⚠️

⚠️The full version will be released in the Pars-Medical application.⚠️

نسخه کوانتیزه شده برای اجرای محلی

Quantized Version for Local Inference

</div>

---

📦 About This Repo | درباره این ریپو

<table> <tr> <td width="50%" align="right" dir="rtl">

این ریپو شامل نسخه‌های کوانتیزه شده GGUF از مدل Pars-Medical-o1-Llama-FFT است.

برای اجرای محلی با Ollama، LM Studio یا llama.cpp مناسب است.

</td> <td width="50%">

This repo contains GGUF quantized versions of Pars-Medical-o1-Llama-FFT.

Perfect for local inference with Ollama, LM Studio, or llama.cpp.

</td> </tr> </table>

🔗 Looking for full model? See Pars-Medical-o1-Llama-FFT (BF16, 6.4GB)

---

📊 Available Quantizations | نسخه‌های موجود

Quantized on NVIDIA A100 80GB SXM using llama.cpp

💡 Which one to choose? | کدام را انتخاب کنم؟

• Q4_K_M → کمترین حجم، مناسب سیستم‌های ضعیف | Smallest, good for low-end systems
• Q5_K_M → تعادل بین کیفیت و سرعت | Balance between quality and speed
• Q8_0 → بهترین کیفیت، نزدیک به مدل اصلی | Best quality, closest to original

---

🚀 Quick Start | شروع سریع

1️⃣ Ollama (Recommended | پیشنهادی)

# Direct from HuggingFace
ollama run hf.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF

# Or with specific quantization
ollama run hf.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF:Q4_K_M

2️⃣ LM Studio

1. Open LM Studio
2. Go to Search tab
3. Search: HexQuant/Pars-Medical-o1-Llama-FFT-GGUF
4. Download your preferred quantization
5. Start chatting! 💬

3️⃣ llama.cpp

# Download the model
wget https://huggingface.co/HexQuant/Pars-Medical-o1-Llama-FFT-GGUF/resolve/main/Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf

# Run inference
./llama-cli \
  -m Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf \
  -p "What are the symptoms of diabetes?" \
  -n 512 \
  --temp 0.7

4️⃣ Python (llama-cpp-python)

from llama_cpp import Llama

# Load model directly from HuggingFace
llm = Llama.from_pretrained(
    repo_id="HexQuant/Pars-Medical-o1-Llama-FFT-GGUF",
    filename="Pars-Medical-o1-Llama-FFT-Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # Use all GPU layers
)

# Chat
response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "علائم دیابت نوع ۲ چیست؟"}
    ],
    temperature=0.7,
    max_tokens=512,
)

print(response["choices"][0]["message"]["content"])

---

💬 Example | نمونه

<details> <summary><b>🇮🇷 مثال فارسی</b></summary>

سوال:

علائم کم‌کاری تیروئید چیست؟

پاسخ مدل:

<think> بیایید علائم کم‌کاری تیروئید را بررسی کنیم:

• کاهش متابولیسم بدن
• تأثیر بر سیستم‌های مختلف </think>

علائم اصلی کم‌کاری تیروئید:

1. خستگی مزمن - احساس کسالت دائمی
2. افزایش وزن - با وجود رژیم غذایی طبیعی
3. عدم تحمل سرما - احساس سردی بیشتر
4. یبوست - کاهش حرکات روده
5. خشکی پوست - پوست خشک و زبر
6. ریزش مو - نازک شدن موها

</details> <details> <summary><b>🇺🇸 English Example</b></summary>

Question:

What are the warning signs of a heart attack?

Model Response:

<think> Let me outline the classic and atypical presentations of myocardial infarction. </think>

Warning Signs of Heart Attack:

Classic Symptoms:

1. Chest pain/pressure (may radiate to arm, jaw, back)
2. Shortness of breath
3. Cold sweats
4. Nausea/vomiting

Atypical Symptoms (more common in women):

• Unusual fatigue
• Indigestion-like discomfort
• Dizziness

⚠️ If you experience these symptoms, call emergency services immediately!

</details>

---

🔧 Technical Details | جزئیات فنی

---

⚠️ Disclaimer | سلب مسئولیت

<table> <tr> <td width="50%" align="right" dir="rtl">

⚠️ این مدل صرفاً برای اهداف آموزشی و تحقیقاتی است.

❌ جایگزین مشاوره پزشکی حرفه‌ای نیست.

✅ همیشه با پزشک متخصص مشورت کنید.

</td> <td width="50%">

⚠️ This model is for educational and research purposes only.

❌ Not a substitute for professional medical advice.

✅ Always consult with a qualified healthcare provider.

</td> </tr> </table>

---

🔗 Related Links | لینک‌های مرتبط

---

🔗 Connect | ارتباط

<div align="center">

---

Made with ❤️ TheRealPourya

If you find this model useful, please ⭐ star the repo and share it!

</div>