doktor-LLama2-sambanovasystems-7b-lora

Doktor Sambalingo Llama 2 Lora Modeli

Genel Bakış

Doktor Sambalingo Llama 2 Lora, Türkçe sağlık danışmanlığı alanında kullanılmak üzere geliştirilmiş bir büyük dil modelidir. Bu model, doktor-hasta yazılı iletişimindeki performansı iyileştirmek ve hastalara daha doğru ve bağlama uygun yanıtlar sunmak amacıyla oluşturulmuştur.

Bu model, Muhammed Kayra Bulut tarafından hazırlanan yüksek lisans tezi kapsamında geliştirilmiştir.

Özellikler

• Dil: Türkçe
• Model Boyutu: 7 milyar parametre
• Taban Model: SambaLingo-Turkish-Chat
• Eğitim Verisi: 321.179 adet Türkçe hasta-doktor soru-cevap çiftinden oluşan özel bir veri kümesi kullanılmıştır.
• Amaç: Türkçe sağlık danışmanlığı alanında etkili ve güvenilir bir dil modeli oluşturmak.

Eğitim Süreci

Modelin eğitimi ve ince ayarı şu adımlarla gerçekleştirilmiştir:

1. Veri Toplama ve İşleme: Doktor-hasta yazılı iletişimlerinden oluşan geniş bir veri kümesi toplanmış, temizlenmiş ve modele uygun hale getirilmiştir.
2. İnce Ayar (Fine-Tuning): SambaLingo-Turkish-Chat tabanlı model, Türkçe sağlık verileriyle ince ayar yapılarak eğitilmiştir.
3. Değerlendirme: Modelin performansı ROUGE, BLEU, BERT Score gibi metriklerle ve uzman değerlendirmeleriyle ölçülmüştür.

Performans ve Sonuçlar

Yapılan değerlendirmeler sonucunda, Doktor Sambalingo Llama 2 Lora modelinin Türkçe sağlık danışmanlığı alanında aşağıdaki başarılara ulaştığı tespit edilmiştir:

• Yüksek Doğruluk: Model, hasta sorularına doğru ve bağlama uygun yanıtlar verebilmektedir.
• Etkili İletişim: Doktor-hasta iletişiminde anlaşılırlığı artırarak, tıbbi bilgileri hastaların anlayabileceği bir dilde sunabilmektedir.
• Uzman Onayı: Uzman doktorlar tarafından yapılan değerlendirmelerde olumlu geri bildirimler alınmıştır.

Daha detaylı bilgi için yüksek lisans tezine başvurabilirsiniz.

Kullanım Alanları

• Sağlık Danışmanlığı: Hasta sorularına hızlı ve doğru yanıtlar sunarak sağlık hizmetlerini destekler.
• Eğitim ve Araştırma: Tıp öğrencileri ve araştırmacılar için yardımcı bir araç olarak kullanılabilir.
• Hasta Bilgilendirme: Tıbbi terimleri anlaşılır bir dilde açıklayarak hasta eğitimine katkıda bulunur.

Kurulum ve Kullanım

1. Gereksinimler:

   • Python 3.8+
   • PyTorch
   • Transformers kütüphanesi

2. Kurulum:

git clone https://github.com/kayrab/doktor-LLama2-sambanovasystems-7b.git
cd doktor-LLama2-sambanovasystems-7b

1. Modelin Yüklenmesi ve Kullanımı:

from huggingface_hub import login
api_token = "hesaba_ait_token"
login(api_token)

# Unsloth, Xformers (Flash Attention) ve tüm diğer paketleri yükle!
!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
!pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes

from unsloth import FastLanguageModel
model_name = "kayrab/doktor-LLama2-sambanovasystems-7b-lora"

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = 2048,
    dtype = "bf16",
    load_in_4bit = False,
    token = api_token,
)
FastLanguageModel.for_inference(model)

input_text = "Merhaba doktor, son zamanlarda sık sık idrara çıkma, idrar renginde koyulaşma ve bel bölgemde hafif bir ağrı hissediyorum. Ayrıca, özellikle sabahları ellerimde ve ayaklarımda şişlik fark ediyorum. Bunun yanı sıra, son birkaç haftadır kendimi sürekli yorgun ve halsiz hissediyorum. Böbreklerimin sağlığıyla ilgili bir sorun olabileceğinden endişeleniyorum. Bu belirtiler böbrek taşı, enfeksiyon ya da başka bir böbrek rahatsızlığına işaret ediyor olabilir mi? Eğer öyleyse, hangi testleri yaptırmamı önerirsiniz ve bu süreçte nelere dikkat etmeliyim? Ayrıca, böbrek sağlığımı korumak için günlük yaşamımda yapabileceğim değişiklikler hakkında bilgi verirseniz çok sevinirim."
prompt = f"""Sen bir doktorsun. Soruları buna göre cevapla.
### Soru:
{input_text}

### Cevap:
"""

# Girdileri hazırla ve cihaza taşı
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

# Metin üretimi
outputs = model.generate(
    **inputs,
    max_length=500,
    do_sample=False,
)

# Sonucu çöz ve yazdır
generated_text = tokenizer.decode(outputs[0])
print(generated_text)

Referanslar

Yüksek Lisans Tezi: Sağlık Verileri Üzerinde Büyük Dil Modellerinin İnce Ayar Performansı - Muhammed Kayra Bulut, Yıldız Teknik Üniversitesi, 2024.

Doctor Sambalingo Llama 2 Lora Model

Overview

Doctor Sambalingo Llama 2 Lora is a large language model developed for use in Turkish health consultancy. This model aims to improve the performance of written communication between doctors and patients and provide patients with more accurate and context-appropriate responses.

This model was developed as part of a master's thesis prepared by Muhammed Kayra Bulut.

Features

• Language: Turkish
• Model Size: 7 billion parameters
• Base Model: SambaLingo-Turkish-Chat
• Training Data: A special dataset consisting of 321,179 Turkish patient-doctor question-answer pairs was used.
• Purpose: To create an effective and reliable language model in the field of Turkish health consultancy.

Training Process

The training and fine-tuning of the model were carried out in the following steps:

1. Data Collection and Processing: A large dataset consisting of written doctor-patient communications was collected, cleaned, and prepared for the model.
2. Fine-Tuning: The base model Meta-Llama-3-8B was fine-tuned using Turkish health data.
3. Evaluation: The model's performance was measured using metrics such as ROUGE, BLEU, BERT Score, and expert evaluations.

Performance and Results

As a result of the evaluations, it was determined that the Doctor Sambalingo Llama 2 Lora model achieved the following successes in the field of Turkish health consultancy:

• High Accuracy: The model can provide accurate and context-appropriate responses to patient questions.
• Effective Communication: It enhances clarity in doctor-patient communication by presenting medical information in a language that patients can understand.
• Expert Approval: Positive feedback was received from evaluations conducted by expert doctors.

For more detailed information, you can refer to the master's thesis.

Use Cases

• Health Consultancy: Supports health services by providing quick and accurate responses to patient questions.
• Education and Research: Can be used as an assistant tool for medical students and researchers.
• Patient Education: Contributes to patient education by explaining medical terms in understandable language.

Installation and Usage

1. Requirements:

   • Python 3.8+
   • PyTorch
   • Transformers library

2. Installation:

git clone https://github.com/kayrab/doktor-LLama2-sambanovasystems-7b.git
cd doktor-LLama2-sambanovasystems-7b

1. Loading and Using the Model:

from huggingface_hub import login
api_token = "your_token"  # Account-specific token
login(api_token)

# Install Unsloth, Xformers (Flash Attention), and all other required packages!
!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
!pip install --no-deps "xformers<0.0.27" "trl<0.9.0" peft accelerate bitsandbytes

from unsloth import FastLanguageModel
model_name = "kayrab/doktor-LLama2-sambanovasystems-7b-lora"

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = 2048,  # Maximum sequence length
    dtype = "bf16",  # Data type for model weights
    load_in_4bit = False,  # Whether to load the model in 4-bit precision
    token = api_token,  # API token for authentication
)
FastLanguageModel.for_inference(model)

input_text = "Merhaba doktor, son zamanlarda sık sık idrara çıkma, idrar renginde koyulaşma ve bel bölgemde hafif bir ağrı hissediyorum. Ayrıca, özellikle sabahları ellerimde ve ayaklarımda şişlik fark ediyorum. Bunun yanı sıra, son birkaç haftadır kendimi sürekli yorgun ve halsiz hissediyorum. Böbreklerimin sağlığıyla ilgili bir sorun olabileceğinden endişeleniyorum. Bu belirtiler böbrek taşı, enfeksiyon ya da başka bir böbrek rahatsızlığına işaret ediyor olabilir mi? Eğer öyleyse, hangi testleri yaptırmamı önerirsiniz ve bu süreçte nelere dikkat etmeliyim? Ayrıca, böbrek sağlığımı korumak için günlük yaşamımda yapabileceğim değişiklikler hakkında bilgi verirseniz çok sevinirim."
prompt = f"""You are a doctor. Answer the questions accordingly.
### Soru:
{input_text}

### Cevap:
"""

# Prepare inputs and move them to the device
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

# Generate text
outputs = model.generate(
    **inputs,
    max_length=500,  # Maximum length of the generated text
    do_sample=False,  # Disable sampling for deterministic output
)

# Decode and print the result
generated_text = tokenizer.decode(outputs[0])
print(generated_text)

References

Master's Thesis: Fine-Tuning Performance of Large Language Models on Health Data - Muhammed Kayra Bulut, Yıldız Technical University, 2024.