Llama-3.2-3B-TR-Instruct-DPO

Llama-3.2-3B-TR-Instruct-DPO

Bu model, Llama-3.2-3B-Instruct temel alınarak geliştirilmiş, Türkçe dil yetenekleri ve teknik (STEM) alanlardaki muhakeme gücü artırılmış bir yapay zeka asistanıdır.

This model is a Turkish fine-tuned version of unsloth/Llama-3.2-3B-Instruct. It has been trained using a two-stage pipeline (SFT + DPO) to enhance its Turkish language capabilities and reasoning skills in STEM (Science, Technology, Engineering, Mathematics) fields.

Model Details (Model Detayları)

Model Description

Bu model, talimatları daha iyi takip edebilmesi ve insan tercihlerine uygun cevaplar verebilmesi için iki aşamalı bir eğitimden geçmiştir:

1. SFT (Supervised Fine-Tuning): atasoglu/databricks-dolly-15k-tr veri seti kullanılarak genel konuşma ve talimat takip yeteneği kazandırıldı.
2. DPO (Direct Preference Optimization): yusufbaykaloglu/Turkish-STEM-DPO-Dataset veri seti ile modelin özellikle bilim ve teknoloji konularındaki cevap kalitesi optimize edildi.

• Developed by: wololoo
• Model type: Causal Language Model (Transformer)
• Language(s): Turkish (Türkçe)
• License: Llama 3.2 Community License
• Finetuned from model: unsloth/Llama-3.2-3B-Instruct

Uses (Kullanım Alanları)

Direct Use

Bu model genel amaçlı bir Türkçe asistan olarak kullanılabilir. Özellikle şu alanlarda etkilidir:

• Türkçe soru-cevap (QA).
• Bilim, Teknoloji ve Mühendislik (STEM) konularında temel bilgilendirme.
• Metin üretimi, özetleme ve düzenleme.
• Sohbet (Chatbot) uygulamaları.

Out-of-Scope Use (Kapsam Dışı Kullanım)

• Model tıbbi, hukuki veya finansal tavsiye vermek için kullanılmamalıdır.
• Zararlı, nefret söylemi içeren veya yasa dışı içerik üretimi için kullanılamaz.

Bias, Risks, and Limitations (Riskler ve Limitler)

Tüm Büyük Dil Modelleri (LLM) gibi, bu model de "halüsinasyon" görebilir (yanlış bilgi üretebilir) veya eğitim verisindeki önyargıları yansıtabilir. Özellikle teknik veya kritik konularda modelin verdiği cevaplar mutlaka doğrulanmalıdır.

How to Get Started with the Model (Nasıl Kullanılır?)

Modeli çalıştırmak için aşağıdaki Python kodunu kullanabilirsiniz:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Model ismini buraya girin
model_id = "wololoo/Llama-3.2-3B-TR-Instruct-DPO"

# Tokenizer ve Modeli Yükle
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Sohbet Şablonunu Hazırla
messages = [
    {"role": "system", "content": "Sen yardımsever ve bilgili bir yapay zeka asistanısın."},
    {"role": "user", "content": "Yapay zeka mühendisliğinde DPO (Direct Preference Optimization) nedir?"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# Cevap Üret
outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
)

# Sonucu Yazdır
response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)