girenit-LLM-3B

girenit-LLM-3B — Türkçe Talimat Modeli 💬🇹🇷

girenit-LLM-3B, Qwen2.5-3B-Instruct tabanının Türkçe talimatlarla QLoRA ile ince ayarlanmış (fine-tune) sürümüdür. Kompakt (3B), tek GPU'da çalışan, on-prem dağıtılabilir bir Türkçe sohbet / talimat modeli olarak tasarlanmıştır — büyük bulut modellerine bağımlı kalmadan Türkçe metin üretimi, soru-cevap ve özetleme için.

Örnek çıktılar

Soru: Türkiye'nin başkenti neresidir? Cevap: Türkiye'nin başkenti Ankara'dır. 1923'te kuruldu ve önemli bir idari merkezdir.

Soru: Yapay zeka nedir? İki cümleyle açıkla. Cevap: Yapay Zeka (YZ), insan benzeri problem çözme ve veri analizi gibi görevlerde kullanılan bilgisayar sistemleridir. Bu sistemler, verilerden öğrenerek yeni görevleri çözmek için tasarlanmıştır.

Eğitim

• Taban: Qwen/Qwen2.5-3B-Instruct (Apache-2.0)
• Veri: MercanAI/turkce-sft-qa-3.7m'den kalite skoru ≥ 0,6 ile seçilmiş 80.000 örnek
• Yöntem: 4-bit NF4 QLoRA (rank 16, alpha 32), yalnız asistan cevaplarına loss, 8-bit AdamW, bf16, tek RTX 3090
• Bu depo LoRA adaptörüdür; kullanım için taban modelle birlikte yüklenir.

Kullanım

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("girenit/girenit-LLM-3B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct",
                                             torch_dtype=torch.bfloat16, device_map="cuda")
model = PeftModel.from_pretrained(model, "girenit/girenit-LLM-3B")

msgs = [{"role": "user", "content": "Yapay zeka nedir?"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt").to("cuda")
out = model.generate(**ids, max_new_tokens=256)
print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True))

Sınırlamalar

• Araştırma/prototip sürümüdür; kritik kullanımda insan kontrolü önerilir.
• Halüsinasyon yapabilir; tarih/rakam gibi kesin bilgiler doğrulanmalıdır.
• Güvenlik hizalaması taban modelden gelir; ayrıca hizalama yapılmamıştır.

Lisans