carnegie-dost-kazanma-lora

Carnegie — Türkçe İnsan İlişkileri LoRA Adaptörü

Qwen3-4B-Instruct üzerine, insan ilişkileri ve iletişim konulu Türkçe bir veri setiyle eğitilmiş LoRA adaptörü.

Model; eleştiri yerine takdir, karşı tarafın bakış açısını anlama, ikna ile baskıyı ayırma, dinleme ve çatışma yönetimi gibi konularda soru-cevap üretmek üzere uyarlandı. Cevaplar <think> bloğu içinde bir akıl yürütme adımı da içerir.

Eğitim

Loss

adım 10 → 2.331
adım 20 → 1.935
adım 30 → 1.830
adım 40 → 1.749
adım 50 → 1.754
adım 60 → 1.742

Son 20 adımda loss düzleşti ve geri yükselmedi — model bir epoch içinde yakınsadı, ezberleme (overfitting) belirtisi yok.

Adım sayısı veri setinin token toplamına göre seçildi: 1001 örnek ≈ 499 bin token, 60 adım × 8192 token/adım ≈ 0,98 epoch.

Kullanım

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    "ssilistre/carnegie-dost-kazanma-lora",
    max_seq_length=1024,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

msgs = [{"role": "user",
         "content": "Ekip arkadaşım sürekli işleri geç teslim ediyor. Ona bunu nasıl söylemeliyim?"}]
inputs = tokenizer.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to("cuda")
out = model.generate(input_ids=inputs, max_new_tokens=300, temperature=0.7, top_p=0.9, do_sample=True)
print(tokenizer.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

PEFT ile:

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3-4B-Instruct-2507", device_map="auto")
model = PeftModel.from_pretrained(base, "ssilistre/carnegie-dost-kazanma-lora")
tokenizer = AutoTokenizer.from_pretrained("ssilistre/carnegie-dost-kazanma-lora")

Sınırlamalar

• Eğitim verisi bir dil modeli tarafından yazıldı ve uzman denetiminden geçmedi. Çıktılar profesyonel psikolojik danışmanlık yerine geçmez.
• Kısa eğitim. Tek epoch, 60 adım. Üslup ve konu yönelimi aktarıldı, derin bir uzmanlık değil.
• Dar alan. Yalnızca kişilerarası iletişim konusunda uyarlandı. Diğer konularda temel modelin davranışı geçerlidir ve ince ayar bir katkı sağlamaz.
• Dönemsel bakış açısı. Veri seti 1936'da yazılmış bir kişisel gelişim kitabının ilkelerinden türetildi. Eskimiş yaklaşımlar veri hazırlanırken çağdaş dille yeniden çerçevelendi, ancak izleri kalmış olabilir.
• Temel modelin sınırları geçerli. Yanlış bilgi üretebilir, kaynak uydurabilir, güncel olayları bilmez.
• 4-bit temel model. Adaptör 4-bit nicelenmiş bir taban üzerinde eğitildi; 16-bit tabanla kullanıldığında davranış bir miktar değişebilir.

<!-- benchmark-basla -->

Benchmark Sonuçları

MMLU: farkın en büyük olduğu 10 bölüm

Diğer modellerle kıyas (Türkçe MMLU, tam set ~6.2K)

Diğer skorlar resmî liderlik tablosundan; aynı olcum.py protokolü. Liderlik tablosu modelleri çoğunlukla Q4 gguf (Ollama) veya API ile, bu reponun base/LoRA ölçümleri bf16 + transformers ile koşuldu — kıyas yaklaşıktır.

Lokal doğrulama (kısıtlı örneklem)

Apple M5 Pro (MPS, bf16) üzerinde aynı değerlendirme zinciriyle yeniden koşuldu; tam koşudaki -6.19 fark lokalde -6.13 olarak tekrarlandı.

Metodoloji

• Değerlendirme kodu: olcum.py uyarlaması — aynı prompt, aynı cevap kontrolü (harf eşleşme + paraphrase-multilingual-mpnet-base-v2 anlamsal fallback), transformers + PEFT ile.
• Üretim: greedy decode, MCQ max_new_tokens=42, açık uçlu max_new_tokens=256, batch=32, chat template uygulanmış.
• Donanım: NVIDIA A100-SXM4-40GB; süreler (sn): {'base': 240, 'lora': 523}.
• Açık uçlu setler (turkish_nuance/creativity/reasoning, llm-eval-pipeline) beklenen cevapla kosinüs benzerliğiyle puanlanır (0-100); doğruluk yüzdesiyle karıştırılmamalı.
• Yorum: LoRA tüm setlerde base'in altında kaldı. Dar alanlı (iletişim/insan ilişkileri) veriyle 3 epoch eğitim genel yeteneklerde gerileme (catastrophic forgetting) yaratmış görünüyor; açık uçlu cevaplarda ayrıca eğitim şemasından sızan <tool_call> artifact'ları benzerlik skorunu düşürüyor. Bu, küçük ve dar veri setiyle yapılan fine-tune'un bilinen riskidir ve sonuçlar dürüstçe raporlanmıştır.

<!-- benchmark-bitir --> <!-- senaryo-basla -->

Senaryo Benchmark'ı — İnsan İlişkileri

ssilistre/carnegie-benchmark-tr üzerindeki 100 Türkçe insan ilişkileri senaryo MCQ'su. Genel MMLU'dan farkı: fine-tune'un asıl amacını (Carnegie iletişim ilkeleri) ölçer, held-out (taze + eğitime dedup).

Kategori bazlı

Çoklu model karşılaştırması (aynı 100 soru)

Metodoloji

• MMLU tarzı skorlama (harf eşleşme + anlamsal fallback), greedy decode, chat template.
• Held-out: sorular eğitim setine Jaccard dedup'tan geçti.
• Yorum: LoRA ile base benzer; güçlü base modeli bu MCQ formatında zaten Carnegie-uyumlu yaklaşımı seçebiliyor. MCQ tanıma ölçer, üretim değil; ceiling etkisiyle güçlü modeller ayrışmıyor. Sonuç dürüstçe raporlanmıştır.

<!-- senaryo-bitir -->