TYMM-Rubrik-Qwen3-8B-GGUF

TYMM-Rubrik-Qwen3-8B-GGUF

Türkiye Yüzyılı Maarif Modeli (TYMM) ile uyumlu rubrik üretimi ve öğrenci cevabı puanlama için, Qwen3-8B üzerinden iki aşamalı (QLoRA SFT + GRPO) ince ayar yapılmış modelin Q4_K_M GGUF sürümü.

Görevler

Model iki görevi tek bir checkpoint üzerinde yürütür:

1. rubrik_uretimi — Öğrenme çıktısı, süreç bileşenleri (SB) ve senaryo temelli açık uçlu sorudan, her SB'yi kapsayan 4 düzeyli (Tam / Yeterli / Gelişmekte / Başlangıç) dereceli puanlama anahtarını JSON olarak üretir.
2. cevap_puanlama — Üretilen rubriğe göre öğrenci cevabını ölçüt bazında puanlar, her puana cevaptan kanıt gösteren gerekçe ve genel geri bildirim üretir.

Her iki görevin de çıktısı katı JSON şeması ile sınırlandırılmıştır.

Veri Seti

TYMM_VeriSeti_Taslak.xlsx (Sorular / Rubrikler / Cevaplar sayfaları) Excel'inden türetilen master.jsonl kullanıldı:

• Kaynak: 6. sınıf Bilişim Teknolojileri ve Yazılım yıllık planı esas alınarak hazırlanan 10 çekirdek senaryo
• Çoklu görev formatı: her soru için 1 rubrik_uretimi + her öğrenci cevabı için 1 cevap_puanlama kaydı
• Kazanım-bazlı train / val ayrımı Split sütunundan korundu

Veri toplama TYMM süreç bileşeni (SB) etiketlemesiyle yapıldı; rubrikler her SB'yi en az bir ölçütle karşılayacak biçimde insan eliyle yazıldı.

Eğitim

Temel model: Qwen/Qwen3-8B Donanım: H100 / RTX PRO 6000 Blackwell (Google Colab, checkpointler Google Drive'a)

Aşama 1 — QLoRA SFT (trl.SFTTrainer)

• LoRA: r=32, alpha=64, dropout=0.05, hedef modüller q/k/v/o/gate/up/down_proj
• 3 epoch, efektif batch 16 (bs=4, ga=4), lr=2e-4, cosine, warmup=0.05
• bf16 + tf32, gradient checkpointing, assistant_only_loss=True, max_length=4096

Aşama 2 — GRPO (trl.GRPOTrainer)

SFT adaptörü birleştirilip ikinci bir LoRA üzerinden GRPO ile pekiştirildi.

• 2 epoch, num_generations=4, max_completion_length=1536
• lr=5e-6, beta=0.04, temperature=0.8
• enable_thinking=False (Qwen3 thinking modu kapalı), mask_truncated_completions=True

Altı ödül fonksiyonu (ağırlıklar reward_weights=[1.0, 2.0, 0.5, 0.5, 2.0, 1.0]):

98 adımda toplam ödül ~3.0 → ~3.9 bandına oturdu; r_format 1.0'a, r_kapsama 0.5–1.0 bandına yerleşti.

Değerlendirme

puanlama_val.jsonl üzerinde ölçüt bazlı puan tahminleri için:

Karşılaştırma için, model çıktısı insan eliyle yazılmış altın rubrik ve altın puanlarla hizalı; örnek bir oturumda (akıllı saat / yazıcı / USB bellek senaryosu) RAG ile BTYAB1.1 — Bilişim Teknolojilerini Sınıflandırma kazanımı seçildiğinde üç süreç bileşenini de karşılayan rubrik ve öğrenciye dönük geri bildirim üretildi.

Kullanım

llama.cpp ile:

Sistem promptu olarak repoda kullanılan iki şablondan birini ver:

• Rubrik üretimi için: TYMM rubrik şablonu (4 düzeyli puan ölçeği, SB → ölçüt eşlemesi zorunlu, çıktı katı JSON)
• Cevap puanlama için: ölçüt bazlı puan + cevaptan kanıt içeren gerekçe + toplam/maks/yüzde/genel_geri_bildirim (çıktı katı JSON)

Üretimde enable_thinking=False ile çalıştırılması önerilir.

Sınırlamalar

• Veri seti küçük (10 çekirdek senaryo / 6. sınıf BTY); diğer sınıf ve derslerde performans test edilmedi.
• Q4_K_M nicemleme, JSON şema disiplinini bf16'ya kıyasla bir miktar gevşetebilir; üretimde şema doğrulaması ve gerekirse yeniden örnekleme önerilir.
• Puanlama altın puanlarla yüksek uyum gösterse de yüksek riskli karar süreçlerinde (sınıf geçme, sertifika) insan denetimi gereklidir.