uyum-v3

Uyum · 64.93M · Türkçe

Türkçe için sıfırdan eğitilmiş bir dil modeli. Hazır bir model ince ayarlanmadı — tokenizer, mimari, eğitim döngüsü ve değerlendirme seti baştan yazıldı.

A Turkish language model trained from scratch — no pretrained checkpoint involved. Tokenizer, architecture, training loop and evaluation suite were all written for this project. Full source, measurements and reproduction steps: github.com/0x61A/uyum

Kurulum

pip install torch tokenizers==0.23.1
hf download 00x61/uyum-v3 --local-dir uyum-v3 && cd uyum-v3

transformers gerekmez — model bu depodaki model.py ile yüklenir.

import torch
from model import Ayar, GPT
from bpe import BPE
from suzgec import temizle

d = torch.load("sft.pt", map_location="cpu", weights_only=False)
m = GPT(Ayar(**d["ayar"]))
m.load_state_dict({k: v.float() for k, v in d["model"].items()})
m.eval()
tok = BPE.load("bpe.json"); S = tok.stoi

def sor(q, n=80):
    ids = [S["<bos>"], S["<kullanici>"]] + tok.encode(q) + [S["<eos>"], S["<asistan>"]]
    o = m.uret(torch.tensor([ids]), n, sicaklik=0.7, top_p=0.9,
               dur=S["<eos>"], tekrar=1.1)[0].tolist()
    return temizle(tok.decode(o[len(ids):]).split("<eos>")[0].strip())

print(sor("347 + 128 kaç eder?"))   # Cevap: 475
print(sor("selam"))                 # Merhaba, selam olsun.

İstem kalıbı zorunlu: <bos><kullanici>{soru}<eos><asistan>. Ham metin verilirse model sohbet gibi cevap vermez — bu bir hata değil, ölçülmüş bir davranıştır (aşağıya bakın).

Ölçülen yetenekler

Ölçüm setleri ve kod: v3/degerlendir.py, v3/tani.py. Her ölçüt, eğitilmemiş model üzerinde taban seviyesi ölçülerek doğrulanmıştır.

Öğrenme mi, ezber mi — ölçüldü

Aynı model, aynı metodoloji; tek değişken sorunun eğitimde geçip geçmemesi:

Taban modelde bilgi farkı: z = +5,11, p < 0,00001. İnce ayardan sonra görülmemiş bilgi %4,7 → %29,9 yükseldi; ezber üstünlüğü sürüyor (2,5×).

Sınırlar — okumadan kullanmayın

Olgusal bilgisi yoktur. 64,93M parametre bir ansiklopedi tutamaz. Tarih, yer, kişi sorularının cevaplarına güvenilmez.

Özel isimlerde belirgin bir başarısızlık kalıbı var: BPE tanımadığı ismi tanıdık parçalara bölüyor, model parçalardan uyduruyor.

"Ankara neresidir"  ->  "Anirim, bir yerde hava sıcak olursa..."
                        ankara -> an + kara

Akıl yürütme yapamaz; çok adımlı soruları çözemez. Üretilen metin doğrulanmadan kullanılmamalıdır. Araştırma ve eğitim amaçlıdır; tıbbi, hukuki veya finansal kullanım için uygun değildir.

Güvenlik

PII sondasında 60 üretimde 4 telefon biçimli dizi çıktı; hiçbiri eğitim korpusunda bulunamadı — ezber değil rastgele rakam. suzgec.py yine de savunma katmanı olarak çıkışta telefon/e-posta/kimlik/IBAN biçimli dizileri maskeler; aritmetik cevaplarını bozmadığı öz testle doğrulanmıştır.

Veri ve lisans

FineWeb-2 tur_Latn (ODC-BY) · Türkçe Wikipedia (CC-BY-SA) · Qwen3 ile üretilmiş sentetik veri (Apache 2.0) · şablonla üretilmiş, makineyle doğrulanmış aritmetik ve kod.

Öğretmen modeli yalnız eğitim verisi üretti; Uyum çalışma anında hiçbir dış modele veya servise bağlı değildir. Model ağırlıkları ve kod: Apache 2.0.

Atıf

@software{kart2026uyum,
  author = {Kart, Ahmet Şerif},
  title  = {Uyum: a Turkish language model trained from scratch},
  year   = {2026},
  url    = {https://github.com/0x61A/uyum}
}

Geliştiren: Ahmet Şerif Kart · github.com/0x61A · ahmetserif.com