bpe-meyve-uretici

BPE ile Türkçe Meyve Adı Üretimi

Bu proje, single_letter_transformers reposundaki tiny Qwen3-style decoder mimarisini kullanır. Ödevin BPE şartı için karakter tokenizer yerine sıfırdan yazılmış bir byte-level Byte Pair Encoding tokenizer eklenmiştir.

Çalıştırma

pip install -r requirements.txt
python train.py
python generate.py -n 20 --temperature 0.8
python app.py

Hugging Face Spaces oluştururken bu klasördeki dosyaları Space'e yükleyin. fruit_bpe_model.pt dosyası ve tokenizer.json repoda bulunuyorsa Space doğrudan açılır; yeniden eğitim gerekmez.

BPE nasıl çalışıyor?

Önce metin UTF-8 byte dizisine çevrilir. Başlangıç kelime dağarcığı 256 byte tokenından oluşur. Her adımda veri içinde en sık tekrarlanan komşu token çifti bulunur, yeni bir tokena dönüştürülür ve merge listesine eklenir. Bu projede 64 merge öğrenilir. Türkçe ş, ğ, ı, ö, ü, ç karakterleri byte-level yaklaşım sayesinde ayrıca sözlüğe elle eklenmeden çalışır.

Model her meyve adının başına BOS, sonuna EOS eklenmiş token dizileriyle next-token prediction hedefiyle eğitilir. Üretim sırasında model BOS'tan başlayıp EOS görene kadar tokenları ardışık üretir.

Kaynaklar

• Hugging Face BPE dersi
• Sebastian Raschka — BPE from scratch
• Karpathy minBPE
• single_letter_transformers