cores-ai-tr-v1.0.0-85m

🇹🇷 Cores-AI TR v1.0.0-85M

Cores-AI TR, tamamen Türkçe verilerle sıfırdan (from scratch) eğitilmiş 81.17 Milyon parametreli özel bir Üretken Dil Modelidir (GPT mimarisi). Model, Türkçe dilinin anlamsal, sözdizimsel yapısını ve eklemeli dil kurallarını kavraması için tasarlanmıştır.

🧠 Model Detayları

• Parametre Sayısı: 81,165,440 (~81.17M)
• Mimari: Decoder-only Transformer (nanoGPT tabanlı)
• Katman / Başlık (Layer/Head): 10 Katman / 10 Dikkat Başlığı
• Gömme Boyutu (Embedding): 640
• Bağlam Uzunluğu (Context Length): 512 Token
• Kelime Dağarcığı (Vocab): 50.000 kelimelik özel Türkçe BPE (Byte-Pair Encoding) Tokenizer
• Lisans: MIT

📊 Eğitim Bilgileri

Model, Türkçe Wikipedia, matematik/mantık soruları ve Türkçe sohbet diyaloglarından oluşan bir veri seti karması ile eğitilmiştir. Eğitim, Colab T4 üzerinde AdamW optimizer ile 5.000 adım (yaklaşık 204.8 milyon token) sürmüştür.

• Başlangıç Train Loss: 10.93
• Bitiş (Best) Val Loss: 2.8424

🚀 Kullanım (Inference)

Bu model Hugging Face transformers kütüphanesinin yerleşik modellerinden biri değildir, özel bir mimariye dayanır. Çalıştırmak için GitHub depomuzdaki kodlara ihtiyacınız vardır.

Öncelikle GitHub deposunu klonlayın ve gereksinimleri kurun:

git clone https://github.com/westabdu/Cores-AI-TR-v1.0.0-85M.git
cd Cores-AI-TR-85M
pip install -r requirements.txt

Ağırlıkları ve tokenizer'ı aynı klasöre indirdikten sonra, doğrudan sample_tr.py kullanarak metin üretebilirsiniz:

python sample_tr.py \
    --out_dir . \
    --tokenizer tokenizer_tr_v2.json \
    --start "Yapay zeka gelecekte" \
    --num_samples 3 \
    --max_new_tokens 150 \
    --device cuda

🧪 Örnek Çıktılar

Girdi: "Yapay zeka"

"Yapay zeka, her şeyin, insan ve bu bilim tarafından ölçülüğünü anlamak için gerekli olan bir sosyal bilimdir. Her şey, insan ve bu bilimde uygulanan sosyal bilimlerin araştırmalar için gerekli olan sonuçları, etik etkileri aracılığıyla bilimsel çalışmaları nasıl değerlendirdiğini belirlemeleri gerektiğini vurgular..."

Girdi: "İstanbul"

"İstanbul'de 86 sandalye 3 kişiye eşit paylaştırılacak. Her kişi kaç sandalye alır?
Çözüm: 86 ÷ 3 = 28 sandalye (kalan: 2) (Model matematik/mantık veri setleri barındırdığı için kelime ilişkilerinde mantık problemleri üretebilmektedir)

Sınırlamalar ve Uyarılar

• Bu bir temel (base) modeldir. Komutları (instruction/chat) ChatGPT gibi anlama yeteneği yerine, verilen metni istatistiksel olarak en mantıklı şekilde tamamlamaya odaklıdır.
• Matematik ve diyalog setlerinin birleşimi, modelin bazen rastgele mantık problemleri üretmesine neden olabilir.
• Bilgi halüsinasyonları ve önyargılar içerebilir. Kritik sistemlerde doğrulanmadan kullanılmamalıdır.