AhiskaAI-Experimental-v0.2-135m

Note: Türkçe açıklama sayfanın altındadır. / Turkish description is available at the bottom.

ENGLISH

AhıskaAI-Experimental-v0.2-135M

⚠️ Experimental checkpoint — this model did not meet the quality requirements of the main AhıskaAI v0.x series and was therefore not released as v0.4.

AhıskaAI-Experimental-v0.2-135M is a 135M parameter Small Language Model (SLM) developed from scratch as part of the AhıskaAI Experimental model series.

The model was originally developed as a candidate for the upcoming AhıskaAI v0.4 series. During training and evaluation, however, issues were identified in the model configuration, data formatting and training pipeline.

The resulting checkpoint did not reach the expected quality, instruction-following capability, mathematical reliability or conversational behavior required for the main AhıskaAI release series.

Rather than presenting the model as a stable v0.4 release, it is published as an Experimental v0.2 checkpoint to document the experiment and preserve the development history of AhıskaAI.

Experimental Scope

The main purpose of this experiment was to evaluate a compact Llama-based architecture on a large mixture of synthetic Turkish and Turkish knowledge/web data.

The experiment focused on:

• Small-scale Turkish language modeling
• Synthetic mathematical data
• Synthetic web and knowledge data
• Narrative text generation
• Early instruction-following experiments
• Scaling and architecture experiments around the 100M+ parameter range
• Studying the effects of large-scale synthetic Turkish data on small language models

The checkpoint should primarily be considered a research and experimentation model.

Model Details

• Architecture: LlamaForCausalLM
• Parameters: ~135M
• Hidden Size: 576
• Intermediate Size: 1536
• Attention Heads: 9
• Key/Value Heads: 3
• Head Dimension: 64
• Layers: 33
• Context Length: 2048 tokens
• Vocabulary Size: 32,000
• Precision: bfloat16
• Activation: SiLU
• Normalization: RMSNorm
• RoPE Theta: 10,000
• Model Type: Llama
• Weight Tying: Disabled in the original model configuration
• Hardware & Training Time: Trained on Kaggle TPU v5e-8 for 7.6 hours

Pre-training Dataset Mixture

The 135M and 235M experimental models were trained using the same primary dataset mixture.

The training corpus consisted primarily of synthetic Turkish datasets together with Turkish web, knowledge and encyclopedic data.

The major sources used during this experimental training run included:

Dataset repositories:

• BILGEM-AI/BILGE-Synthetic-Web
• BILGEM-AI/BILGE-Synthetic-Math
• BILGEM-AI/BILGE-Synthetic-Stories
• BILGEM-AI/BILGE-Wiki-Tr-Plus

The total raw size of the major datasets was approximately 14 GB.

Approximately 2.8B tokens were processed during the experimental pre-training run.

Data Formatting and Pre-training Behavior

One of the most important findings from this experiment was the effect of repeated formatting patterns in the training corpus.

A significant portion of the training examples followed a structure similar to:

<s>## Title

Document text...

Because this pattern appeared repeatedly throughout a substantial portion of the training corpus, the model was exposed to the \<s>## document-start pattern at very high frequency.

After training, the model demonstrated a strong tendency to reproduce this structure when presented with relatively simple prompts.

For example, instead of directly answering a prompt such as:

Türkiye başkenti

the model could interpret the input as the beginning of a new document and produce something resembling:

<s>## Minik Bilimci Ayşe ve Sihirli Tohumlar

Ayşe, minik bir bilimciydi...

The generated subject could be unrelated to the original prompt.

Similar behavior could occur with mathematical and conversational prompts.

This behavior is considered one of the major limitations of this experimental training run.

Training Pipeline

This checkpoint was produced during an experimental pre-training run followed by supervised fine-tuning experiments.

The pre-training stage used the dataset mixture described above to investigate whether a compact model could acquire broad Turkish language-generation capabilities from a large synthetic corpus.

The experiment later revealed issues in the model configuration, data formatting and training pipeline.

In particular, the repeated document-style formatting in the pre-training corpus appears to have strongly influenced the model's generation behavior.

The 135M model was affected more strongly by these patterns than the larger 235M experimental model.

The additional model capacity of the 235M architecture appeared to reduce some of these effects, but it did not eliminate the underlying problems.

Supervised Fine-Tuning

The checkpoint was subsequently subjected to supervised fine-tuning experiments in an attempt to improve instruction-following and conversational behavior.

SFT improved some aspects of generation, but it did not completely remove the behavior learned during pre-training.

After SFT, the model could still:

• Generate unrelated topics
• Continue into long document-like passages
• Fail to directly answer simple questions
• Produce incorrect mathematical answers
• Repeat patterns from the pre-training corpus
• Drift semantically away from the original prompt

Therefore, SFT was not sufficient to bring the checkpoint to the expected quality level of the AhıskaAI v0.4 series.

Evaluation

The checkpoint was evaluated using basic Turkish generation, question answering, mathematical prompts, conversational prompts and instruction-following tests.

The model showed the ability to generate fluent-looking Turkish text, but its behavior was highly inconsistent.

Observed issues included:

• Unreliable instruction following
• Unrelated or off-topic continuations
• Strong document-style generation bias
• Inconsistent question answering
• Poor mathematical reliability
• Long uncontrolled generations
• Repetition
• Semantic drift
• Strong influence from patterns present in the pre-training corpus

For example, simple prompts such as:

bir artı bir kaç eder?

could result in the model generating an unrelated mathematical-themed document instead of directly answering the question.

Likewise, prompts such as:

Sen neler yapabilirsin?

could result in a long educational or narrative passage rather than an explanation of the model's capabilities.

These results demonstrated that the model had learned Turkish text-generation patterns, but had not developed sufficiently reliable prompt interpretation and instruction-following behavior.

Because these issues remained significant after evaluation and fine-tuning experiments, the checkpoint was not promoted to the main AhıskaAI v0.4 series.

Why Experimental v0.2?

This model was originally intended to be part of the AhıskaAI v0.4 generation.

However, the experiment exposed several problems that made the checkpoint unsuitable for a stable release.

The main issues included:

• Model configuration problems
• Data formatting problems
• Strong document-start pattern bias
• Weak instruction following
• Poor mathematical reliability
• Inconsistent conversational behavior
• Insufficient improvement after SFT

The AhıskaAI project intentionally preserves these experimental checkpoints instead of removing them.

They provide useful information about unsuccessful training configurations and help document the progression toward future models.

Therefore, this model should be understood as:

Experimental → Research → Not production-ready

rather than as a stable AhıskaAI release.

Known Limitations

This model is not recommended for production use.

It may produce:

• Incorrect factual answers
• Incorrect mathematical calculations
• Repetitive text
• Unrelated text
• Unexpected document-style continuations
• Incorrect topic selection
• Incoherent or semantically drifting responses
• Excessively long generations

Generation quality can vary significantly depending on the prompt and decoding parameters.

Intended Use

This checkpoint may be useful for:

• Research
• SLM experimentation
• Turkish language-model experiments
• Studying small-model behavior
• Studying the effects of dataset formatting
• Comparing model architectures
• Comparing training configurations
• Reproducing or analyzing the AhıskaAI experimental pipeline

It should not be considered a reliable general-purpose assistant.

Lessons Learned

This experiment provided several important lessons for future AhıskaAI training runs.

1. Dataset formatting can strongly influence model behavior

Repeated structural patterns such as document headers can become highly reinforced when encountered throughout billions of training tokens.

2. Small models are particularly sensitive to dominant training patterns

The 135M model demonstrated a stronger tendency to reproduce dominant formatting patterns than the larger 235M model trained on the same data.

3. More parameters do not automatically solve data problems

Increasing the model size from approximately 135M to 235M parameters reduced some unwanted behavior, but did not eliminate the underlying data and training issues.

4. SFT cannot always completely correct pre-training behavior

Supervised fine-tuning improved some aspects of the model, but was not sufficient to completely remove the strong generation patterns established during pre-training.

5. Behavioral evaluation is essential

A model can successfully complete a large pre-training run while still failing basic questions and instructions.

Future AhıskaAI releases will therefore place greater emphasis on behavioral evaluation alongside training metrics.

Future Work

The lessons learned from this experiment will be incorporated into future AhıskaAI releases.

Future training runs will focus on:

• Cleaner dataset preprocessing
• More consistent document boundaries
• Better handling of \<s> and EOS tokens
• Improved dataset formatting
• Improved tokenizer and data-packing pipelines
• Better model configuration
• Better dataset mixing strategies
• More rigorous evaluation
• Improved supervised fine-tuning
• Stronger instruction-following behavior

About AhıskaAI

AhıskaAI is an independent initiative focused on developing efficient and capable Small Language Models for the Turkish language ecosystem, with particular interest in Turkish language technologies, low-resource language research and open-source AI.

This experimental checkpoint is part of the ongoing AhıskaAI research and development process.

---

TÜRKÇE

AhıskaAI-Experimental-v0.2-135M

⚠️ Deneysel checkpoint — Bu model, ana AhıskaAI v0.x serisinin kalite gereksinimlerini karşılamamış ve bu nedenle v0.4 olarak yayınlanmamıştır.

AhıskaAI-Experimental-v0.2-135M, AhıskaAI Experimental model serisinin bir parçası olarak sıfırdan geliştirilen, yaklaşık 135 milyon parametreli bir Küçük Dil Modelidir (SLM).

Model başlangıçta yaklaşan AhıskaAI v0.4 serisi için aday olarak geliştirilmiştir. Ancak eğitim ve değerlendirme süreçlerinde model yapılandırması, veri formatı ve eğitim pipeline'ında çeşitli sorunlar tespit edilmiştir.

Ortaya çıkan checkpoint; ana AhıskaAI model serisinden beklenen kaliteye, talimatları takip etme yeteneğine, matematiksel güvenilirliğe ve konuşma davranışına ulaşamamıştır.

Modeli kararlı bir v0.4 sürümü olarak sunmak yerine, deneyi belgelemek ve AhıskaAI'ın geliştirme sürecini korumak amacıyla Experimental v0.2 checkpoint'i olarak yayınlanmıştır.

Deneysel Kapsam

Bu deneyin temel amacı, sentetik Türkçe veriler ile Türkçe web, bilgi ve ansiklopedik verilerin büyük bir karışımı üzerinde kompakt bir Llama tabanlı mimarinin performansını değerlendirmekti.

Deney şu alanlara odaklanmıştır:

• Küçük ölçekli Türkçe dil modelleme
• Sentetik matematik verileri
• Sentetik web ve bilgi verileri
• Anlatı/metin üretimi
• Erken aşama talimat takip etme deneyleri
• 100M+ parametre aralığında ölçekleme ve mimari deneyleri
• Büyük ölçekli sentetik Türkçe verilerin küçük dil modelleri üzerindeki etkilerini inceleme

Bu checkpoint öncelikli olarak bir araştırma ve deney modelidir.

Model Detayları

• Mimari: LlamaForCausalLM
• Parametre Sayısı: ~135M
• Gizli Boyut (Hidden Size): 576
• Ara Katman Boyutu (Intermediate Size): 1536
• Attention Head Sayısı: 9
• Key/Value Head Sayısı: 3
• Head Boyutu: 64
• Katman Sayısı: 33
• Bağlam Uzunluğu: 2048 token
• Kelime Dağarcığı Boyutu: 32.000
• Hassasiyet (Precision): bfloat16
• Aktivasyon: SiLU
• Normalizasyon: RMSNorm
• RoPE Theta: 10.000
• Model Türü: Llama
• Weight Tying: Orijinal model yapılandırmasında devre dışı
• Donanım ve Eğitim Süresi: Kaggle TPU v5e-8 üzerinde 7.6 saatte eğitilmiştir.

Ön Eğitim Veri Karışımı

135M ve 235M deneysel modelleri aynı temel veri karışımı kullanılarak eğitilmiştir.

Eğitim veri kümesi ağırlıklı olarak sentetik Türkçe veri setlerinden ve Türkçe web, bilgi ve ansiklopedik verilerden oluşturulmuştur.

Bu deneysel eğitim çalışmasında kullanılan başlıca veri kaynakları:

Veri setleri:

• BILGEM-AI/BILGE-Synthetic-Web
• BILGEM-AI/BILGE-Synthetic-Math
• BILGEM-AI/BILGE-Synthetic-Stories
• BILGEM-AI/BILGE-Wiki-Tr-Plus

Ana veri kaynaklarının toplam ham boyutu yaklaşık 14 GB'dır.

Deneysel ön eğitim sürecinde yaklaşık 2,8 milyar token işlenmiştir.

Veri Formatı ve Ön Eğitim Davranışı

Bu deneyin en önemli bulgularından biri, eğitim verilerinde tekrar eden format örüntülerinin model davranışı üzerindeki etkisi olmuştur.

Eğitim örneklerinin önemli bir bölümü aşağıdakine benzer bir yapıya sahipti:

<s>## Başlık

Doküman metni...

Bu yapı eğitim veri kümesinin önemli bir bölümünde tekrarlandığından model, \<s>## doküman başlangıcı örüntüsüne çok yoğun şekilde maruz kalmıştır.

Eğitim sonrasında model, basit promptlarla karşılaştığında dahi bu yapıyı üretmeye yönelik güçlü bir eğilim göstermiştir.

Örneğin:

Türkiye başkenti

gibi basit bir prompta doğrudan cevap vermek yerine model, girdiyi yeni bir dokümanın başlangıcı olarak yorumlayıp aşağıdakine benzer bir çıktı üretebilmektedir:

<s>## Minik Bilimci Ayşe ve Sihirli Tohumlar

Ayşe, minik bir bilimciydi...

Üretilen konu, verilen promptla tamamen ilgisiz olabilir.

Benzer davranış matematiksel ve konuşma tabanlı promptlarda da gözlemlenmiştir.

Bu davranış, söz konusu deneysel eğitim çalışmasının en önemli sınırlamalarından biri olarak değerlendirilmiştir.

Eğitim Pipeline'ı

Bu checkpoint, deneysel bir ön eğitim çalışmasının ardından gerçekleştirilen supervised fine-tuning (SFT) deneyleri sonucunda oluşturulmuştur.

Ön eğitim aşamasında yukarıda açıklanan veri karışımı kullanılarak kompakt bir modelin büyük ölçekli sentetik Türkçe veri kümesinden geniş kapsamlı Türkçe metin üretme yetenekleri kazanıp kazanamayacağı araştırılmıştır.

Deneyin ilerleyen aşamalarında model yapılandırması, veri formatı ve eğitim pipeline'ında çeşitli sorunlar tespit edilmiştir.

Özellikle ön eğitim veri kümesindeki tekrar eden doküman formatının modelin üretim davranışını güçlü şekilde etkilediği gözlemlenmiştir.

Aynı veriyle eğitilen daha büyük 235M model, bu örüntülerden 135M modele kıyasla bir miktar daha fazla kurtulabilmiştir. Ancak temel problemler 235M modelde de tamamen ortadan kalkmamıştır.

Supervised Fine-Tuning

Checkpoint, talimatları takip etme ve konuşma davranışını iyileştirmek amacıyla supervised fine-tuning deneylerine tabi tutulmuştur.

SFT, üretimin bazı yönlerinde iyileşme sağlamış olsa da ön eğitim sırasında öğrenilen davranışları tamamen ortadan kaldıramamıştır.

SFT sonrasında model hâlâ:

• Konuyla ilgisiz konular üretebilmekte
• Uzun doküman tarzı metinlere devam edebilmekte
• Basit sorulara doğrudan cevap verememekte
• Yanlış matematiksel cevaplar üretebilmekte
• Ön eğitim veri kümesindeki örüntüleri tekrar edebilmekte
• Prompttan anlamsal olarak uzaklaşabilmektedir

Bu nedenle SFT, checkpoint'i AhıskaAI v0.4 serisi için beklenen kalite seviyesine taşımak için yeterli olmamıştır.

Değerlendirme

Checkpoint; temel Türkçe metin üretimi, soru-cevap, matematiksel promptlar, konuşma tabanlı promptlar ve talimat takip etme testleri kullanılarak değerlendirilmiştir.

Model akıcı görünebilen Türkçe metinler üretebilse de davranışları oldukça tutarsızdır.

Gözlemlenen başlıca sorunlar:

• Güvenilir olmayan talimat takibi
• Konuyla ilgisiz veya alakasız devam metinleri
• Güçlü doküman tarzı üretim eğilimi
• Tutarsız soru-cevap performansı
• Zayıf matematiksel güvenilirlik
• Kontrolsüz şekilde uzun metin üretimi
• Tekrarlama
• Anlamsal sapma
• Ön eğitim veri kümesinde bulunan örüntülerden güçlü şekilde etkilenme

Örneğin:

bir artı bir kaç eder?

gibi basit bir prompt, modelin doğrudan cevap vermek yerine matematik temalı ancak soruyla doğrudan ilişkili olmayan uzun bir doküman üretmesine neden olabilmektedir.

Benzer şekilde:

Sen neler yapabilirsin?

gibi bir prompt, modelin kendi yeteneklerini açıklamak yerine uzun bir eğitim veya hikâye metni üretmesine neden olabilmektedir.

Bu sonuçlar modelin Türkçe metin üretim örüntülerini öğrendiğini, ancak yeterince güvenilir prompt yorumlama ve talimat takip etme davranışı geliştiremediğini göstermiştir.

Bu sorunların değerlendirme ve fine-tuning deneylerinden sonra da önemli ölçüde devam etmesi nedeniyle checkpoint, ana AhıskaAI v0.4 serisine dahil edilmemiştir.

Neden Experimental v0.2?

Bu model başlangıçta AhıskaAI v0.4 neslinin bir parçası olarak tasarlanmıştır.

Ancak deney, checkpoint'i kararlı bir sürüm için uygun olmayan çeşitli problemleri ortaya çıkarmıştır.

Başlıca sorunlar:

• Model yapılandırmasıyla ilgili problemler
• Veri formatıyla ilgili problemler
• Güçlü doküman başlangıcı örüntüsü eğilimi
• Zayıf talimat takibi
• Zayıf matematiksel güvenilirlik
• Tutarsız konuşma davranışı
• SFT sonrasında yetersiz iyileşme

AhıskaAI projesi bu deneysel checkpoint'leri silmek yerine bilinçli olarak korumaktadır.

Bu modeller, başarısız veya beklenen sonucu vermeyen eğitim yapılandırmaları hakkında bilgi sağlamakta ve gelecekteki modellerin geliştirme sürecinin belgelenmesine yardımcı olmaktadır.

Bu nedenle model şu şekilde değerlendirilmelidir:

Deneysel → Araştırma → Üretim için uygun değil

ve kararlı bir AhıskaAI sürümü olarak değerlendirilmemelidir.

Bilinen Sınırlamalar

Bu modelin üretim ortamında kullanılması önerilmez.

Model aşağıdaki türde çıktılar üretebilir:

• Yanlış bilgi içeren cevaplar
• Yanlış matematiksel hesaplamalar
• Tekrarlayan metinler
• Konuyla ilgisiz metinler
• Beklenmedik doküman tarzı devamlar
• Yanlış konu seçimi
• Tutarsız veya anlamsal olarak sapan cevaplar
• Gereğinden uzun üretimler

Üretim kalitesi prompta ve kullanılan decoding parametrelerine bağlı olarak önemli ölçüde değişiklik gösterebilir.

Kullanım Amacı

Bu checkpoint aşağıdaki amaçlarla kullanılabilir:

• Araştırma
• SLM deneyleri
• Türkçe dil modeli deneyleri
• Küçük modellerin davranışlarını inceleme
• Veri formatının model davranışı üzerindeki etkilerini inceleme
• Farklı model mimarilerini karşılaştırma
• Farklı eğitim yapılandırmalarını karşılaştırma
• AhıskaAI deneysel eğitim pipeline'ını yeniden üretme veya analiz etme

Model, güvenilir ve genel amaçlı bir asistan olarak değerlendirilmemelidir.

Deneyden Çıkarılan Dersler

Bu deney, gelecekteki AhıskaAI eğitim çalışmaları açısından önemli sonuçlar ortaya koymuştur.

1. Veri formatı model davranışını güçlü şekilde etkileyebilir

Doküman başlıkları gibi tekrar eden yapısal örüntüler, milyarlarca eğitim tokenı boyunca tekrarlandığında model tarafından güçlü şekilde öğrenilebilir.

2. Küçük modeller baskın eğitim örüntülerine karşı daha hassastır

Aynı veriyle eğitilen 135M model, daha büyük 235M modele kıyasla baskın format örüntülerini daha güçlü şekilde tekrar etme eğilimi göstermiştir.

3. Daha fazla parametre veri problemlerini otomatik olarak çözmez

Model boyutunun yaklaşık 135M'den 235M parametreye çıkarılması bazı istenmeyen davranışları azaltmış, ancak veri ve eğitim kaynaklı temel problemleri ortadan kaldırmamıştır.

4. SFT, ön eğitim davranışlarını her zaman tamamen düzeltemez

Supervised fine-tuning modelin bazı yönlerini iyileştirmiş olsa da ön eğitim sırasında oluşan güçlü üretim örüntülerini tamamen ortadan kaldırmak için yeterli olmamıştır.

5. Davranışsal değerlendirme kritik öneme sahiptir

Bir model büyük bir ön eğitim sürecini başarıyla tamamlayabilir ancak buna rağmen basit sorulara ve talimatlara güvenilir şekilde cevap veremeyebilir.

Bu nedenle gelecekteki AhıskaAI sürümlerinde eğitim metriklerinin yanında davranışsal değerlendirmeye de daha fazla önem verilecektir.

Gelecek Çalışmalar

Bu deneyden elde edilen dersler gelecekteki AhıskaAI sürümlerinde kullanılacaktır.

Gelecekteki eğitim çalışmalarında özellikle şu alanlara odaklanılacaktır:

• Daha temiz veri ön işleme
• Daha tutarlı doküman sınırları
• <s> ve EOS tokenlarının daha iyi yönetilmesi
• İyileştirilmiş veri formatı
• Geliştirilmiş tokenizer ve veri paketleme pipeline'ları
• Daha iyi model yapılandırması
• Daha iyi veri karıştırma stratejileri
• Daha kapsamlı değerlendirme
• Geliştirilmiş supervised fine-tuning
• Daha güçlü talimat takip etme davranışı

AhıskaAI Hakkında

AhıskaAI, Türkçe dil ekosistemine yönelik verimli ve yetenekli Küçük Dil Modelleri (SLM) geliştirmeye odaklanan bağımsız bir girişimdir. Proje özellikle Türkçe dil teknolojileri, düşük kaynaklı dil araştırmaları ve açık kaynak yapay zekâ alanlarına odaklanmaktadır.

Bu deneysel checkpoint, devam eden AhıskaAI araştırma ve geliştirme sürecinin bir parçasıdır.