AhiskaAI-v0.4-145M-Base

AhıskaAI v0.4 145M Base

(Türkçe Açıklama Aşağıda)

Benchmark naming note: In the AhıskaAI v0.1 Lite Benchmark, this model was incorrectly listed as "AhıskaAI v0.4 135M". The model referred to by that benchmark entry is actually AhıskaAI v0.4 145M. Additionally, the benchmark entry originally labeled "AhıskaAI v0.4.1 135M" does not correspond to a real model of that name — it refers to the instruction-tuned AhıskaAI v0.4 145M IT (New) variant, released under the AhiskaAI/AhiskaAI-v0.4-145M-IT repository. The benchmark tables below preserve the original scores while correcting the model names.

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the Base language model of the AhıskaAI v0.4 145M model line, available at AhiskaAI/AhiskaAI-v0.4-145M-Base.

---

AhıskaAI v0.4 145M Base

AhıskaAI v0.4 145M Base is a small causal language model trained completely from scratch for Turkish text generation and small language model research.

The model was trained from scratch using FineWeb-2 HQ Turkish and the custom tokenizer developed for the AhıskaAI v0.4 series.

The model contains approximately 145M parameters in total. Approximately 125M parameters are contained in the transformer layers excluding the token embedding parameters.

This is an experimental small language model developed as part of the AhıskaAI research project.

---

Model Specifications

The model uses the LlamaForCausalLM architecture, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.

---

Training

AhıskaAI v0.4 145M Base was trained completely from scratch.

The pretraining data was based entirely on:

FineWeb-2 HQ Turkish

The model was trained for a total of 2 epochs over approximately 1.7B tokens of training data.

The model was not initialized from a larger pretrained model and was not fine-tuned from an existing language model.

The training objective was causal language modeling, where the model learns to predict the next token based on the preceding context.

The main goal of this training run was to investigate how a relatively small model with a custom Turkish-focused tokenizer performs when trained from scratch on a large Turkish text corpus.

---

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

• Turkish
• Ahıska Turkish
• Turkish morphology
• Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

---

Intended Use

AhıskaAI v0.4 145M Base can be used for:

• Turkish text generation
• Turkish language modeling experiments
• Ahıska Turkish research
• Small language model research
• Low-resource language experiments
• Custom tokenizer research
• Causal language modeling experiments
• Educational AI experiments
• Lightweight local AI experiments
• Further fine-tuning and instruction-tuning research

The model is primarily intended for experimentation and research rather than production-critical applications.

As a Base model, it is not instruction-tuned and is not specifically optimized to behave as a conversational assistant.

---

How to Run

You can run the model using the Hugging Face Transformers library.

Installation

pip install -U transformers torch

Basic Text Generation Example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Note: This is a Base language model and does not use an instruction/chat template. Text generation should be performed by providing a text prompt and continuing the sequence.

Manual Prompt Example

The model can also be used directly with a plain text prompt:

Ahıska Türkleri hakkında

The model will attempt to continue the text based on patterns learned during pretraining.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating:

• Turkish quality
• Topic relevance
• Factual/logical correctness

Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Benchmark Naming Correction

In the original benchmark results, AhıskaAI v0.4 145M Base was incorrectly recorded as "AhıskaAI v0.4 135M".

The 50.17% benchmark result listed under "AhıskaAI v0.4 135M" belongs to this AhıskaAI v0.4 145M Base model.

Additionally, the entry originally listed as "AhıskaAI v0.4.1 135M" is not a real, separate model — there is no "v0.4.1" release. That benchmark entry actually corresponds to the instruction-tuned AhıskaAI v0.4 145M IT (New) variant.

The benchmark names have been corrected in this README for clarity.

Overall Benchmark

---

Turkish Performance

---

Topic Relevance

---

Correctness

---

Limitations

This model is intentionally small and experimental.

Because of its size and Base-model nature, it may:

• Produce factually incorrect information
• Generate meaningless or incomplete text
• Produce repetitive text
• Lose context in longer prompts
• Generate off-topic continuations
• Struggle with reasoning and multi-step tasks
• Hallucinate information
• Produce text that does not follow user instructions
• Behave differently depending on the prompt and generation settings

As a Base model, it has not been specifically trained to follow natural-language instructions or behave as a conversational assistant.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

---

Base Model

This model is a Base model and was trained completely from scratch.

It was not initialized from another pretrained language model and was not fine-tuned from a larger model.

The training process consisted of causal language model pretraining on FineWeb-2 HQ Turkish for 2 epochs over approximately 1.7B tokens.

---

Other Versions

• AhıskaAI v0.4 35M Base — Smaller Base language model
• AhıskaAI v0.4 35M IT — Instruction-tuned version of the 35M Base model
• AhıskaAI v0.4 145M Base — This Base language model
• AhıskaAI v0.4 145M IT — Instruction-tuned 145M release (Old / New SFT variants)
• AhıskaAI v0.4 235M Base — Larger Base language model
• AhıskaAI v0.4 235M IT — Instruction-tuned version of the 235M Base model

---

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.4 145M Base — A small causal language model trained from scratch for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 145M Base

---

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 145M Base dil modelidir ve AhiskaAI/AhiskaAI-v0.4-145M-Base reposunda yer almaktadır.

Benchmark isimlendirme notu: AhıskaAI v0.1 Lite Benchmark sonuçlarında bu model yanlışlıkla "AhıskaAI v0.4 135M" olarak adlandırılmıştır. Benchmark'taki bu kayıt aslında AhıskaAI v0.4 145M modeline aittir. Ayrıca, orijinalde "AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir — "v0.4.1" diye bir sürüm yoktur. Bu benchmark kaydı aslında instruction-tuned AhıskaAI v0.4 145M IT (New) varyantına aittir. Aşağıdaki benchmark tablolarında bu nedenle model adları düzeltilmiştir.

---

AhıskaAI v0.4 145M Base

AhıskaAI v0.4 145M Base, Türkçe metin üretimi ve küçük dil modeli araştırmaları için tamamen sıfırdan eğitilmiş küçük bir causal language modeldir.

Model, FineWeb-2 HQ Turkish verisi ve AhıskaAI v0.4 serisi için geliştirilen özel tokenizer kullanılarak sıfırdan eğitilmiştir.

Model toplamda yaklaşık 145M parametre içermektedir. Token embedding parametreleri hariç transformer katmanlarında yaklaşık 125M parametre bulunmaktadır.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

---

Model Özellikleri

Model LlamaForCausalLM mimarisini kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.

---

Eğitim

AhıskaAI v0.4 145M Base modeli tamamen sıfırdan eğitilmiştir.

Ön eğitim verisi tamamen:

FineWeb-2 HQ Turkish

verisine dayanmaktadır.

Model yaklaşık 1.7B token üzerinde toplam 2 epoch boyunca eğitilmiştir.

Model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve mevcut başka bir dil modeli üzerinden fine-tune edilmemiştir.

Eğitimde causal language modeling yaklaşımı kullanılmıştır. Model, verilen bağlama göre bir sonraki tokenı tahmin etmeyi öğrenmektedir.

Bu eğitim çalışmasının temel amacı, Türkçe odaklı özel bir tokenizer kullanan görece küçük bir modelin büyük miktarda Türkçe metin üzerinde tamamen sıfırdan eğitildiğinde nasıl performans gösterdiğini araştırmaktır.

---

Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

• Türkçe
• Ahıska Türkçesi
• Türkçe morfolojisi
• Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

---

Kullanım Alanları

AhıskaAI v0.4 145M Base şu alanlarda kullanılabilir:

• Türkçe metin üretimi
• Türkçe language modeling deneyleri
• Ahıska Türkçesi araştırmaları
• Küçük dil modeli araştırmaları
• Düşük kaynaklı dil deneyleri
• Özel tokenizer araştırmaları
• Causal language modeling deneyleri
• Eğitim amaçlı AI deneyleri
• Hafif yerel AI deneyleri
• Model üzerinde fine-tuning ve instruction-tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

Base model olduğu için instruction-tuned değildir ve doğrudan sohbet asistanı olarak davranması için özel olarak eğitilmemiştir.

---

Çalıştırma

Modeli Hugging Face Transformers ile çalıştırabilirsiniz.

Kurulum

pip install -U transformers torch

Temel Metin Üretimi Örneği

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Not: Bu model bir Base language modelidir ve instruction/chat template kullanmaz. Metin üretimi, bir metin prompt'u verilerek devam ettirme şeklinde gerçekleştirilmelidir.

Manuel Prompt Örneği

Model doğrudan düz metin prompt'u ile de kullanılabilir:

Ahıska Türkleri hakkında

Model, ön eğitim sırasında öğrendiği örüntülere göre bu metni devam ettirmeye çalışacaktır.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan deneysel bir benchmark'tır ve:

• Türkçe kalitesi
• Konu ilgisi
• Bilgisel/mantıksal doğruluk

kriterlerini değerlendirmektedir.

Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.

AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Benchmark İsimlendirme Düzeltmesi

Orijinal benchmark sonuçlarında AhıskaAI v0.4 145M Base modeli yanlışlıkla "AhıskaAI v0.4 135M" olarak kaydedilmiştir.

"AhıskaAI v0.4 135M" adı altında bulunan 50.17% benchmark sonucu aslında bu AhıskaAI v0.4 145M Base modeline aittir.

Ayrıca, orijinalde "AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir — "v0.4.1" diye bir sürüm yoktur. Bu kayıt aslında instruction-tuned AhıskaAI v0.4 145M IT (New) varyantına aittir.

Bu README'de model adları açıklık amacıyla düzeltilmiştir.

Genel Benchmark

---

Türkçe Performansı

---

Konu İlgisi

---

Doğruluk

---

Sınırlamalar

Bu model özellikle küçük ve deneysel bir Base modelidir.

Model:

• Yanlış bilgiler üretebilir
• Anlamsız veya eksik metinler oluşturabilir
• Tekrarlayan metinler üretebilir
• Uzun promptlarda bağlamı kaybedebilir
• Konu dışı devamlar oluşturabilir
• Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
• Halüsinasyon üretebilir
• Kullanıcı talimatlarını takip etmeyebilir
• Prompt ve generation ayarlarına bağlı olarak farklı sonuçlar üretebilir

Base model olduğu için doğal dil talimatlarını takip etmek veya sohbet asistanı gibi davranmak üzere özel olarak eğitilmemiştir.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

---

Base Model

Bu model Base modeldir ve tamamen sıfırdan eğitilmiştir.

Başka bir pretrained dil modelinin ağırlıkları kullanılarak başlatılmamış ve daha büyük bir model üzerinden fine-tune edilmemiştir.

Eğitim süreci, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 2 epoch süren causal language model ön eğitiminden oluşmaktadır.

---

Diğer Sürümler

• AhıskaAI v0.4 35M Base — Daha küçük Base dil modeli
• AhıskaAI v0.4 35M IT — 35M Base modelinin instruction-tuned sürümü
• AhıskaAI v0.4 145M Base — Bu Base dil modeli
• AhıskaAI v0.4 145M IT — 145M instruction-tuned sürüm (Old / New SFT varyantları)
• AhıskaAI v0.4 235M Base — Daha büyük Base dil modeli
• AhıskaAI v0.4 235M IT — 235M Base modelinin instruction-tuned sürümü

---

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 145M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük bir causal language model.

Proje: AhıskaAI Model: AhıskaAI v0.4 145M Base