AhiskaAI-v0.4-235M-IT

AhıskaAI v0.4 235M IT

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the instruction-tuned (IT) version of the AhıskaAI v0.4 235M Base model — the largest model in the AhıskaAI v0.4 series.

---

AhıskaAI v0.4 235M IT

AhıskaAI v0.4 235M IT is an instruction-tuned language model designed for Turkish question answering, instruction following, text transformation, and conversational experiments.

The underlying AhıskaAI v0.4 235M Base model was trained completely from scratch. This version was then instruction-tuned using the same ChatML-style conversation format (system, user, assistant roles) used across the AhıskaAI v0.4 series.

This is an experimental small language model developed as part of the AhıskaAI research project.

---

Model Specifications

The model uses the LlamaForCausalLM architecture, but the underlying Base model was trained completely from scratch rather than initialized from the weights of an existing Llama model.

---

Training

Pretraining

The underlying AhıskaAI v0.4 235M Base model was trained completely from scratch on FineWeb-2 HQ Turkish for 1 epoch over approximately 1.7B tokens — half the number of passes used for the smaller AhıskaAI v0.4 Base models. It was not initialized from, or fine-tuned from, any other pretrained model.

Instruction-Tuning

After Base model pretraining, this version received an instruction-tuning stage using the same shared SFT mixture used across the AhıskaAI v0.4 series' "New" variants, combining AhıskaAI's own proprietary SFT data with a portion of Ethosoft/nedo-turkish-sft-mixtures.

• Hardware: Kaggle TPU v5e-8
• Training time: ~5 hours 4 minutes
• Per-device batch size: 8
• Gradient accumulation steps: 2

The instruction-tuning data uses a ChatML-style conversation format consisting of system, user, and assistant roles:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

This format was used to teach the model to respond to user instructions while maintaining a conversational structure. The instruction-tuning stage focused on improving instruction following, question answering, text transformation, conversational responses, and Turkish response quality.

Attribution

This model's SFT mixture includes data from Ethosoft/nedo-turkish-sft-mixtures. Credit and thanks to the Ethosoft team for making this dataset available.

---

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer, shared across the entire AhıskaAI v0.4 series and focused on Turkish, Ahıska Turkish, and Turkish morphology. A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

---

Intended Use

AhıskaAI v0.4 235M IT can be used for:

• Turkish question answering
• Instruction following
• Text transformation
• Simple conversational applications
• Turkish text generation
• Small language model research
• Low-resource language experiments
• Instruction-tuning research on small models

The model is particularly intended for experimentation and research rather than production-critical applications.

---

How to Run

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-235M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))

Note: This example uses apply_chat_template(). The tokenizer should provide the appropriate chat template for the model's ChatML-style format.

Manual Prompt Format

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Generation should begin after the assistant header.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions evaluating Turkish quality, topic relevance, and factual/logical correctness (binary scoring, averaged).

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Overall Benchmark

Turkish Performance

Topic Relevance

Correctness

---

Limitations

This model is intentionally small and experimental.

Because of its size, it may:

• Produce factually incorrect information
• Generate meaningless or incomplete text
• Fail to follow complex instructions
• Lose context in longer prompts
• Repeat words or phrases
• Produce off-topic responses
• Struggle with reasoning and multi-step tasks
• Hallucinate information

Instruction tuning improves the model's usability and instruction-following behavior, but it does not eliminate these limitations. In particular, note that the underlying Base model was pretrained for only 1 epoch (versus 2 epochs for the smaller AhıskaAI v0.4 Base models), which may affect knowledge coverage and fluency relative to what its parameter count alone would suggest.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

---

Base Model

This model is instruction-tuned from:

AhıskaAI v0.4 235M Base

The Base model was trained completely from scratch (1 epoch on ~1.7B tokens of FineWeb-2 HQ Turkish) before the instruction-tuning stage.

---

Other Versions

• AhıskaAI v0.4 35M Base — Base language model
• AhıskaAI v0.4 35M IT — Instruction-tuned version of the 35M Base model
• AhıskaAI v0.4 145M Base — Base language model
• AhıskaAI v0.4 145M IT — Instruction-tuned 145M model (Old / New SFT variants)
• AhıskaAI v0.4 235M Base — Base language model underlying this release
• AhıskaAI v0.4 235M IT — This model

---

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated. Please also credit Ethosoft/nedo-turkish-sft-mixtures, part of whose data was used in this model's SFT mixture.

Suggested Citation

AhıskaAI v0.4 235M IT — An instruction-tuned small language model for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 235M IT

---

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 serisinin en büyük modeli olan AhıskaAI v0.4 235M Base modelinin instruction-tuned (IT) sürümüdür.

---

AhıskaAI v0.4 235M IT

AhıskaAI v0.4 235M IT, Türkçe soru-cevap, talimat takibi, metin dönüştürme ve sohbet deneyleri için geliştirilmiş instruction-tuned bir dil modelidir.

Modelin temelini oluşturan AhıskaAI v0.4 235M Base modeli tamamen sıfırdan eğitilmiştir. Bu sürüm ise daha sonra AhıskaAI v0.4 serisinde kullanılan aynı ChatML tarzı konuşma formatı (system, user, assistant rolleri) ile instruction tuning sürecinden geçirilmiştir.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

---

Model Özellikleri

Model LlamaForCausalLM mimarisini kullanmaktadır ancak temel model mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Base model tamamen sıfırdan eğitilmiştir.

---

Eğitim

Ön Eğitim

AhıskaAI v0.4 235M Base modeli, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 1 epoch boyunca tamamen sıfırdan eğitilmiştir — serideki daha küçük Base modellerin yarısı kadar geçiş sayısıyla. Başka bir pretrained modelden başlatılmamış veya fine-tune edilmemiştir.

Instruction-Tuning

Base model ön eğitiminin ardından bu sürüme, AhıskaAI v0.4 serisinin "New" varyantlarında kullanılan aynı ortak SFT karışımı ile instruction tuning uygulanmıştır: AhıskaAI'nin kendi verisi + Ethosoft/nedo-turkish-sft-mixtures veri setinin bir kısmı.

• Donanım: Kaggle TPU v5e-8
• Eğitim süresi: ~5 saat 4 dakika
• Per-device batch size: 8
• Gradient accumulation steps: 2

Instruction tuning verileri, system, user ve assistant rollerinden oluşan ChatML tarzı bir konuşma formatı kullanmaktadır:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

Bu format kullanılarak modelin kullanıcı talimatlarına uygun cevaplar üretmesi ve konuşma yapısını takip etmesi hedeflenmiştir. Instruction tuning aşaması özellikle talimat takibi, soru-cevap, metin dönüştürme, sohbet tarzı cevaplar ve Türkçe cevap kalitesi üzerine odaklanmıştır.

Atıf

Bu modelin SFT karışımı Ethosoft/nedo-turkish-sft-mixtures veri setinden veri içermektedir. Bu veri setini kullanıma sunduğu için Ethosoft ekibine teşekkür ederiz.

---

Tokenizer

AhıskaAI v0.4 serisinde, tüm seri boyunca ortak kullanılan, Türkçe/Ahıska Türkçesi ve Türkçe morfolojisine odaklı özel bir 24K vocabulary BPE tokenizer kullanılmaktadır. Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

---

Kullanım Alanları

AhıskaAI v0.4 235M IT şu alanlarda kullanılabilir:

• Türkçe soru-cevap
• Talimat takibi
• Metin dönüştürme
• Basit sohbet uygulamaları
• Türkçe metin üretimi
• Küçük dil modeli araştırmaları
• Düşük kaynaklı dil deneyleri
• Küçük modeller üzerinde instruction tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

---

Çalıştırma

pip install -U transformers torch

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-235M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]
print(tokenizer.decode(generated_tokens, skip_special_tokens=True))

Not: Bu örnekte apply_chat_template() kullanılmaktadır. Tokenizer'ın model için uygun chat template bilgisini içermesi gerekir.

Manuel Prompt Formatı

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Üretim işlemi assistant başlığından sonra başlatılmalıdır.

---

AhıskaAI v0.1 Lite Benchmark

100 sorudan oluşan, Türkçe kalitesi, konu ilgisi ve bilgisel/mantıksal doğruluğu değerlendiren deneysel bir benchmark (binary scoring, ortalama).

AhıskaAI v0.1 Lite Benchmark

Not: Bu deneysel bir benchmark'tır, standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Türkçe Performansı

Konu İlgisi

Doğruluk

---

Sınırlamalar

Bu model özellikle küçük ve deneysel bir modeldir.

Model:

• Yanlış bilgiler üretebilir
• Anlamsız veya eksik metinler oluşturabilir
• Karmaşık talimatları takip etmekte zorlanabilir
• Uzun promptlarda bağlamı kaybedebilir
• Kelime veya ifadeleri tekrarlayabilir
• Konu dışı cevaplar verebilir
• Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
• Halüsinasyon üretebilir

Instruction tuning modelin kullanılabilirliğini ve talimat takip yeteneğini geliştirmeyi amaçlamaktadır ancak bu sınırlamaları tamamen ortadan kaldırmaz. Özellikle, temelindeki Base modelin yalnızca 1 epoch ön eğitim gördüğünü (serideki daha küçük Base modeller 2 epoch eğitilmişti) belirtmek gerekir; bu durum, parametre sayısının tek başına işaret ettiği seviyeye göre bilgi kapsamını ve akıcılığı etkileyebilir.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

---

Base Model

Bu model şu temel model üzerine instruction tuning uygulanarak oluşturulmuştur:

AhıskaAI v0.4 235M Base

Base model, instruction tuning aşamasından önce tamamen sıfırdan eğitilmiştir (FineWeb-2 HQ Turkish üzerinde ~1.7B token, 1 epoch).

---

Diğer Sürümler

• AhıskaAI v0.4 35M Base — Base dil modeli
• AhıskaAI v0.4 35M IT — 35M Base modelinin instruction-tuned sürümü
• AhıskaAI v0.4 145M Base — Base dil modeli
• AhıskaAI v0.4 145M IT — 145M instruction-tuned model (Old / New SFT varyantları)
• AhıskaAI v0.4 235M Base — Bu sürümün temelini oluşturan Base dil modeli
• AhıskaAI v0.4 235M IT — Bu model

---

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir. Ayrıca, SFT karışımının bir kısmında kullanılan Ethosoft/nedo-turkish-sft-mixtures veri setine de atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 235M IT — Türkçe ve Ahıska Türkçesi araştırmaları için geliştirilmiş instruction-tuned küçük dil modeli.

Proje: AhıskaAI Model: AhıskaAI v0.4 235M IT