AhiskaAI-v0.4-35M-IT

AhıskaAI v0.4 35M IT

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the instruction-tuned (IT) version of the AhıskaAI v0.4 35M Base model.

---

AhıskaAI v0.4 35M IT

AhıskaAI v0.4 35M IT is a small instruction-tuned language model designed for Turkish question answering, instruction following, text transformation, and conversational experiments.

The underlying Base model was trained completely from scratch. This version was then instruction-tuned using a ChatML-style conversation format with system, user, and assistant roles.

Despite the "35M" release name, the actual model contains approximately 34M parameters.

This is an experimental small language model developed as part of the AhıskaAI research project.

---

Model Specifications

The model uses the LlamaForCausalLM architecture, but the underlying Base model was trained completely from scratch rather than initialized from the weights of an existing Llama model.

---

Training

The underlying AhıskaAI v0.4 35M Base model was trained completely from scratch for a total of 3 epochs.

The pretraining data was based entirely on:

FineWeb-2 HQ Turkish

The Base model was not initialized from a larger pretrained model and was not fine-tuned from a 1.7B parameter model.

After the Base model training, this version received an instruction-tuning stage.

The instruction-tuning data uses a ChatML-style conversation format consisting of:

• system
• user
• assistant

roles.

A typical training example follows this structure:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

This format was used to teach the model to respond to user instructions while maintaining a conversational structure.

The instruction-tuning stage focused on improving:

• Instruction following
• Question answering
• Text transformation
• Conversational responses
• Simple task completion
• Turkish response quality

---

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

• Turkish
• Ahıska Turkish
• Turkish morphology
• Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

---

Intended Use

AhıskaAI v0.4 35M IT can be used for:

• Turkish question answering
• Instruction following
• Text transformation
• Simple conversational applications
• Turkish text generation
• Small language model research
• Low-resource language experiments
• Educational AI experiments
• Lightweight local AI experiments
• Instruction-tuning research on small models

The model is particularly intended for experimentation and research rather than production-critical applications.

---

How to Run

You can run the model using the Hugging Face Transformers library.

Installation

pip install -U transformers torch

Basic Chat Example

The model can be used with the system/user/assistant conversation structure used during instruction tuning.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Note: This example uses apply_chat_template(). The tokenizer should provide the appropriate chat template for the model's ChatML-style format.

Manual Prompt Format

If you want to construct the prompt manually, the model's instruction format is:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Generation should begin after the assistant header.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating:

• Turkish quality
• Topic relevance
• Factual/logical correctness

Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Overall Benchmark

The benchmark result above belongs to the AhıskaAI v0.4 35M Base model, which is the underlying Base model of this IT release.

---

Turkish Performance

---

Topic Relevance

---

Correctness

---

Limitations

This model is intentionally very small and experimental.

Because of its size, it may:

• Produce factually incorrect information
• Generate meaningless or incomplete text
• Fail to follow complex instructions
• Lose context in longer prompts
• Repeat words or phrases
• Produce off-topic responses
• Struggle with reasoning and multi-step tasks
• Hallucinate information

Instruction tuning improves the model's usability and instruction-following behavior, but it does not eliminate these limitations.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

---

Base Model

This model is instruction-tuned from:

AhıskaAI v0.4 35M Base

The Base model was trained completely from scratch before the instruction-tuning stage.

---

Other Versions

• AhıskaAI v0.4 35M Base — Base language model
• AhıskaAI v0.4 35M IT — Instruction-tuned version
• AhıskaAI v0.4 135M — 135M release
• AhıskaAI v0.4.1 135M — Retrained 135M release
• AhıskaAI v0.4 235M — Larger 235M release

---

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.4 35M IT — An instruction-tuned small language model for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 35M IT

---

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 35M Base modelinin instruction-tuned (IT) sürümüdür.

---

AhıskaAI v0.4 35M IT

AhıskaAI v0.4 35M IT, Türkçe soru-cevap, talimat takibi, metin dönüştürme ve sohbet deneyleri için geliştirilmiş küçük bir instruction-tuned dil modelidir.

Modelin temelini oluşturan Base model tamamen sıfırdan eğitilmiştir. Bu sürüm ise daha sonra system, user ve assistant rollerinden oluşan ChatML tarzı bir konuşma formatı kullanılarak instruction tuning sürecinden geçirilmiştir.

Modelin sürüm adı 35M olsa da gerçek parametre sayısı yaklaşık 34M'dir.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

---

Model Özellikleri

Model LlamaForCausalLM mimarisini kullanmaktadır ancak temel model mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Base model tamamen sıfırdan eğitilmiştir.

---

Eğitim

AhıskaAI v0.4 35M Base modeli tamamen sıfırdan toplam 3 epoch boyunca eğitilmiştir.

Ön eğitim verisi tamamen:

FineWeb-2 HQ Turkish

verisine dayanmaktadır.

Base model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve 1.7B parametreli bir model üzerinden fine-tune edilmemiştir.

Base model eğitiminden sonra bu sürüme instruction tuning uygulanmıştır.

Instruction tuning verileri ChatML tarzı bir konuşma formatı kullanmaktadır.

Format şu rollerden oluşmaktadır:

• system
• user
• assistant

Örnek eğitim verisi:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Aşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|>
<|im_start|>assistant
Öğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>

Bu format kullanılarak modelin kullanıcı talimatlarına uygun cevaplar üretmesi ve konuşma yapısını takip etmesi hedeflenmiştir.

Instruction tuning aşamasında özellikle:

• Talimat takibi
• Soru-cevap
• Metin dönüştürme
• Sohbet tarzı cevaplar
• Basit görev tamamlama
• Türkçe cevap kalitesi

üzerine odaklanılmıştır.

---

Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

• Türkçe
• Ahıska Türkçesi
• Türkçe morfolojisi
• Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

---

Kullanım Alanları

AhıskaAI v0.4 35M IT şu alanlarda kullanılabilir:

• Türkçe soru-cevap
• Talimat takibi
• Metin dönüştürme
• Basit sohbet uygulamaları
• Türkçe metin üretimi
• Küçük dil modeli araştırmaları
• Düşük kaynaklı dil deneyleri
• Eğitim amaçlı AI deneyleri
• Hafif yerel AI uygulamaları
• Küçük modeller üzerinde instruction tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

---

Çalıştırma

Modeli Hugging Face Transformers ile çalıştırabilirsiniz.

Kurulum

pip install -U transformers torch

Temel Chat Örneği

Model, instruction tuning sırasında kullanılan system/user/assistant konuşma yapısıyla çalıştırılabilir.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

messages = [
    {
        "role": "system",
        "content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."
    },
    {
        "role": "user",
        "content": "Ahıska Türkleri hakkında kısa bir bilgi ver."
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Not: Bu örnekte apply_chat_template() kullanılmaktadır. Tokenizer'ın model için uygun chat template bilgisini içermesi gerekir.

Manuel Prompt Formatı

Prompt'u manuel olarak oluşturmak isterseniz modelin instruction formatı şu şekildedir:

<|im_start|>system
Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|>
<|im_start|>user
Kullanıcı sorusu buraya gelir.<|im_end|>
<|im_start|>assistant

Üretim işlemi assistant başlığından sonra başlatılmalıdır.

---

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan deneysel bir benchmark'tır ve:

• Türkçe kalitesi
• Konu ilgisi
• Bilgisel/mantıksal doğruluk

kriterlerini değerlendirmektedir.

Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.

AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Yukarıdaki benchmark sonucu bu IT modelinin temelini oluşturan AhıskaAI v0.4 35M Base modeline aittir.

---

Türkçe Performansı

---

Konu İlgisi

---

Doğruluk

---

Sınırlamalar

Bu model özellikle küçük ve deneysel bir modeldir.

Model:

• Yanlış bilgiler üretebilir
• Anlamsız veya eksik metinler oluşturabilir
• Karmaşık talimatları takip etmekte zorlanabilir
• Uzun promptlarda bağlamı kaybedebilir
• Kelime veya ifadeleri tekrarlayabilir
• Konu dışı cevaplar verebilir
• Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
• Halüsinasyon üretebilir

Instruction tuning modelin kullanılabilirliğini ve talimat takip yeteneğini geliştirmeyi amaçlamaktadır ancak bu sınırlamaları tamamen ortadan kaldırmaz.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

---

Base Model

Bu model şu temel model üzerine instruction tuning uygulanarak oluşturulmuştur:

AhıskaAI v0.4 35M Base

Base model instruction tuning aşamasından önce tamamen sıfırdan eğitilmiştir.

---

Diğer Sürümler

• AhıskaAI v0.4 35M Base — Base dil modeli
• AhıskaAI v0.4 35M IT — Instruction-tuned sürüm
• AhıskaAI v0.4 135M — 135M sürümü
• AhıskaAI v0.4.1 135M — Yeniden eğitilmiş 135M sürümü
• AhıskaAI v0.4 235M — Daha büyük 235M sürümü

---

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 35M IT — Türkçe ve Ahıska Türkçesi araştırmaları için geliştirilmiş instruction-tuned küçük dil modeli.

Proje: AhıskaAI Model: AhıskaAI v0.4 35M IT