AhiskaAI-v0.4-35M-Base

(Türkçe Açıklama Aşağıda)

AhıskaAI v0.4 Series

The AhıskaAI v0.4 series is a Turkish-focused language model series. The main improvements over the v0.3 series are:

• A fully Turkish-focused dataset
• A more advanced training and SFT process
• Controlled and research-oriented development
• Models with different parameter sizes

---

AhıskaAI v0.4 35M Base

AhıskaAI v0.4 35M Base is a small language model (SLM) with approximately 43.2 million parameters, developed completely from scratch.

The model was developed with a focus on Turkish and low system requirements. It is designed as a Base Model rather than a chat model.

---

AhıskaAI v0.4 35M Base — AhıskaAI v0.1 Lite Benchmark Results

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating Turkish quality, topic relevance, and correctness.

Benchmark Results and Dataset: AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Overall Benchmark

Turkish Performance

Topic Relevance

Correctness

---

Model Specifications

AhıskaAI v0.4 35M Base uses the LlamaForCausalLM architecture but was trained completely from scratch.

• Parameter count: ~43.2M
• Architecture: LlamaForCausalLM
• Hidden size: 384
• Hidden layers: 16
• Attention heads: 8
• Key/Value heads: 2
• Intermediate size: 1024
• Head dimension: 48
• Maximum context length: 2048 tokens
• Vocabulary size: 24,000
• Activation: SiLU
• Precision: bfloat16
• Position embedding: RoPE
• Word embeddings: Tied
• Attention dropout: 0.0
• MLP bias: None
• Attention bias: None

---

Training

AhıskaAI v0.4 35M Base was trained completely from scratch for a total of 3 epochs.

The training data is based on FineWeb-2 HQ Turkish data. The model was not initialized from the weights of another large model and was not fine-tuned from a 1.7B parameter model.

The model was trained directly with its own architecture and tokenizer.

---

Tokenizer

The entire AhıskaAI v0.4 series uses a custom 24K vocabulary BPE tokenizer shared across the series.

The tokenizer was developed with a particular focus on Turkish text and is shared by all AhıskaAI v0.4 models.

• Tokenizer: BPE
• Vocabulary size: 24,000
• Focus: Turkish
• Shared across the AhıskaAI v0.4 series

---

Intended Use

This model was developed for Turkish text generation, research on small language models, and SLM experiments on systems with limited resources.

The 35M Base is not a chat model. For chat and instruction-following tasks, the AhıskaAI v0.4 35M Instruct version is more suitable.

---

Limitations

With approximately 43.2M parameters, this is a small language model and therefore has limited knowledge, reasoning ability, and text generation quality compared to larger language models.

The model may sometimes generate incorrect, meaningless, or off-topic text. Model outputs should be checked, especially for tasks where factual accuracy is important.

The benchmark results are based on an experimental evaluation and may not represent the model's real-world performance across all use cases.

---

Other Versions

• AhıskaAI v0.4 35M Base — This model
• AhıskaAI v0.4 35M Instruct — Instruction-tuned version

How To Run

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI_v0.4_35M_Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri "

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Note This is a Base model, not an instruction-tuned chat model. For instruction-following and conversational use, see AhıskaAI v0.4 35M Instruct.

---

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI v0.4 serisi, Türkçe odaklı bir dil modeli serisidir. v0.3 serisine göre başlıca gelişmeler şunlardır;

• Tamamen Türkçe odaklı bir veri seti
• Daha gelişmiş bir eğitim ve SFT süreci
• Kontrollü ve araştırma odaklı geliştirme
• Farklı parametre seviyelerinde modeller

---

AhıskaAI v0.4 35M Base

AhıskaAI v0.4 35M Base, yaklaşık 43.2 milyon parametreye sahip ve tamamen from scratch (sıfırdan) geliştirilmiş bir küçük dil modelidir (SLM).

Model, Türkçe odaklı olarak ve düşük sistem gereksinimleri düşünülerek geliştirilmiştir. Bir sohbet modeli olarak değil, temel bir dil modeli (Base Model) olarak kullanılmak üzere tasarlanmıştır.

---

AhıskaAI v0.4 35M Base — AhıskaAI v0.1 Lite Benchmark Sonuçları

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan ve Türkçe düzgünlüğü, konu alakası ve doğruluk kriterlerini değerlendiren deneysel bir benchmark çalışmasıdır.

Benchmark Sonuçları ve veri seti: AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark çalışmasıdır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Türkçe Performansı

Konu Alakası

Doğruluk

---

Model Özellikleri

AhıskaAI v0.4 35M Base, LlamaForCausalLM mimarisini kullanan ancak tamamen sıfırdan (from scratch) eğitilmiş bir Causal Language Model'dir.

• Parametre sayısı: ~43.2M
• Mimari: LlamaForCausalLM
• Hidden size: 384
• Hidden layers: 16
• Attention heads: 8
• Key/Value heads: 2
• Intermediate size: 1024
• Head dimension: 48
• Maximum context length: 2048 tokens
• Vocabulary size: 24,000
• Activation: SiLU
• Precision: bfloat16
• Position embedding: RoPE
• Word embeddings: Tied
• Attention dropout: 0.0
• MLP bias: Yok
• Attention bias: Yok

---

Eğitim

AhıskaAI v0.4 35M Base, tamamen sıfırdan eğitilmiş ve toplam 3 epoch eğitim görmüştür.

Eğitimde FineWeb-2 HQ Türkçe verisi kullanılmıştır. Model, başka bir büyük modelden alınan ağırlıklarla başlatılmamış veya 1.7B parametreli bir model üzerinden fine-tune edilmemiştir.

Bu model doğrudan kendi mimarisi ve tokenizer'ı ile eğitilmiştir.

---

Tokenizer

AhıskaAI v0.4 serisinin tamamında ortak olarak kullanılan özel bir 24K vocabulary BPE tokenizer bulunmaktadır.

Tokenizer, özellikle Türkçe metinler için geliştirilmiş olup AhıskaAI v0.4 serisinin tüm modellerinde ortaktır.

• Tokenizer: BPE
• Vocabulary size: 24,000
• Odak: Türkçe
• AhıskaAI v0.4 serisi ile ortak

---

Kullanım Amacı

Bu model, Türkçe metin üretimi, küçük dil modelleri üzerine araştırmalar ve düşük kaynaklı sistemlerde SLM deneyleri için geliştirilmiştir.

35M Base, bir sohbet modeli değildir. Sohbet ve talimat takip performansı için AhıskaAI v0.4 35M Instruct sürümünün kullanılması daha uygundur.

---

Sınırlamalar

Bu model yaklaşık 43.2M parametreye sahip küçük bir dil modeli olduğu için daha büyük dil modellerine kıyasla bilgi birikimi, akıl yürütme ve metin üretim kalitesi sınırlıdır.

Model zaman zaman yanlış, anlamsız veya konu dışı metinler üretebilir. Özellikle doğruluk gerektiren görevlerde model çıktıları kontrol edilmelidir.

Benchmark sonuçları deneysel bir çalışmaya dayanmaktadır ve modelin tüm kullanım alanlarındaki gerçek performansını temsil etmeyebilir.

---

Diğer Sürümler

• AhıskaAI v0.4 35M Base — Bu model
• AhıskaAI v0.4 35M Instruct — Instruction-tuned sürüm

Nasıl Çalıştırılır

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI_v0.4_35M_Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri "

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Not: Bu bir Temel (Base) modeldir, talimatlara göre ince ayar yapılmış (instruction-tuned) bir sohbet modeli değildir. Talimat takibi ve sohbet amaçlı kullanım için AhıskaAI v0.4 35M Instruct modeline bakınız.