LousisAI-4B

Lousis (Qwen3 tabanlı, Türkçe fine-tuned)

Model Açıklaması

Lousis, Qwen/Qwen3-4B-Base temel alınarak, ~7,810 satırlık bir Türkçe veri seti üzerinde QLoRA (4-bit taban model + LoRA adapter) ile eğitilmiş bir causal language modeldir. Bu bir sıfırdan eğitim değil, hazır bir pretrained model üzerine yapılan adaptasyondur.

Parametre Sayısı

Taban model yaklaşık 2238.8M parametre. Bunların yaklaşık %1.48'i (LoRA adapter, r=16) eğitilmiştir; kaydedilen model, adapter taban modelle birleştirilmiş halidir.

Dataset

• Format: CHAT
• Temizlik sonrası örnek sayısı: 7,810
• Train / Validation: 5,731 / 391

Tokenizer

Qwen/Qwen3-4B-Base ile birlikte gelen orijinal tokenizer kullanılmıştır (kendi tokenizer'ımız eğitilmemiştir).

Eğitim Donanımı

Google Colab, NVIDIA Tesla T4 (~15 GB VRAM), fp16 hesaplama, 8-bit AdamW, gradient checkpointing, gradient accumulation, 4-bit NF4 quantization (QLoRA).

Eğitim Konfigürasyonu

• Yöntem: QLoRA (r=16, alpha=32)
• Learning rate: 0.0002
• Batch size: 2 (grad accum: 16, efektif: 32)
• Max sequence length: 448
• En iyi validation loss: 1.7464

Kullanım Örneği

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("LousisOfficial/LousisAI-4B")
model = AutoModelForCausalLM.from_pretrained("LousisOfficial/LousisAI-4B")

# Model ChatML formatiyla egitildi (<|im_start|> / <|im_end|>)
prompt = "<|im_start|>user\nMerhaba<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt")
im_end = tokenizer.convert_tokens_to_ids("<|im_end|>")
outputs = model.generate(**inputs, max_new_tokens=100, do_sample=True, temperature=0.5,
                         eos_token_id=[im_end, tokenizer.eos_token_id])
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Limitasyonlar

• Küçük bir veri seti (~29 MB) üzerinde fine-tune edildiği için genel amaçlı bir asistan gibi davranmaz; veri setinin kapsadığı konu/dil dağılımıyla sınırlıdır.
• Overfitting riski mevcuttur; validation loss eğitim boyunca izlenmelidir.
• Üretim ortamında kritik kararlar için kullanılmamalıdır.

Not

Bu model Qwen/Qwen3-4B-Base temel alınarak fine-tune edilmiştir; sıfırdan eğitilmiş bir model DEĞİLDİR.