Downloads · 30 days
27
33% of all-time downloads
Bahadir26/turkce-ministral-3b-merged
turkce-ministral-3b-merged is a text generation model from Bahadir26. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
Mistral AI'ın Ministral-3-3B-Base-2512 modelinin 25.000+ Türkçe örnek ile fine-tune edilmiş ilk versiyonudur. Bu model bir v1 checkpoint'tir; dataset ve eğitim iyileştirmeleriyle v2 çalışmaları devam etmektedir.
Downloads · 30 days
27
33% of all-time downloads
All-time downloads
83
Public
Parameters
3.8B
7.7 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors7.7 GB · 100%
From the Hugging Face model README
Mistral AI'ın Ministral-3-3B-Base-2512 modelinin 25.000+ Türkçe örnek ile fine-tune edilmiş ilk versiyonudur. Bu model bir v1 checkpoint'tir; dataset ve eğitim iyileştirmeleriyle v2 çalışmaları devam etmektedir.
Ham Ministral-3B modelinin Türkçe'de tutarlı, akıcı ve doğal cevaplar üretememesi sorununu gidermek amacıyla geliştirilmiştir. Türkçe soru-cevap, özetleme ve genel sohbet görevlerinde kullanılabilir.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Bahadir26/turkce-ministral-3b-merged"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
)
prompt = "<s>[INST] Fotosentez nedir? [/INST]"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
output = model.generate(**inputs, max_new_tokens=300, temperature=0.1, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))
| Parametre | Değer |
|---|---|
| Base Model | Ministral-3-3B-Base-2512 |
| Yöntem | LoRA (merge edilmiş) |
| LoRA r | 16 |
| LoRA alpha | 32 |
| Epochs | 3 |
| Learning Rate | 2e-4 |
| Batch Size | 8 x 2 (effective 16) |
| Max Seq Length | 1280 |
| Precision | BF16 |
| Donanım | NVIDIA A100 80GB |
Ham modelle karşılaştırmalı test sonuçları (10 soru, kolay→zor):
| Kriter | Ham Model | Fine-tune |
|---|---|---|
| Türkçe tutarlılığı | ❌ (İngilizce'ye kayıyor) | ✅ |
| Tekrar/loop sorunu | ❌ (var) | ✅ (yok) |
| Akıcılık | ❌ | ✅ |
| Multi-turn hafıza | ❌ | ❌ (v2'de gelecek) |
| Gramer düzeltme | ❌ | ⚠️ (zayıf, v2'de gelecek) |