Llama3-1_Turkish_ChatBot

Llama3.1 Turkish Educational ChatBot

[EN]

About the Project

This project is a fine-tuned version of the Meta LLaMA 3.1 8B large language model, specifically adapted to respond to Turkish educational question-answer prompts. The main goal is to deliver fluent, informative, and context-aware answers in Turkish, suitable for general inquiry and learning support.

The model was fine-tuned using the LoRA technique on a small scale (1% of trainable parameters) and published on Hugging Face:

🔗 metehanayhan/Llama3-1_Turkish_ChatBot

---

Training Summary

---

Data Format

The dataset consists of Turkish question–answer pairs provided in CSV format. Each row represents a complete educational sample.

Example:

question,answer
What can be done to prevent climate change?,
"To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..."

A total of 17,587 such examples were used for fine-tuning.

---

Use Case

This model is intended to serve as an educational assistant in Turkish. It can answer questions related to:

• Informative, general-knowledge, or school-related topics
• Support for curious learners and students

---

Quick Start

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=200)[0]["generated_text"])

---

Performance Notes

The model performs well on Turkish QA-style prompts that resemble the training distribution:

• 🔸 Fluent and natural Turkish sentence construction
• 🔸 Answers are contextually aligned with the prompt

The model shows strong generalization, even with limited training, due to the LoRA technique and high-quality data.

<p align="center"> <img src="image.png" width="600"/> </p>

---

Deployment

The model is shared on Hugging Face with 4-bit quantization and is ready for low-resource inference. It has also been exported in GGUF format for use in compatible environments.

---

Additional Notes

• The training was performed using Trainer with standard SFT configuration.
• random_state = 3407 was used to ensure reproducibility.
• Although fine-tuned on just 1% of parameters, the model responds effectively across a wide range of Turkish topics.

---

[TR]

Llama3.1 Türkçe Eğitim Odaklı ChatBot

Proje Hakkında

Bu model, Meta LLaMA 3.1 8B tabanlı büyük bir dil modelidir ve Türkçe dilinde, eğitim odaklı soru-cevap (QA) verisiyle fine-tune edilmiştir. Amaç, kullanıcıların bilgi arayışına doğal, akıcı ve anlamlı yanıtlar sunabilen bir yardımcı oluşturmaktır.

Model, %1 oranında LoRA yöntemiyle optimize edilmiş ve Hugging Face platformuna aktarılmıştır:

🔗 metehanayhan/Llama3-1_Turkish_ChatBot

---

Eğitim Özeti

---

Veri Formatı

Veri kümesi, her satırı bir soru-cevap çifti olan Türkçe bir CSV dosyasından oluşmaktadır. Örnek:

soru,cevap
İklim değişikliğine karşı neler yapılabilir?,
"İklim değişikliğiyle mücadele için fosil yakıt kullanımının azaltılması, yenilenebilir enerjiye geçiş gibi önlemler alınabilir..."

Toplam 17,587 satır veriyle eğitim gerçekleştirilmiştir.

---

Amaç ve Kullanım Alanı

Model, aşağıdaki türde sorulara doğal dilde bilgi sunmak amacıyla geliştirilmiştir:

• Açıklayıcı, öğretici, genel kültür soruları
• Öğrencilerin veya meraklı bireylerin bilgi edinme taleplerine destek
• Cevap üretimi sırasında özgün, tutarlı ve doğal Türkçe dil kullanımı

---

Hızlı Başlangıç

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")
model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot")

qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"])

---

Performans

Model, eğitim verisine benzer sorularda oldukça doğal, akıcı ve içerik açısından doyurucu cevaplar üretmektedir. LoRA yöntemi sayesinde düşük hesaplama kaynağı ile etkili bir öğrenme gerçekleştirilmiştir. Eğitim sırasında gözlemlenen bazı bulgular:

• 🔸 Cevaplar Türkçe dil yapısına uygun
• 🔸 Soruyla bağlamsal olarak ilişkili

<p align="center"> <img src="image.png" width="600"/> </p>

---

Yayınlama

Model, Hugging Face üzerinde quantize edilmiş biçimde (4-bit) paylaşılmıştır ve inference için kullanıma hazırdır. GGUF biçimiyle de dışa aktarılmıştır.

---

Notlar

• Eğitim random_state=3407 ile tekrarlanabilirlik için sabitlenmiştir.
• Eğitim süreci Trainer altyapısıyla gerçekleştirilmiş ve standart veri ön işleme yapılmıştır.
• Model, küçük eğitimle geniş bilgi alanlarında doğal cevaplar üretme yeteneğine sahiptir.

---