qwen3-1.7b-turkish-electronics-lora-v2

✅ Fine-tuned on 6,886 Turkish electronics conversations ✅ Evaluated on General LLM Benchmarks (MMLU, GSM8K, Turkish MMLU) ✅ Evaluated on a custom Turkish Electronics Benchmark developed in this project

🇹🇷 Qwen3-1.7B Turkish Electronics LoRA V2

Qwen3-1.7B modelinin Türkçe elektronik ürün karşılaştırma ve öneri görevleri için LoRA (Low-Rank Adaptation) yöntemiyle fine-tune edilmiş adapter sürümüdür.

Model, Türkçe elektronik ürün karşılaştırma ve öneri konuşmalarından oluşan özel bir chat dataset üzerinde Unsloth ve TRL kullanılarak Supervised Fine-Tuning (SFT) yöntemiyle eğitilmiştir.

Model Details

• Developed by: sedayzc
• Base Model: unsloth/qwen3-1.7b-unsloth-bnb-4bit
• Architecture: Qwen3-1.7B
• Fine-Tuning Method: LoRA
• Training Framework: Unsloth + TRL
• Training Type: Supervised Fine-Tuning (SFT)
• Language: Turkish
• Domain: Electronics Product Recommendation & Comparison
• License: Apache-2.0

Dataset

Model aşağıdaki Hugging Face dataset üzerinde fine-tune edilmiştir:

sedayzc/turkish-electronics-product-comparison-recommendation

Kullanılan V2 dataset toplam 6.886 chat örneği içermektedir:

• Product Comparison: 4.851
• Product Recommendation: 2.035
• Total: 6.886

Dataset chat formatındadır:

{
  "messages": [
    {
      "role": "user",
      "content": "Fiyat performans açısından hangi Laptop modelini önerirsin?"
    },
    {
      "role": "assistant",
      "content": "..."
    }
  ]
}

Intended Use

Model aşağıdaki Türkçe elektronik ürün sorguları için fine-tune edilmiştir:

• Elektronik ürün önerisi
• Bütçe bazlı ürün önerisi
• Fiyat-performans odaklı ürün önerisi
• Kullanıcı puanı bazlı ürün önerisi
• Elektronik ürün karşılaştırma
• Alternatif ürün önerme

Örnek sorgular:

En iyi fiyat performans Lenovo laptop önerisinde bulun.

30.000 TL bütçeyle hangi laptopu önerirsin?

HP Victus ile Lenovo LOQ modellerini karşılaştırır mısın?

Kullanıcı puanlarına göre iyi bir oyuncu laptopu önerir misin?

Training Configuration

LoRA aşağıdaki modüllere uygulanmıştır:

q_proj
k_proj
v_proj
o_proj
gate_proj
up_proj
down_proj

Temel eğitim parametreleri:

Training Hardware

Fine-tuning lokal olarak aşağıdaki GPU üzerinde gerçekleştirilmiştir:

GPU: NVIDIA GeForce RTX 4050 Laptop GPU
VRAM: 6 GB

4-bit quantization ve Unsloth optimizasyonları kullanılarak model 6 GB VRAM üzerinde LoRA ile fine-tune edilmiştir.

Training Results

Usage

Bu repository tam model ağırlıkları yerine LoRA adapter ağırlıklarını içermektedir.

Model Unsloth kullanılarak aşağıdaki şekilde yüklenebilir:

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="sedayzc/qwen3-1.7b-turkish-electronics-lora-v2",
    max_seq_length=1024,
    dtype=None,
    load_in_4bit=True,
)

FastLanguageModel.for_inference(model)

Örnek inference:

messages = [
    {
        "role": "user",
        "content": "30.000 TL bütçeyle hangi laptopu önerirsin?"
    }
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)

inputs = tokenizer(
    prompt,
    return_tensors="pt",
    add_special_tokens=False,
).to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=300,
)

response = tokenizer.decode(
    outputs[0][inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)

print(response)

📊 Benchmark Evaluation

Model yalnızca eğitim kaybı (training loss) ile değerlendirilmemiş, aynı zamanda hem genel amaçlı LLM benchmarkları hem de bu çalışma kapsamında geliştirilen elektronik ürün benchmarkları üzerinde test edilmiştir.

Değerlendirme dört aşamada gerçekleştirilmiştir.

1. General LLM Benchmarks

Fine-tuning sonrasında modelin genel muhakeme yeteneğinin korunup korunmadığını incelemek amacıyla MMLU, GSM8K ve Turkish MMLU benchmarkları uygulanmıştır.

Bu sonuçlar, elektronik ürün odaklı fine-tuning yapılmasına rağmen modelin genel muhakeme yeteneğini büyük ölçüde koruduğunu göstermektedir. GSM8K performansındaki düşüş beklenen bir durumdur çünkü eğitim sürecinde matematiksel muhakemeye yönelik herhangi bir veri kullanılmamıştır.

---

2. Turkish Electronics Domain Benchmark

Mevcut benchmarklar elektronik ürün önerisi ve karşılaştırma görevlerini doğrudan değerlendiremediği için bu proje kapsamında yeni bir benchmark geliştirilmiştir.

Benchmark aşağıdaki görevleri kapsamaktadır.

Recommendation

• Cheapest Product
• Highest Rated Product
• Most Reviewed Product
• Best Value Product

Comparison

• Cheaper Product
• Higher Rated Product
• More Reviewed Product
• More Favorited Product
• Better Value Product

Benchmark, modelin yalnızca doğru ürünü seçmesini değil, aynı zamanda kullanıcı isteğini doğru yorumlamasını ve doğal dilde açıklama üretebilmesini de değerlendirmektedir.

---

3. Electronics Benchmark V3.1

Benchmark'ın son sürümünde model cevapları yeniden puanlanarak aşağıdaki davranışlar ölçülmektedir.

• Selection Accuracy
• Robust Accuracy
• Permutation Consistency
• Numeric Claim Coverage
• Technical Claim Coverage
• Technical Claim Factuality
• Valid Prediction
• Hallucination-Free Response

Recommendation

Comparison

---

Benchmark Summary

Benchmark sonuçları LoRA fine-tuning'in modelin genel bilgi seviyesinden ziyade elektronik ürün önerisi alanındaki davranışını değiştirdiğini göstermektedir.

Fine-tuned model;

• elektronik ürün terminolojisini daha doğru kullanabilmekte,
• teknik özelliklerden daha fazla bahsedebilmekte,
• farklı prompt sıralamalarına karşı daha kararlı davranabilmekte,
• geçerli ürün seçme oranını artırabilmektedir.

Bununla birlikte model hâlen ürün seviyesinde muhakeme, çoklu kısıtları aynı anda uygulama ve teknik doğruluk açısından geliştirilmeye açıktır.

Resources

• Base Model: unsloth/qwen3-1.7b-unsloth-bnb-4bit
• Dataset: sedayzc/turkish-electronics-product-comparison-recommendation
• LoRA Adapter: sedayzc/qwen3-1.7b-turkish-electronics-lora-v2
• GitHub: https://github.com/ssedayzc/turkish-electronics-qwen3-lora

---

This Qwen3 model was fine-tuned with Unsloth.