decimind-gemma-3-4b-lora

DeciMind Gemma 3 4B QLoRA Adapter

Bu adapter, Türkçe şirket, finans, müşteri kaybı ve insan kaynakları analizi görevleri için QLoRA ile supervised fine-tune edilmiştir.

Eğitim

• Base model: google/gemma-3-4b-it
• Dataset: TalhaKa/decimind-company-analysis-tr
• Yöntem: 4-bit NF4, double quantization, PEFT LoRA
• LoRA: r=32, alpha=64, dropout=0.05
• Dil: Türkçe

Sınırlamalar

Bu model tek başına finansal, İK veya ticari karar vermek için kullanılmamalıdır. Deterministik değerlendirme metrikleri insan değerlendirmesinin yerini tutmaz.

Değerlendirme

{
  "train": {
    "train_runtime": 3699.7029,
    "train_samples_per_second": 0.079,
    "train_steps_per_second": 0.011,
    "total_flos": 5788075838568480.0,
    "train_loss": 0.39677683818034637,
    "epoch": 3.0
  },
  "dataset": {
    "splits": {
      "train": {
        "records": 8695,
        "empty_records": 0,
        "long_record_estimate": 1917
      },
      "validation": {
        "records": 1087,
        "empty_records": 0,
        "long_record_estimate": 240
      },
      "test": {
        "records": 1087,
        "empty_records": 0,
        "long_record_estimate": 240
      }
    },
    "total_records": 10869
  },
  "target_modules": [
    "down_proj",
    "gate_proj",
    "k_proj",
    "o_proj",
    "q_proj",
    "up_proj",
    "v_proj"
  ],
  "adapter_size_bytes": 632497810
}

Örnek kullanım

Adapter, base model ile birlikte PEFT PeftModel.from_pretrained kullanılarak yüklenebilir. Hub tokenı kaynak koda yazılmamalıdır.