secllm-tr-mistral-7b-qlora

SecLLM-TR — Türkçe Siber Güvenlik LLM

Mistral 7B Instruct v0.3 üzerine QLoRA ile fine-tune edilmiş, siber güvenlik alanına özelleşmiş Türkçe dil modeli.

Yetenekler

1. Zafiyet Analizi — CVE açıklamalarını Türkçe analiz eder, risk seviyesi belirler
2. Güvenlik Raporu Üretimi — Teknik bulgulardan Türkçe rapor oluşturur
3. Güvenlik QA — Siber güvenlik sorularına Türkçe uzman yanıtlar verir
4. Sınıflandırma — Güvenlik loglarını ve olayları kategorize eder

Eğitim Detayları

Dataset kaynakları: NVD/CVE, MITRE ATT&CK ve Ollama Cloud (gpt-oss:120b) ile üretilen sentetik Türkçe analizler. Detay: DATASET_CARD.

Değerlendirme

Test setinde (40 örnek) base vs fine-tuned:

En belirgin kazanım BLEU'da (0.00 → 0.21): model, hedef Türkçe uzman analiz formatını öğrenmiştir. Otomatik metrikler açık uçlu üretimde sınırlıdır; format tutarlılığı ve domain dili gibi niteliksel iyileşmeler demoda daha belirgindir.

Kullanım

LoRA adapter ile (PEFT)

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

BASE = "mistralai/Mistral-7B-Instruct-v0.3"
ADAPTER = "<HF_KULLANICI>/secllm-tr-mistral-7b-qlora"

bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
                         bnb_4bit_compute_dtype=torch.bfloat16)
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(model, ADAPTER)

SYSTEM = ("Sen SecLLM-TR, siber güvenlik alanında uzmanlaşmış Türkçe bir asistansın. "
          "Teknik olarak doğru ve profesyonel yanıtlar verirsin.")
soru = "SQL injection saldırısından nasıl korunurum?"
msgs = [{"role": "user", "content": f"{SYSTEM}\n\n{soru}"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, do_sample=True, temperature=0.7)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

Sınırlamalar ve Etik

• Model eğitim/araştırma amaçlıdır; kritik güvenlik kararlarında tek başına kullanılmamalıdır.
• Sentetik eğitim verisi gpt-oss:120b çıktısıdır; nadiren hata/yanlılık içerebilir.
• Halüsinasyon riski vardır — üretilen CVE/teknik bilgileri resmi kaynaklardan doğrulayın.
• Kötüye kullanım (saldırı aracı üretimi) amaçlanmamıştır; savunma odaklıdır.

Atıf

@misc{secllm-tr,
  title  = {SecLLM-TR: Fine-Tuned Turkish Cybersecurity Language Model},
  author = {Bayram, Betül},
  year   = {2026},
  url    = {https://huggingface.co/<HF_KULLANICI>/secllm-tr-mistral-7b-qlora}
}

Lisans: Apache 2.0