datalora-mistral-7b

DATALORA: Dynamic Adaptive Token-Level Optimization with Rank-Adaptive LoRA

Mistral-7B base model (~7B parametre) üzerine uygulanan, üç yeniliği tek bir çerçevede birleştiren verimli fine-tuning yöntemi.

DATALORA, büyük dil modellerini daha az hesapla fine-tune etmek için geliştirilen üç bileşenli bir eğitim optimizasyonu yöntemidir:

1. Unified Saliency Network (USN) — Ortak token önem skorlama ve uzman yönlendirmesi
2. Mixture of LoRA Experts — Dinamik yönlendirilen 8 özelleşmiş LoRA adaptörü
3. Dynamic Token Pruning — Müfredat tabanlı token tutma zamanlaması

Özet

Mimari

Input Tokens
    │
    ▼
┌─────────────────────────────┐
│   Unified Saliency Network  │
│   (Shared backbone)         │
├──────┬──────────┬───────────┤
│Token │ Router   │ Rank      │
│Scores│ Logits   │ Scale     │
└──┬───┴────┬─────┴─────┬─────┘
   │        │           │
   ▼        ▼           ▼
 Token    Expert      Dynamic
Pruning  Selection   Rank Scaling
   │        │           │
   ▼        ▼           ▼
┌─────────────────────────────┐
│  Mixture of LoRA Experts    │
│  (8 specialized adapters)   │
└─────────────────────────────┘

Temel Fikir

Token önemi ve görev zorluğu ilişkili sinyallerdir. Karmaşık girdiler hem daha fazla token hem daha güçlü adaptasyon ister. USN bu ilişkiyi birlikte öğrenerek:

• Verimli hesap — önemsiz tokenları atla
• Uzmanlaşmış adaptasyon — farklı girdiler için farklı uzmanlar
• Uyarlanır kapasite — daha zor girdiler için daha yüksek rank

Eğitim Detayları

3 Fazlı Müfredat

1. Warmup (Epoch 1): Yoğun eğitim, yüksek sıcaklık (yumuşak kararlar), tüm tokenlar tutulur
2. Sparsification (Epoch 2): Token pruning kademeli artar, sıcaklık azalır
3. Hardening (Epoch 3): Düşük sıcaklık (ayrık kararlar), hedef %50 tutma

Loss Fonksiyonu

L_total = L_LM + λ_prune · L_retention + α_balance · L_balance

Kullanım

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("tugrulkaya/datalora-mistral-7b")
model = AutoModelForCausalLM.from_pretrained(
    "tugrulkaya/datalora-mistral-7b",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = "What is machine learning?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=200,
    temperature=0.7,
    do_sample=True,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

DATALORA Çerçevesi

Kendi DATALORA modellerinizi eğitmek için çerçevenin bileşenleri:

• UnifiedSaliencyNetwork — Ortak token skorlama + uzman yönlendirme + rank ölçekleme
• SimpleMixtureOfExperts — 8 LoRA uzmanı, ağırlıklı birleştirme
• CurriculumScheduler — 3 fazlı sıcaklık zamanlaması
• DATALORATrainer — Müfredatla genişletilmiş HF Trainer

Örnek Konfigürasyon

from models import DATALORAConfig

config = DATALORAConfig(
    base_model="mistralai/Mistral-7B-v0.3",
    num_lora_experts=8,
    lora_rank=16,
    lora_alpha=32,
    target_retention=0.5,
    num_active_experts=2,
    temperature_init=5.0,
    temperature_final=0.5,
)

Atıf

@misc{kaya2025datalora,
  title  = {DATALORA: Dynamic Adaptive Token-Level Optimization with Rank-Adaptive LoRA},
  author = {Kaya, Tuğrul},
  year   = {2025},
  url    = {https://huggingface.co/tugrulkaya/datalora-mistral-7b}
}

Lisans

Apache 2.0 (Mistral-7B-v0.3'ten devralınmıştır)