HellanodikAI-Qwen2.5-3B-Legal-LoRA

HellanodikAI-Qwen2.5-3B-Legal-LoRA

LoRA adapter hasil QLoRA fine-tuning untuk eksperimen tanya jawab hukum Indonesia.

Base model

unsloth/Qwen2.5-3B-Instruct-bnb-4bit

Training data

Dataset: Azzindani/ID_Legal_QA_Syn

• Dataset asli: 500 baris
• Dataset setelah filter dan deduplikasi: 250 baris
• Training: 225 baris
• Holdout: 25 baris
• Dataset bersifat sintetis
• Lisensi dataset: CC BY 4.0

Training configuration

• Maximum sequence length: 768
• Epochs: 1
• Effective batch size: 8
• Learning rate: 0.0002
• LoRA rank: 16
• LoRA alpha: 16
• Quantization: 4-bit
• Random seed: 42

Quick metrics

• Train loss: 1.1898
• Holdout loss: 1.0257
• Holdout perplexity: 2.7890
• Training duration: 4.31 minutes

Metrics ini hanya berasal dari holdout kecil dan tidak membuktikan ketepatan hukum.

Usage

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

repo_id = "icaluwu/HellanodikAI-Qwen2.5-3B-Legal-LoRA"

model = AutoPeftModelForCausalLM.from_pretrained(
    repo_id,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(repo_id)

Limitations

• Dataset pelatihan bersifat sintetis.
• Referensi peraturan dan ketepatan hukum belum diverifikasi secara menyeluruh oleh ahli.
• Model dapat menghasilkan informasi keliru, usang, atau tidak lengkap.
• Model tidak boleh digunakan sebagai pengganti nasihat hukum profesional.
• Model ini merupakan pilot berukuran kecil, bukan sistem hukum siap produksi.

Attribution

Dataset pelatihan: Azzindani/ID_Legal_QA_Syn, berlisensi CC BY 4.0.