KomdigiITS-3B-PAD-CPT

Ministral-3-3B-CPT-PAD1-V2 🇮🇩

Ini adalah model Ministral-3-3B-Base-2512 yang telah melalui tahap Continual Pre-Training (CPT) secara komprehensif pada domain Perlindungan Anak Digital (PAD) berbahasa Indonesia.

Model ini dikembangkan oleh Kelompok PAD 1 (AITF Komdigi) dan siap digunakan sebagai Base Model yang solid untuk tahapan selanjutnya (Supervised Fine-Tuning / SFT).

🚀 Perbaikan di Versi V2

• Merged Weights: Model sudah digabungkan secara utuh (merged) dengan adapter CPT. Tidak perlu memanggil adapter terpisah saat SFT.
• Processor Included: Konfigurasi Processor dan Tokenizer telah disertakan secara lengkap, mengatasi masalah missing config pada ekosistem Hugging Face.

📊 Metrik Evaluasi CPT

Hasil evaluasi menunjukkan peningkatan pemahaman domain yang sangat signifikan setelah proses CPT:

• Domain PAD Perplexity (PPL): Turun drastis (membaik) dari 10.0116 menjadi 5.2230 (Peningkatan 47.83%).
• Domain BPC: Turun dari 0.9531 menjadi 0.6839.

💻 Penggunaan

Model ini sudah berupa entitas utuh dan dapat langsung dipanggil menggunakan FastLanguageModel.from_pretrained (Unsloth) atau AutoModelForCausalLM (Hugging Face) oleh tim SFT.

from transformers import AutoModelForCausalLM, AutoTokenizer, AutoProcessor

model_id = "aitf-komdigi/Ministral-3-3B-CPT-PAD1-V2"

# Bisa langsung dipanggil tanpa adapter tambahan!
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)