Downloads · 30 days
9
11% of all-time downloads
ai-literacy-innovation-institute
ai-literacy-innovation-institute/ilma-FT-MUI
ilma-FT-MUI is a machine learning model from ai-literacy-innovation-institute. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
Model ini adalah LoRA Adapter yang di-fine-tune di atas arsitektur raksasa Qwen3.5-35B-A3B-Base menggunakan metode RAFT (Retrieval Augmented Fine-Tuning). Model ini secara khusus dilatih untuk memberikan jawaban menda…
Downloads · 30 days
9
11% of all-time downloads
All-time downloads
82
Public
Repo size
2.2 GB
Likes
0
Public
Click a slice to open those files.
.safetensors2.2 GB · 100%
From the Hugging Face model README
Model ini adalah LoRA Adapter yang di-fine-tune di atas arsitektur raksasa Qwen3.5-35B-A3B-Base menggunakan metode RAFT (Retrieval Augmented Fine-Tuning). Model ini secara khusus dilatih untuk memberikan jawaban mendalam (Chain-of-Thought) berdasarkan konteks dokumen Fatwa Majelis Ulama Indonesia (MUI).
Karena ini adalah adapter LoRA, Anda perlu memuat base model Qwen-35B terlebih dahulu, kemudian menginjeksi adapter ini.
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_model = "Qwen/Qwen3.5-35B-A3B-Base"
adapter_id = "ai-literacy-innovation-institute/ilma-FT-MUI"
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model)
# Muat LoRA Adapter
model = PeftModel.from_pretrained(model, adapter_id)
Model ini dilatih menggunakan Dataset Gold-Standard khusus Fatwa MUI (Majelis Ulama Indonesia) dengan spesifikasi:
Model dikonvergensi setelah 3 Epoch (119 step) dengan stabilitas tinggi:
Pada pengujian generasi komparatif terhadap 15 sampel, model mencapai skor ROUGE berikut (dievaluasi tanpa tag <think>):
(Catatan Akademis: Meskipun secara kualitatif model memiliki tingkat faktual 100% dan mematuhi format instruksi secara sempurna dengan mencantumkan blok pemikiran abstrak <think>...</think>, nilai ROUGE terlihat rendah. Ini adalah Paradoks Evaluasi, karena skrip penilai memotong seluruh narasi di dalam tag <think> untuk menilai jawaban akhir (yang ringkas), kemudian membandingkannya dengan Ground Truth yang memuat keseluruhan Chain-of-Thought (yang panjang). Skor Base Model bahkan lebih tinggi secara false-positive karena ia gagal mengikuti instruksi tag dan mengalami lexical verbosity yang bertepatan secara n-gram. Hal ini membuktikan bahwa ILMA-FT-MUI secara absolut sukses dalam kepatuhan format struktural (structural alignment) dari Teacher Model.)