Downloads · 30 days
8
7% of all-time downloads
zidanmubarak/jawi-qwen25-vl-qlora
jawi-qwen25-vl-qlora is a text generation model from zidanmubarak. Use it when you need the model to write or continue text. It is set up for peft. The card lists the license as apache-2.0.
<p align="center" <img src="https://huggingface.co/zidanmubarak/jawi-qwen25-vl-qlora/resolve/main/showcasechart.png" width="80%"/ <p
Downloads · 30 days
8
7% of all-time downloads
All-time downloads
115
Public
Repo size
669 MB
Likes
1
Public
Click a slice to open those files.
.safetensors329 MB · 95%
From the Hugging Face model README
Model ini adalah model Vision-Language (VLM) yang telah di- fine-tune secara khusus untuk melakukan dua tugas utama secara berurutan pada gambar teks cetak berbahasa Melayu/Indonesia:
Model ini dilatih menggunakan metode QLoRA (Parameter-Efficient Fine-Tuning) di atas arsitektur dasar Qwen2.5-VL-3B-Instruct. Pelatihan (Ablation Study Skenario C) menggunakan kombinasi dataset sintetik dan data manuskrip/dokumen autentik, menjadikannya sangat tangguh dalam menangani berbagai variasi font Jawi cetak.
Qwen/Qwen2.5-VL-3B-Instructzidanmubarak/jawi-qwen25-vl-qloraModel ini dirancang untuk langsung digunakan oleh:
Pengguna cukup memberikan gambar berisi teks Jawi beserta prompt instruksi standar, dan model akan mengembalikan teks Jawi sekaligus hasil transliterasinya.
Pengguna disarankan untuk memproses gambar dengan pencahayaan dan kontras yang baik. Untuk digitalisasi dokumen arsip resmi, hasil keluaran Rumi dari model ini sebaiknya tetap ditinjau ulang oleh ahli bahasa (Human-in-the-loop) sebelum dipublikasikan.
Untuk menjalankan model ini, Anda membutuhkan pustaka transformers, peft, dan qwen-vl-utils. Sangat disarankan untuk menjalankan model ini dalam format bfloat16 atau 4-bit menggunakan GPU.
import torch
from PIL import Image
from peft import PeftModel
from qwen_vl_utils import process_vision_info
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
BASE_MODEL = "Qwen/Qwen2.5-VL-3B-Instruct"
ADAPTER_ID = "zidanmubarak/jawi-qwen25-vl-qlora"
# 1. Load Base Model dan Processor
base = Qwen2_5_VLForConditionalGeneration.from_pretrained(
BASE_MODEL,
device_map="auto",
torch_dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base, ADAPTER_ID)
model.eval()
processor = AutoProcessor.from_pretrained(ADAPTER_ID)
# 2. Siapkan Gambar dan Prompt
SYSTEM_PROMPT = (
"Anda adalah sistem multimodal untuk ekstraksi dan transliterasi aksara Jawi cetak. "
"Tugas Anda terdiri dari dua langkah yang harus dilakukan secara berurutan:\\n"
"1. Ekstraksi: Baca gambar dan ekstrak teks aksara Jawi (huruf Arab) yang tertulis "
"pada gambar secara akurat, persis seperti yang tertulis.\\n"
"2. Transliterasi: Konversi teks Jawi yang telah diekstrak ke huruf Latin (Rumi) "
"sesuai pedoman Ejaan Jawi Yang Disempurnakan (PEJYD) oleh Dewan Bahasa dan Pustaka Malaysia.\\n\\n"
"ATURAN OUTPUT:\\n"
"- Keluarkan hasil dalam format berikut secara tepat:\\n"
" Jawi: [teks aksara Arab hasil ekstraksi]\\n"
" Rumi: [teks Latin hasil transliterasi]\\n"
"- Jangan menambahkan penjelasan, komentar, atau teks lain di luar format tersebut.\\n"
"- Transliterasi bersifat karakter ke karakter, bukan penerjemahan makna."
)
image = Image.open("contoh_jawi.jpg").convert("RGB")
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": [
{"type": "image", "image": image},
{"type": "text", "text": "Ekstrak teks aksara Jawi dari gambar ini, kemudian transliterasikan ke huruf Latin (Rumi)."},
]},
]
# 3. Proses Inferensi
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, _ = process_vision_info(messages)
inputs = processor(text=[text], images=image_inputs, padding=True, return_tensors="pt").to("cuda")
with torch.no_grad():
generated = model.generate(**inputs, max_new_tokens=1024, do_sample=False)
trimmed = [out[len(inp):] for inp, out in zip(inputs.input_ids, generated)]
output_text = processor.batch_decode(trimmed, skip_special_tokens=True)[0].strip()
print(output_text)
Model ini dilatih menggunakan dua jenis dataset yang dikurasi secara manual dan di- generate secara komputasional:
Pelatihan Ablation Study membuktikan bahwa pencampuran data sintetik dan autentik (Skenario C) memberikan generalisasi terbaik dibandingkan hanya dilatih pada satu jenis data saja.
Pelatihan dilakukan menggunakan pustaka Unsloth untuk mempercepat proses kalkulasi dan mengurangi penggunaan memori VRAM secara signifikan.
bfloat16.Evaluasi akhir (Mega Evaluasi) dilakukan pada subset 10% Data Autentik yang sama sekali tidak pernah dilihat oleh model selama proses training (Unseen Data).
Tiga metrik utama digunakan untuk mengukur keandalan sistem:
Ablation Study membuktikan bahwa integrasi LoRA berhasil menurunkan tingkat kesalahan secara drastis dibandingkan dengan kemampuan dasar (Zero-Shot) dari Qwen2.5-VL asli.
| Skenario Model | CER Jawi | CER Rumi | WER Rumi |
|---|---|---|---|
| Baseline (Qwen Asli Zero-Shot) | 82.51% | 90.59% | 107.08% |
| Model Final (Skenario C - Epoch 3) | 17.35% | 16.48% | 39.36% |
| Persentase Penurunan Error | ↓ 79% | ↓ 82% | ↓ 63% |
Performa model dalam mengekstrak dan mentransliterasi Jawi cetak mengalami lompatan raksasa. Model mampu menekan Character Error Rate untuk ekstraksi maupun transliterasi hingga di bawah batas ambang wajar (berkisar ~16%), menandakan bahwa model sudah sangat adaptif dalam membaca font Jawi nyata.
Pelatihan model dijalankan dengan optimasi tingkat tinggi menggunakan pustaka Unsloth yang memangkas waktu komputasi hingga 2x lebih cepat, secara signifikan mengurangi jejak karbon dibandingkan pelatihan full-parameter tradisional.