batik-qwen1.5b-merged

Wastra.ai — Batik Qwen 1.5B (Merged)

Model bahasa hasil fine-tuning dari Qwen2.5-1.5B-Instruct, dilatih khusus sebagai asisten pakar budaya Batik Nusantara. Model ini merupakan hasil merge antara base model dengan adapter LoRA yang dilatih menggunakan teknik QLoRA (4-bit quantization).

Model Description

Wastra.ai adalah model percakapan yang berperan sebagai pakar budaya batik Indonesia, dirancang untuk menjawab pertanyaan seputar:

• Sejarah dan filosofi batik
• Teknik dan proses pembuatan batik (mori, malam, pencelupan, dsb.)
• Ragam motif batik dari berbagai daerah
• Status UNESCO dan pelestarian batik sebagai warisan budaya

Model ini menjawab dengan gaya bahasa formal, informatif, edukatif, dan menolak secara elegan pertanyaan di luar topik batik.

• Developed by: Muhammad Maftuh
• Model type: Causal Language Model (fine-tuned, merged LoRA)
• Language(s): Bahasa Indonesia
• License: Apache 2.0 (mengikuti lisensi base model)
• Finetuned from model: Qwen/Qwen2.5-1.5B-Instruct

Uses

Direct Use

Model ini dapat digunakan langsung sebagai chatbot edukatif untuk topik batik — cocok untuk aplikasi pembelajaran, chatbot museum digital, atau fitur tanya-jawab dalam aplikasi budaya seperti BatikLens.

Out-of-Scope Use

Model ini tidak dirancang untuk menjawab pertanyaan di luar topik batik dan budaya terkait. Untuk kebutuhan umum, gunakan model dasar Qwen2.5-1.5B-Instruct.

How to Get Started with the Model

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "maftuh-main/batik-qwen1.5b-merged"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

messages = [
    {"role": "system", "content": "Kamu adalah Wastra.ai, sebuah kecerdasan buatan yang berperan sebagai Pakar Budaya Batik Nusantara yang sangat berwibawa."},
    {"role": "user", "content": "Jelaskan filosofi motif Parang."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Training Details

Training Data

Dataset percakapan sintetis dan kurasi seputar batik (maftuh-main/dataset-batik-trl-sft), mencakup topik sejarah, teknik pembuatan, filosofi motif, dan pengakuan UNESCO terhadap batik Indonesia.

Training Procedure

• Base model: Qwen2.5-1.5B-Instruct
• Metode: QLoRA (4-bit NF4 quantization) + LoRA adapter, kemudian di-merge ke base model
• LoRA config: r=16, alpha=32, dropout=0.05, target modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
• Training regime: bf16 mixed precision
• Optimizer: paged_adamw_8bit
• Learning rate: 1e-4, cosine scheduler, 100 warmup steps
• Max sequence length: 512
• Hardware: Kaggle Notebook — NVIDIA Tesla T4 x2

Limitations

• Model dibatasi hanya untuk topik batik; performa di luar domain ini belum diuji.
• Sebagai model 1.5B parameter, kapabilitas reasoning kompleks lebih terbatas dibanding model yang lebih besar.
• Dataset training bersifat sintetis/terkurasi sehingga kualitas jawaban bergantung pada cakupan dataset.

Model Card Contact

Muhammad Maftuh — proyek BatikLens