SanAi-MentalHealth

San Ai: Pendamping Awal Konseling Kesehatan Mental (Universitas Muhammadiyah Bandung)

San Ai adalah model bahasa besar berbasis LoRA Adapter (QLoRA) yang dikembangkan sebagai pendamping awal konseling kesehatan mental untuk mahasiswa Universitas Muhammadiyah Bandung (UMB). Model ini dirancang untuk memberikan dukungan emosional awal, validasi perasaan, dan psikoedukasi ringan menggunakan Bahasa Indonesia yang natural, empatik, dan tidak menghakimi.

Catatan Penting: Model ini adalah LoRA adapter, sehingga base model harus dimuat terlebih dahulu, lalu adapter dipasang menggunakan PEFT.

Model Details

Model Description

• Developed by: Faqih Muhammad Ihsan (XzyanQi)
• Model type: Causal Language Model + LoRA Adapter (QLoRA, 4-bit)
• Language(s): Bahasa Indonesia
• Base Model: Qwen/Qwen2.5-3B-Instruct
• Purpose: Memberikan dukungan awal, validasi emosi, dan psikoedukasi bagi mahasiswa yang mengalami stres akademik, kecemasan, atau permasalahan kesehatan mental ringan–menengah.

Uses

Direct Use

1. Chatbot pendamping awal kesehatan mental: Teman curhat virtual yang tersedia 24/7.
2. Alat bantu psikoedukasi: Menjelaskan istilah kesehatan mental (seperti anxiety, burnout, dll) dengan bahasa yang mudah dimengerti.
3. Pendengar aktif virtual: Memberikan respons empatik tanpa menghakimi atau memberi diagnosis.

Out-of-Scope Use

San Ai bukan pengganti psikolog atau psikiater profesional. Model ini tidak dirancang untuk menangani kondisi darurat medis, percobaan bunuh diri, atau memberikan diagnosis klinis yang mengikat. Jika pengguna menunjukkan tanda krisis serius, harus diarahkan ke tenaga profesional atau layanan darurat setempat.

Training Details

Training Data

Model dilatih menggunakan dataset corpus.json yang terdiri dari 2.922 percakapan konseling kesehatan mental yang telah dikurasi, mencakup kategori:

• Academic & Career Stressors
• Anxiety & Stress-Related Issues
• Body Image, Self-Concept & Identity Issues
• Depression & Emotional Difficulties
• Trauma, Burnout & Maladaptive Coping
• System Identity

Training Hyperparameters

• Method: QLoRA (4-bit Quantization)
• Epochs: 3
• Learning Rate: 2e-4
• LoRA Rank (r): 32
• LoRA Alpha: 64
• LoRA Dropout: 0.05
• Target modules: q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj
• Batch & akumulasi gradien: per_device_train_batch_size=1, gradient_accumulation_steps=8
• Warmup: warmup_ratio=0.1
• Save: save_steps=100, save_total_limit=5
• Optimizer (GPU): paged_adamw_8bit
• Gradient checkpointing: True

Training Monitoring (Loss)

Pada tahap akhir training, loss berada di kisaran ~0.32–0.38 (step 910–1090 dari total 1090), menunjukkan training berjalan stabil.

Evaluation Results (BERTScore)

Evaluasi otomatis dilakukan menggunakan metrik BERTScore terhadap 100 sampel acak dari corpus.json.
Proses evaluasi mencakup: generate jawaban model untuk 100 prompt, lalu menghitung BERTScore terhadap jawaban referensi.

Kesimpulan: Kualitas Bagus karna menggunakan model kecil

Catatan Tambahan

Model ini hanya ditujukan untuk riset akademik di Universitas Muhammadiyah Bandung.

Tidak dimaksudkan untuk penggunaan komersial tanpa izin.

How to Get Started

Interactive Inference

HF Space: https://huggingface.co/spaces/XzyanQi/San