KLINEXA-EL1

KLINEXA-EL1 (INDONESIAN BASE MODEL)

Overview

KLINEXA-EL1 adalah model Bahasa Indonesia (~200M parameter) yang telah dilatih melalui dua fase utama:

• Alignment komunikasi (multi-turn, natural response)
• Knowledge injection awal (domain kesehatan)

Model ini merupakan early-stage domain-aware base model, bukan model expert.

---

Training Summary

• Dataset: ~105K training samples
• Domain: komunikasi + kesehatan
• Training steps: 767 (early stop)
• Final loss: ~2.53
• Training strategy: stop pada fase sebelum overfitting

Model dihentikan pada titik di mana:

• Knowledge mulai terbentuk
• Komunikasi masih natural
• Belum terjadi template overfitting

---

Current Capabilities

Model ini mampu:

• ✔ Menjawab pertanyaan kesehatan dasar (dalam bentuk sederhana)
• ✔ Memahami struktur pertanyaan → jawaban
• ✔ Menjaga percakapan tetap natural
• ✔ Menghindari halusinasi ekstrem

---

Observed Behavior (IMPORTANT)

Model menunjukkan karakteristik berikut:

• Cenderung memberikan jawaban aman dan umum
• Kadang menghasilkan respons terlalu generik
• Belum konsisten memberikan detail faktual spesifik

Contoh:

Q: Apa gejala demam berdarah?
A: "Gejala disesuaikan meliputi berbagai manifestasi klinis."

👉 Ini menunjukkan:

• Struktur benar ✔
• Konten masih lemah ❌

---

Limitations

• ❌ Belum memiliki knowledge medis yang dalam
• ❌ Cenderung fallback ke jawaban generik
• ❌ Belum cocok untuk use-case medis nyata
• ❌ Belum reliable untuk pertanyaan spesifik

---

Design Positioning

Model ini bukan:

• ❌ Medical expert model
• ❌ Production-ready healthcare model

Model ini adalah:

Foundation model dengan exposure awal ke domain kesehatan

---

Recommended Usage

Gunakan model ini sebagai:

base model untuk fine-tuning lanjutan

Pipeline yang disarankan:

1. EL1 → Communication + shallow knowledge ✔
2. EL2 → Strong knowledge injection (dataset faktual)
3. EL3 → Refinement & specialization

---

Improvement Direction

Untuk meningkatkan kualitas model:

• Tambahkan dataset faktual (definisi, gejala, penyebab)
• Kurangi pola jawaban generik ("tergantung kondisi", dll)
• Tingkatkan density informasi per sample

---

Architecture

• ~200M parameters
• 16 layers
• Hidden size 768
• GQA (12Q / 4KV)
• MoE (2 experts, top-1 routing)
• Context length: 512
• RoPE theta: 500000

---

Example Prompt Format

[BOS][USER]Apa itu hipertensi?[ASST]

---

File Structure

Model disimpan sebagai:

• klinexa_el1_model.pt

Catatan: Format custom (bukan HuggingFace standard), perlu load manual.

---

License

Apache 2.0