intisari-indonesian-chat-v3

INTISARI-CHAT-V3

INTISARI-CHAT-V3 adalah LLM - LARGE LANGUAGE MODEL BAHASA INDONESIA berukuran kecil yang dilatih dari awal menggunakan causal language modeling. Model ini dirancang untuk percakapan sederhana dan menjawab pertanyaan umum dalam Bahasa Indonesia.

Demo

Coba model secara langsung:

https://intisari.flatseek.io

---

Statistik Singkat

Arsitektur Model

vocab_size:     1878
n_layers:        20
n_heads:         8
n_kv_heads:     2
hidden_dim:      512
ffn_dim:         1408
context_length:   512
rope_theta:      10000
activation:      SwiGLU
normalization:   RMSNorm

Model ini menggunakan arsitektur Transformer decoder dengan GQA (Grouped Query Attention). Ukuran yang kecil dipilih untuk eksperimen pada tiny language model yang mampu chatting.

Training

Model dilatih dari awal menggunakan Flatbuild. Training terdiri dari 3 epoch dengan 4821 samples percakapan Bahasa Indonesia. Validation metrics terus membaik hingga epoch terakhir.

Evaluasi Generation

Model diuji dengan 15 prompt menggunakan sampling (temperature=0.7, max_new_tokens=128).

Chart ini menampilkan topic adherence, distribusi panjang generation, dan vocabulary diversity.

Chart ini menampilkan repetition rate per n-gram dan degeneration rate.

Observasi

Yang Sudah Berhasil

• percakapan Bahasa Indonesia yang coheren
• kemampuan menjawab pertanyaan umum
• vocabulary diversity tinggi (98.1% distinct-2)
• local coherence sudah baik
• pattern bahasa Indonesia mulai konsisten

Yang Masih Menjadi Masalah

• halusinasi (model bisa menghasilkan jawaban yang tidak akurat)
• avg generation masih pendek (~10.7 tokens)
• factual errors mungkin terjadi
• long-range coherence masih terbatas

Keterbatasan

• hanya ~46.5M parameter
• dataset relatif kecil (4821 samples)
• coverage pengetahuan sangat terbatas
• rawan halusinasi
• generation masih pendek
• belum memiliki pengetahuan dunia yang luas

Apa yang Ditunjukkan Eksperimen Ini

Eksperimen ini menjawab pertanyaan: "Seberapa jauh model yang kecil dapat belajar melakukan percakapan dalam Bahasa Indonesia dari dataset yang terbatas?"

Hasil menunjukkan:

• accuracy mencapai 98.3%
• degeneration rate 13.3%
• distinct-2 mencapai 98.1%
• model sudah menghasilkan respons yang coheren
• tetapi halusinasi masih menjadi masalah

Eksperimen berikutnya sebaiknya lebih dahulu meningkatkan:

1. kualitas dan kuantitas dataset
2. diversity percakapan
3. deduplication
4. semantic consistency
5. panjang generation
6. pengetahuan faktual

Penggunaan

flatbuild generate outputs/intisari-chat-v3/.../checkpoints/final \
  --prompt "<|user|>
Apa itu fotosintesis?
<|assistant|>
" \
  --max-new 128 \
  --temperature 0.7

Contoh Generation

Model diuji dengan beberapa prompt menggunakan temperature=0.7, max_new_tokens=50.

Photosynthesis

Prompt

<|user|>
Apa itu fotosintesis?
<|assistant|>

Output

Fotosintesis adalah proses tumbuhan mengubah cahaya matahari menjadi makanan menggunakan klorofil.

Sky Color

Prompt

<|user|>
Kenapa langit berwarna biru?
<|assistant|>

Output

Langit berwarna biru karena cahaya matahari tersebar oleh atmosfer.

Planets

Prompt

<|user|>
Sebutkan planet-planet di tata surya
<|assistant|>

Output

t baru|>uk' resigeai,t.

Catatan: Output terakhir menunjukkan keterbatasan model - kadang menghasilkan output yang tidak koheren. Ini adalah eksperimen dengan model sangat kecil (~46M params).

Lisensi

Apache 2.0

---

Dilatih dari scratch menggunakan Flatbuild