Lucky-Paud-13M-indonesia

Lucky PAUD 13M

Model bahasa 13 juta parameter, decoder-only GPT-style, dilatih dari nol (bukan fine-tune) untuk bahasa Indonesia. Dibangun solo sebagai proyek belajar: tokenizer, korpus, dan training loop semuanya ditulis dan dijalankan sendiri di Kaggle (GPU T4, gratis).

Cara pakai (baca dulu sebelum download)

File model diupload sebagai model_13m_final.pt — file .pt standar PyTorch, load seperti biasa dengan torch.load(). Arsitektur model custom (bukan kelas bawaan transformers), jadi butuh definisi kelas GPT/Config sendiri sebelum load state_dict — lihat repo Kaggle di bagian bawah untuk kodenya.

Arsitektur

• Decoder-only GPT, pre-norm, weight tying
• 6 layer, 4 attention head, d_model 256, context window 512 token
• Vocab 32.000 (byte-level BPE custom, disertakan di repo ini: tokenizer.json + tokenizer_config.json)
• Total parameter: 13,05 juta

Data & training

~819 juta token, dari tiga sumber, dibersihkan dan dideduplikasi sendiri:

• Fragmen berita: Lyon28/Corpus-Indonesia
• Artikel koran (2018): indonesian-nlp/id_newspapers_2018
• Komentar publik: kumpulan komentar berbahasa Indonesia (topik seputar pemilu 2024), sumber tidak dipublikasikan secara terbuka

Training: 1 epoch penuh, 50.000 langkah, fp16, ~157 menit di satu GPU T4. Loss turun dari 10,4 (acak) ke 3,9.

Kemampuan dan batasan

Bisa: melanjutkan teks berbahasa Indonesia dengan tata bahasa dan gaya jurnalistik yang koheren (kutipan, struktur berita, format tanggal).

Belum bisa:

• Bukan chatbot — belum ada fine-tuning instruksi, hanya melanjutkan teks, tidak menjawab pertanyaan
• Sering salah fakta (mengarang tanggal, menempelkan nama ke jabatan yang salah) — model belajar pola bahasa, bukan pengetahuan faktual
• Bias ke gaya dan topik tahun 2018 karena sumber data

Status proyek

Tahap pertama dari rencana lebih besar: model 50M dan fine-tuning chat masih dalam pengerjaan.

Kode & tautan terkait

• Notebook training (kode lengkap Config/GPT/training loop): kaggle.com/code/adisad/train-slm-13m
• Versi Kaggle Model: kaggle.com/models/adisad/lucky-paud-13m

Data & Lisensi

Model ini dilatih pada ~819 juta token dari tiga sumber. Dua di antaranya memiliki lisensi publik yang jelas (Lyon28/Corpus-Indonesia dan indonesian-nlp/id_newspapers_2018).

Sumber ketiga — kumpulan komentar publik bertopik pemilu 2024 — tidak memiliki provenance yang dapat diverifikasi. Pemilik data asli tidak mengetahui dari mana data itu diperoleh. Dataset ini tidak saya distribusikan, tetapi model tetap dilatih di atasnya. Konsekuensinya, model ini mewarisi ketidakpastian lisensi dari sumber tersebut.

Saya memilih mencantumkan ini secara terbuka karena dua alasan. Pertama, pengguna berhak tahu bahwa model ini tidak aman untuk penggunaan komersial atau produksi. Kedua, data komentar politik adalah data sensitif — berpotensi memuat opini dan identitas individu — dan model generatif kecil seperti ini lebih rentan terhadap memorisasi teks dibanding model besar. Tanpa akses ke data asli, saya tidak bisa memverifikasi atau menghapus bagian yang bermasalah.

Untuk model 50M ke depan, saya akan membatasi training hanya pada dataset dengan lisensi eksplisit. Proyek ini adalah pelajaran bahwa provenance data bukan detail administratif — ia bagian dari etika model.