threew-qwen2.5-0.5b-lora

threew-qwen2.5-0.5b-lora

Ini adalah paket reproducible untuk melatih adapter LoRA pada Qwen/Qwen2.5-0.5B-Instruct menggunakan dataset ojiwzrd/threew. Karena lingkungan pembuatan ini tidak memiliki GPU, repository ini berisi konfigurasi dan skrip training, bukan klaim bobot hasil fine-tuning yang belum dijalankan.

Training di Hugging Face

Gunakan GPU T4 atau lebih tinggi pada notebook/Jobs, lalu jalankan:

pip install -r requirements.txt
python train_lora.py --dataset_repo ojiwzrd/threew --output_dir ./threew-adapter

Setelah training selesai, unggah folder threew-adapter ke repository model ini. Adapter dapat dipakai bersama model dasar menggunakan PEFT.

Format

Skrip mengubah setiap baris menjadi format chat dengan system, user, dan assistant. Hanya kolom instruction dan response yang digunakan sebagai target text generation.

Catatan

Ini bukan jaminan model menjadi sangat pintar. Evaluasi terpisah diperlukan untuk factuality, safety, bias, instruction-following, dan regression terhadap model dasar.