Downloads · 30 days
29
13% of all-time downloads
catareeya-gemma-4-12b-qat
tokenine/catareeya-gemma-4-12b-qat
catareeya-gemma-4-12b-qat is a text generation model from tokenine. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
All-time downloads
216
Public
Repo size
8 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.gguf8 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- apache-2.0
- Access
- Public
- Created
- Jul 24, 2026
- Updated
- Jul 25, 2026
- SHA
- 26596415
Base models
Model card
From the Hugging Face model README
Catareeya - Gemma 4 12B QAT Fine-tuned Sales Chatbot
<div align="center">🐱 แคท อารียา - ผู้เชี่ยวชาญขายสินค้า 🛍️
AI Sales Expert with Friendly Thai Personality - QAT Optimized
</div>📖 ภาพรวม (Overview)
Catareeya QAT เป็นโมเดลภาษาขนาดใหญ่ (LLM) ที่ถูก fine-tune จาก Gemma 4 12B ด้วย Quantization-Aware Training (QAT) โดยมีบุคลิกเป็น "แคท อารียา" — พนักงานขายวัย 28 ปี ที่มีนิสัยร่าเริง เป็นกันเอง และเชี่ยวชาญด้านการขายสินค้า
โมเดลนี้ถูก train ด้วย LoRA (Low-Rank Adaptation) บน DGX Spark (NVIDIA GB10) ด้วย synthetic training data 500+ บทสนทนา เพื่อให้มีน้ำเสียงและสไตล์การพูดแบบเป็นกันเอง เหมาะสำหรับการเป็น chatbot ขายสินค้าภาษาไทย
✨ จุดเด่นของ QAT Version
- ความเร็วสูง: 47 tokens/second ด้วย MTP (Multi-Token Prediction)
- MTP Acceptance Rate: 80% (draft model ทำงานได้เต็มประสิทธิภาพ)
- ขนาดกะทัดรัด: Q4_K_M quantization (~6.9 GB)
- คุณภาพดี: QAT training ช่วยรักษาคุณภาพของโมเดลเดิม
🎭 บุคลิกของแคท (Personality)
| ลักษณะ | รายละเอียด |
|---|---|
| ชื่อ | แคท อารียา (Cat Areeya) |
| อายุ | 28 ปี |
| บทบาท | พนักงานขาย (Claw Agent) |
| น้ำเสียง | เป็นกันเอง, ร่าเริง, อบอุ่น |
| ภาษา | ใช้ "ค่ะ/คะ", มี emoji บ้าง 😊, พูดเหมือนเพื่อนแนะนำเพื่อน |
| สไตล์การขาย | ถามความต้องการ → แนะนำสินค้า → บอกโปรโมชั่น → ปิดการขาย |
🚀 การใช้งาน (Usage)
ใช้กับ llama.cpp + MTP (แนะนำ)
# ดาวน์โหลด GGUF file
huggingface-cli download tokenine/catareeya-gemma-4-12b-qat \
catareeya-qat-Q4_K_M.gguf \
--local-dir ./models
# รันด้วย llama-server + MTP
./llama-server \
-m ./models/catareeya-qat-Q4_K_M.gguf \
--model-draft MTP/mtp-gemma-4-12B-it-Q8_0.gguf \
--spec-type draft-mtp \
--spec-draft-n-max 4 \
-ngl 999 \
-fa on \
--host 0.0.0.0
ตัวอย่างการสนทนา
User: สวัสดีค่ะ มีอะไรแนะนำบ้าง?
Catareeya:
สวัสดีค่าา! แคทเองนะคะ ยินดีที่ได้รู้จักค่ะ! 😊 วันนี้มีอะไรให้แคทช่วยดูแลบ้างคะ?
มีสินค้าหลายตัวเลยค่ะ แต่แคทอยากรู้ก่อนนิดนึงค่ะว่า ลูกค้าสนใจดูแลส่วนไหนเป็นพิเศษไหมคะ? หรือมีปัญหาผิวแบบไหนที่อยากแก้? บอกแคทได้เลยนะ แคทจะได้แนะนำได้ตรงจุดค่ะ! ✨
📊 ผลลัพธ์การ Training (Training Results)
QAT Fine-tuning Results
| Metric | ค่า |
|---|---|
| Training Time | ~28 นาที |
| Total Steps | 171/171 (100%) |
| Train Loss | 0.928 (เฉลี่ย) |
| Eval Loss | 0.022 |
| Token Accuracy | 99.2% |
| Epochs | 3 |
MTP Performance
| Metric | ค่า |
|---|---|
| Generation Speed | 47 tokens/second |
| MTP Acceptance Rate | 80.4% |
| Draft Length | 4.22 tokens |
📦 ไฟล์ที่มี (Available Files)
| ไฟล์ | ขนาด | หมายเหตุ |
|---|---|---|
catareeya-qat-Q4_K_M.gguf | 6.9 GB | Quantized GGUF (แนะนำสำหรับ inference) |
catareeya-qat-f16.gguf | 23 GB | Full precision GGUF |
catareeya-gemma-4-12b-qat-standard/ | 251 MB | LoRA adapter |
catareeya-gemma-4-12b-qat-standard-merged/ | 23 GB | Merged model (safetensors) |
🏗️ สถาปัตยกรรม (Architecture)
| รายการ | รายละเอียด |
|---|---|
| Base Model | google/gemma-4-12B-it |
| Fine-tuning Method | LoRA + QAT (Quantization-Aware Training) |
| LoRA Rank | 16 |
| LoRA Alpha | 32 |
| Trainable Parameters | 65.6M (0.55% ของทั้งหมด) |
| Training Data | 500 synthetic conversations |
| Hardware | DGX Spark (NVIDIA GB10, 128GB unified memory) |
| Training Time | ~28 นาที |
⚠️ ข้อจำกัด (Limitations)
- Training Data: ถูก train ด้วย synthetic data เท่านั้น อาจไม่ครอบคลุมทุกสถานการณ์จริง
- Domain: เน้นขายสินค้าทั่วไปเป็นหลัก อาจต้อง fine-tune เพิ่มสำหรับ domain เฉพาะ
- Language: เก่งภาษาไทยและอังกฤษ แต่อาจมีข้อผิดพลาดในภาษาถิ่นหรือสแลง
- Real-time: ไม่มีความรู้เรื่องสินค้าจริง (ต้องเพิ่ม RAG หรือ product catalog)
🙏 Acknowledgements
- Base Model: Google Gemma 4 by Google DeepMind
- Fine-tuning Framework: Unsloth, HuggingFace Transformers, PEFT, TRL
- Hardware: NVIDIA DGX Spark
- Inspiration: Catareeya Demo
📄 License
โมเดลนี้เผยแพร่ภายใต้ Apache 2.0 License (เช่นเดียวกับ Gemma 4)
<div align="center">
สร้างด้วย ❤️ โดย Tokenine Team
🐱 แคท อารียา — ผู้เชี่ยวชาญขายสินค้า
</div>- Task
- Text Generation
- Library
- transformers
- License
- apache-2.0
- Languages
- th, en
- Created
- Jul 24, 2026
- Updated
- Jul 25, 2026