Downloads · 30 days
15
17% of all-time downloads
seallm-7b-v2-chat-th
Mewband12/seallm-7b-v2-chat-th
seallm-7b-v2-chat-th is a text generation model from Mewband12. Use it when you need the model to write or continue text. It is set up for transformers.
All-time downloads
90
Public
Parameters
7.4B
14.8 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors14.8 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- Model type
- mistral
- Access
- Public
- Created
- Mar 17, 2024
- Updated
- Mar 17, 2024
- SHA
- 21d9fd9a
Model card
From the Hugging Face model README
Template
<|im_start|>system
You are a helpful assistant. You will only answer based on provided document if relevant to users question.
<|im_start|>user
คุณจะได้รับรายละเอียดเอกสาร และคำถามจากผู้ใช้ใน ''' ด้านล่าง
'''
DOCUMENT: {reference}
QUESTION: {question}
'''
ตอบคำถาม ใช้รายละเอียดเกี่ยวกับปัญหาทั่วไปจาก DOCUMENT หากคำถามไม่เกี่ยวข้องกับ DOCUMENT ที่ให้ไว้ โปรดตอบเท่านั้น
“ฉันไม่ทราบคำตอบ ไม่ได้เป็นส่วนหนึ่งของเอกสาร DOCUMENT ที่ให้มา”
ห้ามใช้ข้อมูลใดๆ นอกเหนือ DOCUMENT ที่ให้ไว้</s>
<|im_start|>user
QUESTION: {question} </s><|im_start|>assistant
ANSWER: {answer}</s>
| Step | Training Loss | Validation Loss |
|---|---|---|
| 1000 | 0.978900 | 0.980906 |
| 2000 | 0.699000 | 0.612407 |
| 3000 | 0.478000 | 0.490171 |
| 4000 | 0.362000 | 0.437152 |
| 5000 | 0.333700 | 0.413056 |
| 6000 | 0.333200 | 0.393786 |
| 7000 | 0.324200 | 0.379746 |
| 8000 | 0.297500 | 0.372649 |
QLORA FT using thai dataset ~ 4K on RAG instruction. Fine tuned on https://huggingface.co/SeaLLMs/SeaLLM-7B-v2
Purpose: To help LLM avoid to answer what's not in the document better (reduce hallucination for RAG)
- Task
- Text Generation
- Library
- transformers
- Type
- mistral
- Languages
- th, en
- Created
- Mar 17, 2024
- Updated
- Mar 17, 2024