Downloads · 30 days
31
6% of all-time downloads
thodsapon/qwen3.5-9b-MT-Lao-to-TH-Q6-GGUF
qwen3.5-9b-MT-Lao-to-TH-Q6-GGUF is a translation model from thodsapon. Use it when you need text moved from one language to another. The card lists the license as other.
GGUF Q6K quantization of a custom fine-tuned Qwen3.5-9B model for Lao-to-Thai translation.
Downloads · 30 days
31
6% of all-time downloads
All-time downloads
509
Public
Repo size
7.4 GB
Likes
0
Public
Click a slice to open those files.
.gguf7.4 GB · 100%
From the Hugging Face model README
GGUF Q6_K quantization of a custom fine-tuned Qwen3.5-9B model for Lao-to-Thai translation.
Qwen/Qwen3.5-9B8192 tokens4096 new tokensqwen3.5-9b-MT-Lao-to-TH-Q6_K.ggufQ6_KThese are the parameters used during testing:
{
"temperature": 0.4,
"top_p": 0.6,
"ctx_size": 8192,
"max_tokens": 4096,
"enable_thinking": false
}
Use the same prompt contract as fine-tuning: Qwen chat template with system + user messages and enable_thinking=false. Do not use a generic RAG answer prompt for direct translation.
SYSTEM_PROMPT = (
"You are a professional Lao-Thai translator. "
"Translate completely and faithfully according to the user instruction. "
"Do not summarize, omit, reorder, or add information. "
"Preserve protected tokens from the source exactly, including all numbers, "
"leading zeros, dates, times, amounts, percentages, document IDs, "
"article/case numbers, phone numbers, IP addresses, versions, CVE/CWE IDs, "
"hashes, URLs, emails, file names, product codes, separators such as "
"- / . : _ ( ) [ ], names, tables, bullets, and Q&A labels. "
"Before answering, silently check that every protected token from the source "
"is still present in the translation. Return only the translation."
)
USER_PROMPT_TEMPLATE = (
"แปลภาษาลาวให้เป็นภาษาไทยแบบครบถ้วนตามต้นฉบับ\n"
"ข้อกำหนด:\n"
"- แปลทุกประโยคตามลำดับเดิม ห้ามสรุป ห้ามตัด ห้ามข้าม และห้ามเพิ่มข้อมูลใหม่\n"
"- คัดลอก protected tokens ตามต้นฉบับให้ครบทุกตัวอักษร: เลขทุกชุด เลข 0 นำหน้า เลขฉบับ เลขมาตรา เลขคดี วันที่ เวลา จำนวนเงิน เปอร์เซ็นต์ เบอร์โทร IP เวอร์ชัน CVE/CWE URL อีเมล hash path ชื่อไฟล์ และรหัสสินค้า\n"
"- ห้ามเปลี่ยนรูปเลขหรือรหัส ห้ามรวม/แยกเลขเอง และห้ามเปลี่ยนเครื่องหมายคั่นในรหัส เช่น -, /, ., :, _, (), []\n"
"- คงรูปชื่อเฉพาะ ชื่อบุคคล ชื่อหน่วยงาน ชื่อผลิตภัณฑ์ คำอังกฤษ ตัวย่อ รหัส CVE เลข วันที่ เวลา จำนวนเงิน เปอร์เซ็นต์ URL อีเมล และข้อกฎหมายให้ตรงต้นฉบับหรือคำแปลอ้างอิง\n"
"- ห้ามเดาหรือเปลี่ยนสะกดชื่อเฉพาะเป็นคำใกล้เสียง หากไม่มั่นใจให้ถอดตามต้นฉบับอย่างระมัดระวัง\n"
"- คำกฎหมาย/ราชการ เช่น มาตรา พ.ร.บ. พ.ร.ก. ศาลฎีกา เพิกถอน ฝากขังผัดแรก และจำนวนกรรม ให้รักษาความหมายเดิม\n"
"- ก่อนตอบให้ตรวจว่าเลข/รหัส/URL/อีเมล/ชื่ออังกฤษจากต้นฉบับยังอยู่ครบในคำแปล แต่ไม่ต้องแสดงขั้นตอนตรวจ\n"
"- ตอบเฉพาะคำแปลภาษาไทยเท่านั้น\n\n"
"### ภาษาลาว\n"
"{source_text}\n\n"
"### ภาษาไทย\n"
)
messages = [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": USER_PROMPT_TEMPLATE.format(source_text=lao_text)},
]
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False,
)
If your GGUF runtime needs the rendered prompt directly, keep this structure:
<|im_start|>system
You are a professional Lao-Thai translator. Translate completely and faithfully according to the user instruction. Do not summarize, omit, reorder, or add information. Preserve protected tokens from the source exactly, including all numbers, leading zeros, dates, times, amounts, percentages, document IDs, article/case numbers, phone numbers, IP addresses, versions, CVE/CWE IDs, hashes, URLs, emails, file names, product codes, separators such as - / . : _ ( ) [ ], names, tables, bullets, and Q&A labels. Before answering, silently check that every protected token from the source is still present in the translation. Return only the translation.
<|im_end|>
<|im_start|>user
แปลภาษาลาวให้เป็นภาษาไทยแบบครบถ้วนตามต้นฉบับ
ข้อกำหนด:
- แปลทุกประโยคตามลำดับเดิม ห้ามสรุป ห้ามตัด ห้ามข้าม และห้ามเพิ่มข้อมูลใหม่
- คัดลอก protected tokens ตามต้นฉบับให้ครบทุกตัวอักษร: เลขทุกชุด เลข 0 นำหน้า เลขฉบับ เลขมาตรา เลขคดี วันที่ เวลา จำนวนเงิน เปอร์เซ็นต์ เบอร์โทร IP เวอร์ชัน CVE/CWE URL อีเมล hash path ชื่อไฟล์ และรหัสสินค้า
- ห้ามเปลี่ยนรูปเลขหรือรหัส ห้ามรวม/แยกเลขเอง และห้ามเปลี่ยนเครื่องหมายคั่นในรหัส เช่น -, /, ., :, _, (), []
- คงรูปชื่อเฉพาะ ชื่อบุคคล ชื่อหน่วยงาน ชื่อผลิตภัณฑ์ คำอังกฤษ ตัวย่อ รหัส CVE เลข วันที่ เวลา จำนวนเงิน เปอร์เซ็นต์ URL อีเมล และข้อกฎหมายให้ตรงต้นฉบับหรือคำแปลอ้างอิง
- ห้ามเดาหรือเปลี่ยนสะกดชื่อเฉพาะเป็นคำใกล้เสียง หากไม่มั่นใจให้ถอดตามต้นฉบับอย่างระมัดระวัง
- คำกฎหมาย/ราชการ เช่น มาตรา พ.ร.บ. พ.ร.ก. ศาลฎีกา เพิกถอน ฝากขังผัดแรก และจำนวนกรรม ให้รักษาความหมายเดิม
- ก่อนตอบให้ตรวจว่าเลข/รหัส/URL/อีเมล/ชื่ออังกฤษจากต้นฉบับยังอยู่ครบในคำแปล แต่ไม่ต้องแสดงขั้นตอนตรวจ
- ตอบเฉพาะคำแปลภาษาไทยเท่านั้น
### ภาษาลาว
{source_text}
### ภาษาไทย
<|im_end|>
<|im_start|>assistant
ບໍລິສັດ ABC ແຈ້ງວ່າ CVE-2026-1234 ມີຜົນກະທົບຕໍ່ version 1.2.3 ແລະໃຫ້ດາວໂຫຼດ patch ທີ່ https://example.com/patch.
บริษัท ABC แจ้งว่า CVE-2026-1234 มีผลกระทบต่อ version 1.2.3 และให้ดาวน์โหลด patch ที่ https://example.com/patch.
llama-cli \
-m qwen3.5-9b-MT-Lao-to-TH-Q6_K.gguf \
-c 8192 \
-n 4096 \
--temp 0.4 \
--top-p 0.6 \
-p "<rendered Qwen chat prompt from the Inference Prompt section>"
A ready-to-run inference notebook is included at examples/test_llama_server_inference.ipynb. The notebook was executed with a real llama-server inference output.
The notebook sends only:
system promptuser prompt templatetemperature=0.4, top_p=0.6, ctx_size=8192, max_tokens=4096, enable_thinking=falseIt does not send any reference answer or Thai answer key to the model.
Start llama-server:
llama-server \
-m qwen3.5-9b-MT-Lao-to-TH-Q6_K.gguf \
-c 8192 \
--host 127.0.0.1 \
--port 8789
Run the notebook:
jupyter notebook examples/test_llama_server_inference.ipynb
The raw /completion prompt includes the Qwen no-thinking block after the assistant header:
<|im_start|>assistant
<think>
</think>
This matches the enable_thinking=false behavior used for fine-tune/evaluation prompt rendering.