Downloads · 30 days
17
6% of all-time downloads
qwenmythos_Version_1.0
Wuttiphong23/qwenmythos_Version_1.0
qwenmythos_Version_1.0 is a machine learning model from Wuttiphong23. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
โมเดล qwenmythosVersion1.0 ถูกพัฒนาขึ้นโดยการผสานความแข็งแกร่งด้านภาษาของ Qwen เข้ากับสถาปัตยกรรมและแนวคิดเชิงทฤษฎีจากโปรเจกต์ OpenMythos (ซึ่งเป็น Open-source ที่ถอดรหัสโครงสร้าง Recurrent-Depth ของ Claude Mythos) เพ…
All-time downloads
305
Public
Parameters
4.2B
11.1 GB on disk
Likes
1
Public
Repo makeup
Click a slice to open those files.
.safetensors8.4 GB · 76%
At a glance
- Model type
- qwen3_5_text
- Access
- Public
- Created
- May 9, 2026
- Updated
- May 19, 2026
- SHA
- e1680cd9
Spaces
Model card
From the Hugging Face model README
🧠 แนวคิดและกระบวนการพัฒนา (Methodology & Rationale)
โมเดล qwenmythos_Version_1.0 ถูกพัฒนาขึ้นโดยการผสานความแข็งแกร่งด้านภาษาของ Qwen เข้ากับสถาปัตยกรรมและแนวคิดเชิงทฤษฎีจากโปรเจกต์ OpenMythos (ซึ่งเป็น Open-source ที่ถอดรหัสโครงสร้าง Recurrent-Depth ของ Claude Mythos) เพื่อสร้างโมเดลที่มีความสามารถในการคิดวิเคราะห์เชิงลึก (Deep Reasoning) และประหยัดทรัพยากรสูงสุด
1. วิธีคิดและแนวคิดเบื้องหลัง (The Core Thinking)
การพัฒนาโมเดลนี้ไม่ได้เน้นการเพิ่มขนาดพารามิเตอร์ให้ใหญ่โต แต่เน้นการดึงศักยภาพสูงสุดผ่าน 3 แนวคิดหลักของ OpenMythos:
- Parameter Efficiency (ประสิทธิภาพเหนือขนาด): แทนที่จะต่อเลเยอร์ขึ้นไปเป็นร้อย ๆ ชั้นจนโมเดลหนักเกินไป เราใช้แนวคิด Recurrent-Depth Transformer (RDT) หรือ Looped Transformer ซึ่งเป็นการนำเลเยอร์ชุดเดิมมาประมวลผลวนซ้ำ (Recycle) หลาย ๆ รอบในการทำ Forward Pass วิธีนี้ช่วยให้โมเดลที่มีพารามิเตอร์น้อยกว่า สามารถทำประสิทธิภาพได้เทียบเท่าโมเดลขนาดใหญ่
- Systematic Generalization & Grokking: เป้าหมายคือการก้าวข้ามแค่การจำจำ (Memorization) ไปสู่จุดที่เรียกว่า Grokking ซึ่งเป็นสภาวะที่โมเดลเกิดความเข้าใจเชิงโครงสร้างอย่างกะทันหัน ทำให้โมเดลสามารถแก้ไขโจทย์เชิงตรรกะ ซอฟต์แวร์ หรือปัญหาในรูปแบบใหม่ ๆ ที่ไม่เคยพบในชุดข้อมูลเทรน (Out-of-Distribution) ได้อย่างแม่นยำ
- Continuous Latent Reasoning: การให้โมเดลมีเวลา "คิดและทบทวน" ภายในข้อความผ่าน Latent Space ด้วยการหมุนลูปซ้ำ ช่วยยกระดับการทำงานที่ซับซ้อน เช่น การวิเคราะห์ช่องโหว่ความปลอดภัย (Cybersecurity) หรือการเขียนโค้ดขั้นสูง
2. วิธีการดำเนินงานและการเทรน (How It Was Done)
กระบวนการนำองค์ความรู้จากคลังข้อมูล kyegomez/OpenMythos มาประยุกต์ใช้ มีดังนี้:
- Synthetic Data & Logic Alignment: นำรูปแบบข้อมูล แนวคิดการสร้างคลังตรรกะ และขั้นตอนแบบ Multi-Step Reasoning จาก OpenMythos มาเป็นเกณฑ์หลักในการคัดสรรและจัดฟอร์แมตชุดข้อมูลที่ใช้ Fine-tune ร่วมกับโมเดลเบส Qwen
- Recurrent Input Injection (การรักษาเสถียรภาพเชิงลึก): ในกระบวนการประมวลผลแบบวนลูป ปัญหาหลักคือข้อมูลดั้งเดิมอาจหลุดลอยหรือเกิดการผิดเพี้ยน (Drifting) เราจึงประยุกต์ใช้วิธีนำสัญญาณอินพุตเริ่มต้น (
e) ป้อนกลับเข้าไปในทุก ๆ รอบของการวนลูป เพื่อเตือนโมเดลให้ล็อกอยู่กับโจทย์หลักเสมอ - Attention Optimization: นำเทคนิคจัดการ Cache ขั้นสูงมาใช้งานร่วมด้วย เช่น Grouped-Query Attention (GQA) และ Multi-Latent Attention (MLA) เพื่อบีบอัดหน่วยความจำ (KV Cache) ทำให้สามารถประมวลผลบริบทยาว ๆ และรันลูปการคิดได้อย่างรวดเร็วบนฮาร์ดแวร์ทั่วไป
- Type
- qwen3_5_text
- Created
- May 9, 2026
- Updated
- May 19, 2026