Downloads · 30 days
30
28% of all-time downloads
Ornith-1.0-397B-FP8-KoreanCoding-Expert192
gigascake/Ornith-1.0-397B-FP8-KoreanCoding-Expert192
Ornith-1.0-397B-FP8-KoreanCoding-Expert192 is a text generation model from gigascake. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
한국어+코딩 집중 구조적 전문가 가지치기 모델. VLM(이미지 인식) 전문가를 제외하고 192 슬롯을 언어(Korean/Japanese/Chinese) + 코딩에 집중 할당. 한국어 전문가 gate.weight 1.15× 부스트로 라우팅 확률 보정.
All-time downloads
107
Public
Parameters
155B
163 GB on disk
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors163 GB · 100%
Parameter types
How the weights are stored.
F8_E4M3147B · 95%
Base models
Model card
From the Hugging Face model README
Ornith-1.0-397B-FP8-KoreanCoding-Expert192
한국어+코딩 집중 구조적 전문가 가지치기 모델. VLM(이미지 인식) 전문가를 제외하고 192 슬롯을 언어(Korean/Japanese/Chinese) + 코딩에 집중 할당. 한국어 전문가 gate.weight 1.15× 부스트로 라우팅 확률 보정.
핵심 변경 (vs 이전 MultiDomain-Expert192)
| 항목 | 이전 (MultiDomain) | 이 모델 (KoreanCoding) |
|---|---|---|
| 한국어 전문가/layer | ~24 (가중치 조합) | ~52 (경량 할당) |
| 코딩 전문가/layer | ~25 (가중치 조합) | 100 (경량 할당) |
| VLM 전문가 | 포함 (76% 보존) | 제외 (언어+코딩에 재할당) |
| 한국어 라우터 부스트 | 없음 | gate.weight × 1.15 |
| 할당 방식 | 가중 결합 (soft) | 카테고리별 경량 (hard) |
전문가 할당 (레이어당 192)
| 카테고리 | 할당 | 보호 방식 |
|---|---|---|
| 🇰🇷 한국어 | top-50 (hard) | gate.weight ×1.15 부스트 |
| 🇯🇵 일본어 | top-20 (hard) | 한국어와 공유 시 부스트 |
| 💻 코딩 | top-100 (hard) | SWE-bench/HumanEval 보존 |
| 🇨🇳 중국어 | top-20 (hard) | 중국어 생성 보존 |
| 🌐 일반 | ~22 (weight_norm) | 영어/기본 추론 |
| 🖼️ VLM | 제외 | Image-to-Text 불가 |
Usage
python3 -m sglang.launch_server \
--model-path /path/to/Ornith-1.0-397B-FP8-KoreanCoding-Expert192 \
--tp 2 --trust-remote-code \
--reasoning-parser qwen3 --tool-call-parser qwen3_coder \
--max-model-len 262144 --chunked-prefill-size 8192 \
--mem-fraction-static 0.88 \
--host 0.0.0.0 --port 30000
VRAM (2× RTX PRO 6000, 192GB)
| 구분 | 용량 |
|---|---|
| 가중치 (192 experts FP8) | ~152 GB |
| 런타임 | ~13 GB |
| KV-Cache | ~27 GB (256K × 7 동시) |
Spec
- 512→192 experts (62.5%), 6×32 정렬
- Qwen3.5 MoE, Top-10 + 1 Shared, hybrid GDN+GQA
- 60 layers, 4096 hidden, 262144 context
- FP8 compressed-tensors (원본 보존, 재양자화 없음)
- VLM 미지원 (이미지 입력 불가, 텍스트 전용)
License
MIT (inherited from Ornith-1.0-397B)
- Task
- Text Generation
- Library
- transformers
- Type
- qwen3_5_moe
- License
- mit
- Languages
- ko, en, ja, zh
- Created
- Jul 4, 2026
- Updated
- Jul 4, 2026