Downloads · 30 days
582
13% of all-time downloads
augustine223/Qwen3.6-35B-A3B-KO-i1-GGUF
Qwen3.6-35B-A3B-KO-i1-GGUF is a machine learning model from augustine223. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for llama.cpp. The card lists the license as apache-2.0.
한국어 중심 코퍼스로 보정한 imatrix 양자화 — kanana-1.5 KO-i1에 이은 2차 릴리스.
Downloads · 30 days
582
13% of all-time downloads
All-time downloads
4.5K
Public
Repo size
175 GB
Likes
0
Public
Click a slice to open those files.
.gguf175 GB · 100%
From the Hugging Face model README
한국어 중심 코퍼스로 보정한 imatrix 양자화 — kanana-1.5 KO-i1에 이은 2차 릴리스.
기존 공개 양자화들은 영어 위주 코퍼스로 importance matrix를 생성합니다. 이 릴리스는 한국어 79% / 영어+코드 21% 코퍼스(위키백과 111편, 퍼블릭 도메인 문학 191편, 허용 라이선스 대화 데이터 6종, 영어/코드 — 1차 릴리스와 동일)로 보정했습니다.
augustine223 → 이 모델 선택IQ3_M, 32GB면 IQ4_XS(추천), 48GB+면 Q5_K_M터미널이 편하다면 한 줄:
ollama run hf.co/augustine223/Qwen3.6-35B-A3B-KO-i1-GGUF:IQ4_XS
상세 가이드(KoboldCpp/llama.cpp 포함): 실행 가이드
보정 언어 효과 (영어 보정 mradermacher i1 대비):
| 타입 | 이 릴리스 (한국어 보정) | 영어 보정 (mradermacher i1) | ΔKLD | 유의성 |
|---|---|---|---|---|
| Q4_K_M | 0.02320 | 0.02445 | -5.1% | 2.3σ |
| IQ4_XS | 0.02890 | 0.03058 | -5.5% | 2.3σ |
| IQ3_M | 0.07045 | 0.07194 | -2.1% | 1.0σ |
| IQ3_XXS | 0.11155 | 0.11963 | -6.8% | 3.6σ |
| IQ2_M | 0.20487 | 0.21951 | -6.7% | 4.3σ |
정직한 요약: IQ3_M을 제외한 전 타입에서 통계적으로 유의한 이득(2.3~4.3σ)이며, 저비트일수록 커집니다(IQ2_M -6.7%, 4.3σ). kanana 1차 릴리스와 달리 4비트에서도 유의한 차이가 관측됐습니다. (비교 대상과는 보정 코퍼스 외에 레시피 세부도 다를 수 있어 ΔKLD 전부가 보정 언어 효과만은 아닐 수 있습니다.)
우리 사다리 전체 (기준 PPL 8.5328):
| 파일 | 크기 | 한국어 KLD | Same-top | 권장 용도 |
|---|---|---|---|---|
| KO-i1-Q8_0 | 36GB | 0.00446 | 96.8% | 사실상 무손실 |
| KO-i1-Q6_K | 28GB | 0.00987 | 94.8% | 고품질 |
| KO-i1-Q5_K_M | 24GB | 0.01185 | 94.3% | 균형 |
| KO-i1-Q4_K_M | 21GB | 0.02320 | 91.9% | 표준 권장 |
| KO-i1-IQ4_XS | 18GB | 0.02890 | 91.6% | 32GB 통합메모리 스윗스팟 |
| KO-i1-IQ3_M | 15GB | 0.07045 | 86.1% | 저메모리 |
| KO-i1-IQ3_XXS | 14GB | 0.11155 | 83.3% | |
| KO-i1-IQ2_M | 12GB | 0.20487 | 78.0% | 극한 압축 |
Qwen3.6-35B-A3B.imatrix.gguf(184MB)도 동봉 — 다른 타입을 직접 만들 수 있습니다.
-c 512 동일mtp-Qwen3.6-35B-A3B GGUF를 -md로 지정하세요.llama-server -m Qwen3.6-35B-A3B.KO-i1-IQ4_XS.gguf -ngl 99 -c 32768 --jinja -fa on
RDNA3.5 APU(890M 등) Vulkan 사용자 주의: 이 모델은 -b 1024 -ub 1024가 필수입니다
(기본 배치에서 크래시, llama.cpp #22425). 통합메모리 기기에서는 --no-mmap 권장.
원본 모델 Apache 2.0 (Alibaba/Qwen). 이 양자화판도 Apache 2.0. 보정 코퍼스 출처: 전부 PD / CC BY / CC BY-SA / Apache / MIT / KOGL-1 (문서화됨).
이 모델은 있는 그대로(as-is) 제공됩니다. 생성된 출력과 그 사용으로 발생하는 모든 결과에 대한 책임은 전적으로 사용자에게 귀속되며, 사용자는 자신의 관할지 법률과 원본 모델 라이선스를 준수할 책임이 있습니다.
Provided as-is. All responsibility for generated outputs and any consequences of use rests solely with the user, who must comply with applicable laws and the base model's license.