Downloads · 30 days
104
27% of all-time downloads
ssolunar/Kanana-2-1.3b-instruct-Q4_K_M-GGUF
Kanana-2-1.3b-instruct-Q4_K_M-GGUF is a text generation model from ssolunar. Use it when you need the model to write or continue text. The card lists the license as other.
Downloads · 30 days
104
27% of all-time downloads
All-time downloads
382
Public
Repo size
854 MB
Likes
0
Public
Click a slice to open those files.
.gguf854 MB · 100%
From the Hugging Face model README
Powered by Kanana
kakaocorp/kanana-2-1.3b-instruct를 llama.cpp로 Q4_K_M(4bit) GGUF 양자화한 모델입니다. 온디바이스(모바일) 추론용으로 제작되었습니다.
llama-quantize로 Q4_K_M 양자화Kanana2Tiny 아키텍처를 지원하지 않아, config의 아키텍처를 Qwen3ForCausalLM으로 매핑하여 변환함 (가중치 자체는 원본 그대로)원본의 SWA(window 1024) 레이어 배치와 YaRN rope 설정이 변환 과정에서 제거되어 전 레이어 full attention + 기본 rope로 동작합니다.
-c 4096)| 파일 | 양자화 | 크기(약) |
|---|---|---|
| Kanana-2-1.3b-instruct-Q4_K_M.gguf | Q4_K_M | ~0.85GB |
llama.cpp / Ollama / LM Studio / PocketPal 등 GGUF 호환 런타임에서 로드:
llama-cli -m Kanana-2-1.3b-instruct-Q4_K_M.gguf -cnv
Galaxy S20 FE(6GB RAM)급 기기에서 CPU 추론으로 동작 확인됨. <!-- 실측 후 tok/s 기입 -->
이 모델은 Kanana Open License Agreement의 파생 모델(Derivative Work)입니다.
Copyright © KAKAO Corp. All Rights Reserved.