Downloads · 30 days
24
3% of all-time downloads
Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4
K-EXAONE-152B-A23B-REAP-80E-NVFP4 is a text generation model from Baekpica. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as other.
This model is an NVFP4 W4A4-quantized version of Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16, which is a REAP expert-pruned variant of LGAI-EXAONE/K-EXAONE-236B-A23B.
Downloads · 30 days
24
3% of all-time downloads
All-time downloads
760
Public
Parameters
86.9B
92 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors92 GB · 100%
How the weights are stored.
U873.7B · 84%
From the Hugging Face model README
This model is an NVFP4 W4A4-quantized version of Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16, which is a REAP expert-pruned variant of LGAI-EXAONE/K-EXAONE-236B-A23B.
The parent model was pruned from 128 to 80 routed experts per MoE layer while preserving 23B active parameters. This repository further compresses the pruned model using NVFP4 quantization.
The model was produced primarily for single-device serving on GB10-class systems with 128GB of unified memory, such as NVIDIA DGX Spark.
Approximate serialized model sizes:
These figures describe approximate serialized weight sizes rather than total runtime memory usage. Actual serving memory also depends on KV cache allocation, context length, CUDA graphs, kernel workspaces, and other runtime overhead.
llmcompressor 0.12.1.dev61+gc8676eddcompressed-tensors 0.17.2.a20260707QuantizationModifier(targets="Linear", scheme="NVFP4")Linear modulesLinear granularitylm_headmlp.gateBoth the pruning and quantization stages used calibration mixtures containing Korean data, reasoning traces, tool-use examples, and long-context samples. This was intended to reduce the risk of repetitive generation or non-terminating reasoning behavior after compression.
A vLLM build with support for exaone_moe, NVFP4 compressed-tensors models, and the target
Blackwell platform is required.
vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
--reasoning-parser deepseek_v3 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
On supported Blackwell platforms, the FlashInfer FP4 MoE kernel can be enabled with:
export VLLM_USE_FLASHINFER_MOE_FP4=1
vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
--reasoning-parser deepseek_v3 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
Recommended sampling parameters:
temperature=1.0
top_p=0.95
presence_penalty=0.0
The BF16 MTP weights are included, allowing the model to use MTP-based self-speculative decoding.
The maximum practical context length on a 128GB system depends on the KV-cache dtype, concurrency, CUDA graph configuration, and other runtime memory allocations.
This project began mostly as a hobby.
K-EXAONE has received relatively little attention from the open-model community, and few derivative models have appeared around it. I wanted to see whether pruning and quantization could bring the model somewhat closer to the range accessible to prosumers, small laboratories, and independent developers with high-end but non-datacenter hardware.
K-EXAONE-236B-A23B occupies a difficult position. It is too large for most local users, while users with enough infrastructure to serve it may also consider newer and substantially larger open models. Meanwhile, smaller model segments already contain highly competitive and accessible alternatives.
This project does not resolve that positioning problem, and a 152B model remains large even after NVFP4 quantization. It is simply an attempt to narrow the accessibility gap enough that more people can download, serve, and evaluate the model directly.
There is also a practical motivation. In enterprise and public-sector environments, model selection may be constrained by data-transfer restrictions, isolated-network requirements, security and compliance policies, licensing, model provenance, supply-chain considerations, and the ability to operate a model independently.
These constraints do not automatically make a domestic model the best choice. Performance, cost, reliability, licensing, and maintainability must still be evaluated objectively. However, having more technically viable options is valuable.
This model is distributed under the same K-EXAONE AI Model License as the original
model. See the included LICENSE file for the complete terms.
The repository name begins with K-EXAONE in accordance with the naming requirement in the
original license.
이 모델은 Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16을 NVFP4 W4A4 형식으로 양자화한 모델입니다.
부모 모델은 LGAI-EXAONE/K-EXAONE-236B-A23B에 REAP expert pruning을 적용해, 각 MoE 레이어의 routed expert를 128개에서 80개로 줄인 모델입니다. 활성 파라미터는 기존과 동일한 23B를 유지합니다.
이 저장소에서는 해당 pruning 모델을 NVFP4로 추가 압축했습니다.
주요 제작 목표는 NVIDIA DGX Spark와 같은 128GB 통합 메모리 기반 GB10급 시스템에서의 단일 디바이스 서빙입니다.
대략적인 직렬화 모델 크기는 다음과 같습니다.
위 수치는 대략적인 가중치 파일 크기이며, 전체 런타임 메모리 사용량을 의미하지 않습니다. 실제 서빙 시에는 KV cache, context length, CUDA graph, 커널 workspace 등의 추가 메모리가 필요합니다.
llmcompressor 0.12.1.dev61+gc8676eddcompressed-tensors 0.17.2.a20260707QuantizationModifier(targets="Linear", scheme="NVFP4")Linear 모듈로 표현Linear 단위로 양자화lm_headmlp.gate를 포함한 router 모듈Pruning과 양자화 두 단계 모두 한국어 데이터, reasoning trace, tool-use 예시, long-context 샘플을 포함한 calibration mixture를 사용했습니다. 이는 압축 이후 반복 생성 또는 종료되지 않는 reasoning 동작이 발생할 가능성을 줄이기 위한 구성입니다.
exaone_moe, NVFP4 compressed-tensors 모델 및 대상 Blackwell 플랫폼을 지원하는
vLLM 빌드가 필요합니다.
vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
--reasoning-parser deepseek_v3 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
지원되는 Blackwell 플랫폼에서는 다음 환경변수로 FlashInfer FP4 MoE 커널을 활성화할 수 있습니다.
export VLLM_USE_FLASHINFER_MOE_FP4=1
vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
--reasoning-parser deepseek_v3 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
권장 sampling parameter:
temperature=1.0
top_p=0.95
presence_penalty=0.0
BF16 MTP 가중치가 포함되어 있어 MTP 기반 self-speculative decoding을 사용할 수 있습니다.
128GB 시스템에서 실제로 사용할 수 있는 최대 context length는 KV-cache dtype, 동시 요청 수, CUDA graph 설정 및 기타 런타임 메모리 할당에 따라 달라집니다.
이 프로젝트는 대부분 취미에서 시작했습니다.
K-EXAONE은 오픈 모델 커뮤니티에서 상대적으로 관심이 적었고, 이를 활용한 파생 모델도 많지 않았습니다. Pruning과 양자화를 통해 이 모델을 고사양 개인 사용자, 소규모 연구실, 독립 개발자가 실험할 수 있는 범위에 조금 더 가깝게 가져올 수 있는지 확인해 보고 싶었습니다.
K-EXAONE-236B-A23B의 포지션은 다소 애매합니다. 일반적인 로컬 사용자에게는 너무
크지만, 이를 서빙할 수 있는 인프라를 갖춘 사용자라면 더 최신이거나 훨씬 큰 오픈
모델도 함께 검토할 수 있습니다. 반면 더 작은 모델 구간에는 이미 성능과 접근성이
뛰어난 강력한 선택지들이 존재합니다. (Qwen이라던가..Qwen이라던가..)
이 프로젝트가 그러한 포지셔닝 문제를 해결한다고 생각하지는 않습니다. NVFP4로 양자화하더라도 152B 모델은 여전히 큽니다. 다만 접근성의 간극을 조금 줄여 더 많은 사람이 모델을 직접 내려받고, 서빙하고, 특성을 확인할 수 있도록 해보는 실험에 가깝습니다.
기업과 공공 영역에서는 모델 선택이 성능만으로 결정되지 않는다는 현실적인 이유도 있습니다. 데이터 반출 제한, 폐쇄망 구축 요구사항, 보안 및 컴플라이언스 정책, 라이선스, 모델 원산지와 공급망, 독립적인 운영 가능성 등이 함께 고려될 수 있습니다.
이러한 조건이 국내 모델을 자동으로 더 나은 선택지로 만드는 것은 아닙니다. 성능, 비용, 신뢰성, 라이선스, 유지보수 가능성은 여전히 객관적으로 평가해야 합니다. 다만 기술적으로 검토할 수 있는 선택지가 더 많이 존재하는 것에는 가치가 있다고 생각합니다.
역시 난 비주류야 킥킥
이 모델은 원본 모델과 동일한 K-EXAONE AI Model License를 따릅니다. 전체
조건은 동봉된 LICENSE 파일을 확인하십시오.
원본 라이선스의 명명 요건을 준수하기 위해 저장소 이름은 K-EXAONE으로
시작합니다.