warmly-qwen35-08b-enko-gguf

warmly-qwen35-08b-enko-gguf — 0.8B 온디바이스 소형 티어 (프루닝·증류 GGUF)

EN/KO 어휘 프루닝 마스터 neureps/Qwen3.5-0.8B-enko 기반. Warmly(온기) 앱의 소형 티어(저·중램 기기) 배포 모델이자 이미지 캡셔너를 담는다. 한 모델이 캡션(비전)과 댓글(텍스트)을 모두 낸다.

★ 현재 배포 — v3.1/ (2026-07-23)

소형 티어 배포 = 증류 v3c 가중치(Q4_K_M) + 페르소나 어댑터. "v3.1"은 판정 프로토콜을 새로 세운 뒤 재검증한 릴리스 라벨이다(재학습 아님 — 베이스 가중치는 v3c). base와 어댑터는 한 몸으로 배포한다.

스택 합계 ≈ 542MB.

페르소나 어댑터 방식: 본체에는 4개 캐릭터가 학습돼 있고, 5번째 캐릭터만 12.2MB 어댑터로 얹는다. llama.cpp --lora … --lora-init-without-apply로 로드한 뒤 요청별로 스케일을 토글한다 — 기존 4인은 scale 0(본체와 출력이 글자까지 동일=항등), 루이는 scale 1. 캐릭터 추가에 본체 재배포가 필요 없다.

# llama-server 기동
llama-server -m v3.1/Qwen3.5-0.8B-enko-distill-v3c-Q4_K_M-imatrix-domain.gguf \
  --mmproj Qwen3.5-0.8B-enko-mmproj-q8_0.gguf \
  --lora v3.1/louie-v3.1-f16.gguf --lora-init-without-apply

# 요청 본문에서 페르소나별 스케일 (루이=1, 그 외=0)
curl .../completion -d '{"prompt":"...", "lora":[{"id":0,"scale":1}]}'

품질(Gemma 4 12B 심사, gold144 N=144, 프로덕션 샘플링): 루이 결함율 13.2%(회상 속 지명은 캐릭터 정의라 제외). 재양자화 전(Q5_K_M 베이스) 12.5%와 동급.

파일 구조

• 루트 — 캡셔너/폴백용 base GGUF + 공용 비전 프로젝터
  • Qwen3.5-0.8B-enko-Q4_K_M.gguf (419MB, 증류 전 base 텍스트 본체)
  • Qwen3.5-0.8B-enko-mmproj-q8_0.gguf (111MB, 비전 프로젝터 — 전 버전 공용)
• v3.1/ — 현재 배포(위 참조)
• variants/ — 증류 개선 이력(아래)
• adapters/ — 페르소나 어댑터 원본 위치(louie-v1-f16.gguf, v3.1/louie-v3.1과 동일 가중치)

variants/ — 증류 개선 이력

증류 어댑터(warmly-qwen35-08b-enko-distill)를 병합·재양자화한 GGUF. imatrix는 모델 종속이라 각 병합본에서 재산출한다(캘리브레이션 = 도메인 calib.txt).

사용 시 주의

• 추론 시 enable_thinking: false 필수(안 끄면 출력이 빔).
• 캡션: llama-mtmd-cli -m <본체>.gguf --mmproj ...mmproj-q8_0.gguf --image 사진 -p "Describe..."
• 어댑터는 댓글(텍스트)에만 영향 — 캡션 경로는 본체+mmproj 그대로.

관련 리포

• 프루닝 마스터(safetensors): neureps/Qwen3.5-0.8B-enko
• 증류 어댑터: neureps/warmly-qwen35-08b-enko-distill
• 2B 프로덕션 GGUF: neureps/warmly-qwen35-2b-enko-gguf