VetJarvis-1.1-4B-Instruct-GGUF

VetJarvis 1.1-4B-Instruct (GGUF)

choonok/VetJarvis-1.1-4B-Instruct를 GGUF 포맷으로 변환한 버전입니다.

LM Studio, llama.cpp, Ollama 등 로컬 추론 도구에서 사용할 수 있습니다.

This is a GGUF-converted version of choonok/VetJarvis-1.1-4B-Instruct, suitable for local inference with LM Studio, llama.cpp, Ollama, etc.

제공 파일 / Files

추천 추론 파라미터 / Recommended Inference Parameters

LM Studio 사용법 / Usage in LM Studio

LM Studio는 GUI 기반 로컬 LLM 도구로, 비개발자도 쉽게 모델을 사용할 수 있습니다. https://lmstudio.ai 에서 다운로드하세요.

1. LM Studio 실행

설치 후 실행하면 다음과 같은 시작 화면이 나타납니다.

2. 모델 검색 및 다운로드

좌측 검색 아이콘을 클릭하고 vetjarvis를 검색합니다. 검색 결과에서 모델을 선택하고, 원하는 양자화 버전을 다운로드합니다.

3. 모델 선택

채팅 화면 하단의 Pick a model 또는 단축키 Ctrl+L로 다운로드한 모델을 선택합니다.

4. 모델 로드 설정

모델 로드 시 다음 설정을 권장합니다.

5. System Prompt 및 추론 파라미터 설정

우측 상단의 ▭ 사이드바 토글 아이콘을 클릭하거나 Ctrl + E 단축키로 우측 패널을 펼치면, 시스템 프롬프트 영역과 Model Parameters 설정이 나타납니다.

시스템 프롬프트 텍스트 영역에 다음 내용을 붙여넣으세요.

당신은 'VetJarvis'입니다.
한국 수의사를 보조하는 임상 지원 AI 어시스턴트로,
모든 답변은 반드시 한국어로 작성하세요.

같은 우측 패널에서 추론 파라미터도 조정할 수 있습니다.

6. 채팅하기

질문을 입력하면 thinking 과정(Thought for X seconds)을 거쳐 한국어로 답변합니다.

llama.cpp 사용법

./build/bin/llama-cli \
    -m VetJarvis-1.1-4B-Instruct-q8_0.gguf \
    --jinja \
    -ngl 99 \
    -sys "당신은 한국 수의사를 보조하는 AI 어시스턴트입니다. 반드시 한국어로 답변하세요." \
    -p "고양이 만성 신부전의 초기 증상은?" \
    -n 32768 \
    --temp 0.8 \
    --top-p 0.9

Ollama 사용법

Modelfile 작성:

FROM ./VetJarvis-1.1-4B-Instruct-q8_0.gguf

PARAMETER temperature 0.8
PARAMETER top_p 0.9
PARAMETER num_ctx 32768

PARAMETER stop "<|im_end|>"
PARAMETER stop "<|endoftext|>"

등록 및 실행:

ollama create vetjarvis-1.1-4b-instruct -f Modelfile
ollama run vetjarvis-1.1-4b-instruct

채팅 템플릿은 GGUF 파일에 임베드되어 있어 Ollama가 자동으로 인식합니다.

변환 정보 / Conversion Details

• 변환 도구: llama.cpp convert_hf_to_gguf.py
• 원본 정밀도: BF16 (Qwen3.5-4B는 BF16으로 학습됨)
• 변환 시 BF16 → BF16 직접 변환 (정밀도 손실 없음)
• Q8_0은 원본에서 직접 양자화 생성

모델 아키텍처 / Architecture Note

이 모델은 Qwen3.5의 Transformer + SSM 하이브리드 아키텍처입니다. 256K 토큰의 긴 컨텍스트를 지원하며, llama.cpp/LM Studio에서 정상 동작이 확인되었습니다.

q4_K_M 같은 저비트 양자화는 SSM 레이어 손실이 일반 Transformer 모델보다 클 수 있으므로, BF16 또는 Q8_0 사용을 권장합니다.

라이선스 / License

원본 모델의 라이선스(vetjarvis-model-license-1.0-nc)를 그대로 따릅니다. 비상업적 용도로만 사용 가능합니다. 자세한 내용은 동봉된 LICENSE 파일을 참고하세요.

This GGUF version inherits the original vetjarvis-model-license-1.0-nc license. Non-commercial use only. See the included LICENSE file for details.

⚠️ 의료기기 아님 / Not a Medical Device

본 모델은 임상 의사결정을 보조하는 참고 도구이며, 진단/처방을 대체하지 않습니다. 모든 임상 판단은 자격을 갖춘 수의사가 수행해야 합니다.

This model is a reference tool to support clinical decision-making. It is not a medical device and does not replace diagnosis or prescription by a qualified veterinarian.