llm-jp-4-33b-thinking-gguf

llm-jp-4-33b-thinking-GGUF

llm-jpさんが公開しているllm-jp-4-33b-thinkingのGGUFフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

llama.cpp

このモデルを使用するには、llm-jp版のllama.cppが必要です。

git clone https://github.com/llm-jp/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j

Usage

hf download mmnga-o/llm-jp-4-33b-thinking-gguf \
  llm-jp-4-33b-thinking-Q4_K_M.gguf \
  --local-dir .

./build/bin/llama-server \
  --model ./llm-jp-4-33b-thinking-Q4_K_M.gguf \
  --jinja \
  -rea on \
  --flash-attn on \
  -ngl 99 \
  --ctx-size 8192 \
  --port 8080

-nglは使用するGPUのVRAM容量に合わせて調整してください。