Downloads · 30 days
701
37% of all-time downloads
tokinasin/llm-jp-4-vl-9b-GGUF-v0.1
llm-jp-4-vl-9b-GGUF-v0.1 is a image-text-to-text model from tokinasin. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product.
--- - 更新履歴 - [2026-09-03] 複数ターンの会話で HTTP 500 になる問題を修正 - [2026-09-03] 複数画像入力時のタイル数上限が元実装と異なる問題を修正 - [2026-09-03] analysis 途中の <|end| 出力で HTTP 500 になる問題を修正 ---
Downloads · 30 days
701
37% of all-time downloads
All-time downloads
1.9K
Public
Repo size
79.2 GB
Likes
2
Public
Click a slice to open those files.
.gguf39.6 GB · 100%
From the Hugging Face model README
<|end|> 出力で HTTP 500 になる問題を修正[!Warning] 当リポジトリに含まれる GGUF およびパッチは非公式のものです。<br> 不具合を発見された場合は、LLM-jp ではなく、当リポジトリの Discussions にて報告をお願いいたします。
git clone --branch v0.3.0 --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
wget https://huggingface.co/tokinasin/llm-jp-4-vl-9b-GGUF-v0.1/resolve/main/llama.cpp-llmjpvl.patch
git apply --check llama.cpp-llmjpvl.patch && git apply llama.cpp-llmjpvl.patch
# パッチ適用後、お好みの方法でビルドしてください
llama-server \
-m llm-jp-4-vl-9b-Q8_0.gguf \
--mmproj mmproj-llm-jp-4-vl-9b-F16.gguf \
--chat-template-kwargs '{"reasoning_effort":"low"}' \
--jinja -c 8192
llama.cpp-llmjpvl.patch: MIT License
tools/mtmd/mtmd-image.cpp の mtmd_image_preprocessor_llmjpvl)は
llm-jp/llm-jp-4-vl-9b の processing_llmjpvl.py
(Copyright (c) 2026 LLM-jp, Apache License 2.0)の dynamic_preprocess を C++ に移植したものです。*.gguf: Apache License 2.0