llm-jp-4-32b-a3b-thinking-mlx-nvfp4-mixed

Maji001/llm-jp-4-32b-a3b-thinking-mlx-nvfp4-mixed

このモデル Maji001/llm-jp-4-32b-a3b-thinking-mlx-nvfp4-mixed は、 llm-jp/llm-jp-4-32b-a3b-thinking から mlx-lm バージョン 0.31.1 を用いて MLX 形式に変換されたものです。

mlx での利用

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("Maji001/llm-jp-4-32b-a3b-thinking-mlx-mixed-v3")

prompt = "hello"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, return_dict=False,
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

---

量子化

このモデルは混合精度の量子化スキームを採用しており、テンソルグループごとに異なるビット幅／フォーマットを割り当てることでサイズと品質のバランスを取っています：

MoE のルーティングゲートと down-projection の精度は比較的高く保たれており、ルーティング誤差を最小化し出力品質を維持する一方で、Attention の Q/K/O 射影とほとんどの FFN 重みは NVFP4（4ビット）に積極的に量子化され、フットプリントを削減しています。結果として得られるチェックポイントは約 17GB です。

---

評価

このモデルは Japanese MT-Bench（80問、単一回答採点、gpt-5.4-2026-03-05 ジャッジ）で評価されました。

注記: 公式スコア[^1]（BF16 / Q4_K_M）は 3回の評価実行の平均です。このモデルのスコアは単一実行によるものであり、実行ごとのばらつき（ジャッジ採点のノイズ、サンプリングのランダム性など）が大きい可能性があります。直接比較は近似として扱ってください。

Q4_K_M GGUF 量子化版よりも小さいサイズであるにもかかわらず、この混合精度 MLX 変換版は、特にマルチターン（2ターン目）の指示追従において競争力のある品質を維持しています。

ライセンスと帰属

このモデルは、LLM-jpプロジェクトによって開発された llm-jp/llm-jp-4-32b-a3b-thinking の派生モデルであり、ベースモデルのライセンスと同様に Apache License 2.0 の下で配布されています。 これは非公式の独立した量子化変換であり、LLM-jpプロジェクトとは無関係であり、承認も受けていません。

参考文献

[^1] llm-jp, "LLM-jp-4 Thinking モデルの量子化版の公開", llm-jp Blog, https://llm-jp.nii.ac.jp/blog/llm-jp-4-thinking-quantization/