NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx

NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx

English | 日本語 (Japanese follows below)

Note: This model requires manual fixes to config.json and tokenizer_config.json after conversion. See Conversion Notes / 変換時の注意事項 for details. 変換後に config.json と tokenizer_config.json の手動修正が必要です。詳細は変換時の注意事項を参照してください。

⚠️ LM Studio runtime v1.5.0 / v1.6.0 users: This model fails to load with KeyError: '-'. Manually created patch required. → See LM Studio section below.

⚠️ LM Studio runtime v1.5.0 / v1.6.0 をお使いの方： このモデルは KeyError: '-' エラーでロードできません。手動で作成できるパッチが必要です。→ 下記 LM Studio セクションを参照。

---

English

Overview

This model is a full-precision (fp16) MLX format conversion of nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese, without quantization.

NVIDIA-Nemotron-Nano-9B-v2-Japanese is a hybrid Mamba-Transformer model (Nemotron-H architecture) optimized for the Japanese language. It achieves top-tier performance among sub-10B models on the Nejumi Leaderboard 4, Japan's most comprehensive LLM evaluation platform.

• Original Model: nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese
• Architecture: Nemotron-H (Mamba-2 + Transformer hybrid)
• Precision: fp16 (bfloat16, no quantization)
• Converted with: mlx-lm v0.31.0

Performance

Note on MLX inference speed: This model uses the Mamba-2 hybrid architecture (Nemotron-H), which relies on state space model (SSM) computations instead of standard attention. On CUDA (NVIDIA GPUs), SSM operations are highly optimized, giving Nemotron-H a significant speed advantage. However, on Apple Silicon via MLX, SSM kernels are not yet as optimized as attention-based operations, resulting in slower token generation than comparably-sized Transformer models. NVIDIA's reported speed figures (up to 6× faster than Qwen3-8B) are CUDA-specific and should not be expected on MLX.

Tested on Apple MacBook Pro M4 Max (128GB):

Quality Evaluation

Disclaimer: The following results are based on a preliminary, limited-scope evaluation conducted by the model converter. This is not an official benchmark. Results may vary depending on hardware, software versions, and prompt conditions.

Evaluated using lm-evaluation-harness v0.4.11 on MacBook Pro M4 Max (128GB).

WikiText-2 Perplexity (lower is better — widely used standard benchmark for language modeling; full test split, 62 documents):

JCommonsenseQA Accuracy (higher is better — widely used standard benchmark for Japanese commonsense reasoning; full validation split, 1,119 questions):

Note: 4-bit passes the English perplexity threshold but shows a measurable drop in Japanese commonsense reasoning accuracy (−4.2 percentage points). For tasks requiring precise Japanese output, the 8-bit version is preferred.

Usage

mlx-lm (CLI)

pip install -U mlx-lm

mlx_lm.chat \
  --model tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx \
  --trust-remote-code

mlx-lm (Python)

from mlx_lm import load, generate

model, tokenizer = load(
    "tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx",
    tokenizer_config={"trust_remote_code": True}
)

messages = [
    {"role": "system", "content": "/no_think"},
    {"role": "user", "content": "日本の首都はどこですか？"}
]

prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

response = generate(model, tokenizer, prompt=prompt, max_tokens=512, verbose=True)

Reasoning Mode (Thinking)

This model uses reasoning traces (<think>...</think>) by default. The original NVIDIA model supports /think and /no_think system prompts to control reasoning, but on MLX (mlx-lm / LM Studio MLX backend), /no_think does not suppress reasoning traces. See the known limitation below.

⚠️ Known Limitation: /no_think on MLX (mlx-lm / LM Studio MLX backend)

/no_think does not suppress reasoning traces when running via mlx-lm or LM Studio's MLX backend. The model generates <think>...</think> traces regardless of the /no_think directive, and the output length is identical to /think mode. This is an upstream behavior — the original NVIDIA model's chat_template always inserts <think>, and /no_think is designed to be handled by the inference engine (e.g., vLLM on CUDA), not the prompt template.

Impact on LM Studio (MLX backend): The MLX backend does not separate <think> content from the response. Reasoning tokens consume the max_tokens budget, which can cause empty responses if max_tokens is too low (e.g., 1500). Set max_tokens to 4096 or higher as a workaround.

GGUF format is not affected — LM Studio's llama.cpp backend correctly separates reasoning content from response content.

LM Studio

⚠️ LM Studio v1.5.0/v1.6.0 Known Issue: All Nemotron 9B series models fail to load with KeyError: '-' in LM Studio v1.5.0. This is a LM Studio bug, not a model issue. v1.4.0 and earlier work without any patch. The Japanese MLX versions published by tocchitocchi have been verified working on v1.5.0 with the patches below.

Three files need to be patched under LM Studio's bundled Python packages. Apply once, then restart LM Studio.

Target directory:

~/.cache/lm-studio/extensions/backends/vendor/_amphibian/
app-mlx-generate-mac14-arm64@21/lib/python3.11/site-packages/

Patch 1 — transformers/models/nemotron_h/configuration_nemotron_h.py → _pattern_to_list:

Find:

pattern_mapping = {"M": "mamba", "E": "moe", "*": "attention"}
return [pattern_mapping[char] for char in pattern]

Replace with:

pattern_mapping = {"M": "mamba", "E": "moe", "*": "attention", "-": "mlp"}
return [pattern_mapping[char] for char in pattern if char in pattern_mapping]

Patch 2 — transformers/configuration_utils.py → ALLOWED_LAYER_TYPES:

Add "mlp" to the tuple:

ALLOWED_LAYER_TYPES = (
    ...
    "moe",  # for nemotron_h
    "mlp",  # for nemotron_h 9B which uses mlp layers
)

Patch 3 — transformers/models/nemotron_h/configuration_nemotron_h.py → valid_types (2 locations):

Find both occurrences of:

valid_types = {"mamba", "attention", "moe"}

Replace with:

valid_types = {"mamba", "attention", "moe", "mlp"}

See also: lmstudio-bug-tracker Issue #1774

Place the model files under:

~/.cache/lm-studio/models/<username>/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx/

Conversion Notes

The model files in this repository are already fixed and ready to use. The following instructions are only for those who want to convert the original model themselves.

Important: When converting this model from the original safetensors using mlx_lm.convert, two manual fixes are required after conversion. Without these fixes, the model will produce broken output.

1. Replace tokenizer_config.json

The conversion process generates a simplified tokenizer_config.json with "tokenizer_class": "TokenizersBackend", which is incorrect. Replace it with the original from NVIDIA:

cp <path-to-original-nvidia-model>/tokenizer_config.json <path-to-converted-mlx-model>/

2. Fix config.json

Three changes are needed in config.json:

Fix script:

import json

with open('config.json') as f:
    cfg = json.load(f)

cfg['torch_dtype'] = 'bfloat16'
if 'dtype' in cfg:
    del cfg['dtype']

for key in ['quantization', 'quantization_config']:
    if 'mode' in cfg.get(key, {}):
        del cfg[key]['mode']

cfg['time_step_limit'] = [0.0, float('inf')]

with open('config.json', 'w') as f:
    json.dump(cfg, f, indent=4)

Conversion Environment

Other Quantizations

• 4-bit: tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-4bit-mlx
• 8-bit: tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-8bit-mlx

License

This model inherits the NVIDIA Nemotron Open Model License.

---

日本語

概要

nvidia/NVIDIA-Nemotron-Nano-9B-v2-JapaneseをMLX形式に変換したモデルです。量子化なし（fp16/bfloat16）のフル精度版です。

NVIDIA-Nemotron-Nano-9B-v2-Japaneseは、日本語に最適化されたMamba-Transformerハイブリッドモデル（Nemotron-Hアーキテクチャ）です。日本で最も包括的なLLM評価プラットフォームであるNejumi Leaderboard 4において、10B未満のモデルカテゴリでトップクラスの性能を達成しています。

• 元モデル: nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese
• アーキテクチャ: Nemotron-H（Mamba-2 + Transformer ハイブリッド）
• 精度: fp16（bfloat16、量子化なし）
• 変換ツール: mlx-lm v0.31.0

パフォーマンス

MLXでの推論速度について: このモデルはMamba-2ハイブリッドアーキテクチャ（Nemotron-H）を採用しており、通常のAttentionではなくState Space Model（SSM）演算を使用しています。CUDA（NVIDIA GPU）環境ではSSM演算が高度に最適化されているため大きな速度優位性がありますが、Apple SiliconのMLXではSSMカーネルの最適化がAttentionベースの演算ほど進んでおらず、同規模のTransformerモデルより生成速度が遅くなります。NVIDIAが公表している速度数値（Qwen3-8B比最大6倍）はCUDA環境での結果であり、MLX環境では期待できません。

Apple MacBook Pro M4 Max（128GB）での測定結果：

品質評価

免責事項: 以下の結果は、モデル変換者による予備的・限定的な評価に基づいています。公式ベンチマークではありません。ハードウェア・ソフトウェアバージョン・プロンプト条件によって結果は異なる場合があります。

lm-evaluation-harness v0.4.11を使用し、MacBook Pro M4 Max（128GB）で評価。

WikiText-2 Perplexity（低いほど良い — 言語モデル評価で広く使われている標準ベンチマーク。テスト分割全62件）:

JCommonsenseQA 正答率（高いほど良い — 日本語常識推論の標準ベンチマーク。検証分割全1,119問）:

注意: 4bitは英語のperplexityは許容範囲内ですが、日本語常識推論の正答率が4.2ポイント低下します。日本語の正確さが重要な用途では8bit版を推奨します。

使用方法

mlx-lm（CLI）

pip install -U mlx-lm

mlx_lm.chat \
  --model tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx \
  --trust-remote-code

mlx-lm（Python）

from mlx_lm import load, generate

model, tokenizer = load(
    "tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx",
    tokenizer_config={"trust_remote_code": True}
)

messages = [
    {"role": "system", "content": "/no_think"},
    {"role": "user", "content": "日本の首都はどこですか？"}
]

prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

response = generate(model, tokenizer, prompt=prompt, max_tokens=512, verbose=True)

推論モード（Thinking）

このモデルはデフォルトで推論トレース（<think>...</think>）を生成します。NVIDIAオリジナルモデルは /think と /no_think システムプロンプトによる制御をサポートしていますが、MLX環境（mlx-lm / LM Studio MLXバックエンド）では /no_think は推論トレースを抑制しません。 下記の既知の制限を参照してください。

⚠️ 既知の制限: MLX環境での /no_think（mlx-lm / LM Studio MLXバックエンド）

mlx-lmまたはLM StudioのMLXバックエンド経由で実行した場合、/no_think は推論トレースを抑制しません。/no_think を指定しても /think と同じ長さの <think>...</think> トレースが生成されます。これは上流の仕様であり、NVIDIAオリジナルモデルの chat_template が常に <think> を挿入する設計になっているためです。/no_think の制御は推論エンジン（CUDA上のvLLM等）側で行われる想定であり、プロンプトテンプレートでは制御されません。

LM Studio（MLXバックエンド）への影響: MLXバックエンドはレスポンス内の <think> を分離しないため、推論トークンが max_tokens の予算を消費します。max_tokens が小さい値（例: 1500）の場合、レスポンスが空になることがあります。回避策として max_tokens を 4096 以上に設定してください。

GGUF形式ではこの問題は発生しません — LM Studioのllama.cppバックエンドは推論内容とレスポンス本文を正しく分離します。

LM Studio

⚠️ LM Studio v1.5.0/1.6.0 既知の問題: Nemotron 9B系モデル全般が、LM Studio v1.5.0 で KeyError: '-' エラーによりロードできません。モデルの問題ではなく、LM Studio 側のバグです。v1.4.0 以前はパッチなしで動作します。tocchitocchi が公開している日本語版 MLX モデルは、以下のパッチを適用することで v1.5.0 での動作を確認済みです。

3つのファイルにパッチを適用する必要があります。 1回実行すれば完了です。パッチ適用後、LM Studio を再起動してください。

対象ディレクトリ：

~/.cache/lm-studio/extensions/backends/vendor/_amphibian/
app-mlx-generate-mac14-arm64@21/lib/python3.11/site-packages/

パッチ 1 — transformers/models/nemotron_h/configuration_nemotron_h.py → _pattern_to_list：

以下を見つけて：

pattern_mapping = {"M": "mamba", "E": "moe", "*": "attention"}
return [pattern_mapping[char] for char in pattern]

次のように変更：

pattern_mapping = {"M": "mamba", "E": "moe", "*": "attention", "-": "mlp"}
return [pattern_mapping[char] for char in pattern if char in pattern_mapping]

パッチ 2 — transformers/configuration_utils.py → ALLOWED_LAYER_TYPES：

タプルに "mlp" を追加：

ALLOWED_LAYER_TYPES = (
    ...
    "moe",  # for nemotron_h
    "mlp",  # for nemotron_h 9B which uses mlp layers
)

パッチ 3 — transformers/models/nemotron_h/configuration_nemotron_h.py → valid_types（2箇所）：

以下の記述を2箇所とも：

valid_types = {"mamba", "attention", "moe"}

次のように変更：

valid_types = {"mamba", "attention", "moe", "mlp"}

参考: lmstudio-bug-tracker Issue #1774

以下のディレクトリにモデルファイルを配置してください：

~/.cache/lm-studio/models/<ユーザー名>/NVIDIA-Nemotron-Nano-9B-v2-Japanese-fp16-mlx/

変換時の注意事項

本リポジトリのモデルファイルは修正済みで、そのまま使用できます。 以下の手順は、元のモデルを自分で変換する場合にのみ必要です。

重要: mlx_lm.convertで元のsafetensorsモデルから変換した場合、変換後に2つのファイルの手動修正が必須です。修正しないとモデルが正常に動作しません。

1. tokenizer_config.json の置き換え

変換時に生成されるtokenizer_config.jsonは簡略化されており、"tokenizer_class": "TokenizersBackend"という不正な値が設定されます。元のNVIDIA公式モデルのファイルで上書きしてください：

cp <元のNVIDIAモデルのパス>/tokenizer_config.json <変換後のMLXモデルのパス>/

2. config.json の修正

config.jsonに3箇所の修正が必要です：

修正スクリプト：

import json

with open('config.json') as f:
    cfg = json.load(f)

cfg['torch_dtype'] = 'bfloat16'
if 'dtype' in cfg:
    del cfg['dtype']

for key in ['quantization', 'quantization_config']:
    if 'mode' in cfg.get(key, {}):
        del cfg[key]['mode']

cfg['time_step_limit'] = [0.0, float('inf')]

with open('config.json', 'w') as f:
    json.dump(cfg, f, indent=4)

変換環境

他の量子化バージョン

• 4bit版: tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-4bit-mlx
• 8bit版: tocchitocchi/NVIDIA-Nemotron-Nano-9B-v2-Japanese-8bit-mlx

ライセンス

本モデルはNVIDIA Nemotron Open Model Licenseに基づいて提供されます。