Qwen3-Swallow-30B-A3B-RL-v0.2-MLX-6bit

Qwen3-Swallow-30B-A3B-RL-v0.2 (MLX 6bit, verified)

東京科学大・産総研の Qwen3-Swallow-30B-A3B-RL-v0.2（日本語強化MoE、総パラメータ30B・アクティブ3B）を、公式BF16重みからMLX 6bitに変換したものです。Qwen3-Swallow-32B-RL-v0.2-MLX-4bit と同一レシピでの変換・検証です。

MoEのアクティブ3B構成のため、dense 32B版と比べ生成速度が約10倍です（下記実測）。

変換品質の検証（tokimoa）

• 日本語業務プローブ5種（要約・抽出・敬語書き換え・翻訳・論理）で正常動作を確認。同一入力の反復で出力完全一致（決定論的）
• 4bit/6bit間で全プローブの回答内容が一致（数値・結論の相違なし。言い回しの揺れのみ）
• 本モデルはRL学習済みのため、回答の前に <think>...</think> で英語の推論過程を出力します（最終回答は日本語）
• ベースがBF16学習のため、affine量子化で問題は生じません（MXFP4学習のgpt-oss系とは異なります）
• 日本語実務タスクの実測スコア（tokimoa 実務LLM評価）は次回ベンチ更新で追補予定

実測速度（M4 Max 36GB）

メモリ32GB機は4bit、48GB以上または品質重視は6bitを推奨します。

使い方

# pip install mlx-lm
from mlx_lm import load, generate

model, tokenizer = load("tokimoa/Qwen3-Swallow-30B-A3B-RL-v0.2-MLX-6bit")
messages = [{"role": "user", "content": "会議メモを3行で要約してください。..."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(generate(model, tokenizer, prompt=prompt, max_tokens=1000))

変換情報

• 変換元: tokyotech-llm/Qwen3-Swallow-30B-A3B-RL-v0.2（公式BF16、commit 138e4c4）
• 変換: mlx-lm 0.31.3 / mlx_lm convert -q --q-bits 6（group size 64）
• 変換者: tokimoa（個人変換版とは独立に、公式重みから変換）

ライセンス

Apache-2.0（元モデルに準拠）