Qwen2.5-0.5B-Instruct-MLX-4bit

Qwen2.5-0.5B-Instruct-MLX-4bit

This model is an MLX 4-bit quantized conversion of Qwen/Qwen2.5-0.5B-Instruct, produced with mlx-lm.

Base model

• Base: Qwen/Qwen2.5-0.5B-Instruct
• License: Apache-2.0
• Context length: 32,768 tokens
• Generation length: 8,192 tokens
• Quantization: 4-bit (group size 64, mixed 4.5 bpw)

Use with MLX-LM

pip install -U mlx-lm

mlx_lm.generate \
  --model noricha/Qwen2.5-0.5B-Instruct-MLX-4bit \
  --system-prompt "あなたは日本語で簡潔に答えるアシスタントです。" \
  --prompt "MLXモデルとは何ですか？" \
  --max-tokens 200 \
  --temp 0.7 --top-p 0.9

Use with LM Studio

LM Studio 0.3.4 以降の MLX Engine で読み込み可能です。アプリ内検索または CLI:

lms get noricha/Qwen2.5-0.5B-Instruct-MLX-4bit

Notes

• 学習目的で作成した MLX 変換モデルです。用途・制限は元モデルの Qwen2.5-0.5B-Instruct を参照してください。
• 0.5B + 4bit はサイズが小さいため、greedy 生成では反復が出やすいです。 --temp 0.7 --top-p 0.9 などのサンプリングと --system-prompt の併用を推奨します。