Downloads · 30 days
0
0% of all-time downloads
voxtral-mini-3b-2507-mlx
NeoRoth/voxtral-mini-3b-2507-mlx
voxtral-mini-3b-2507-mlx is a automatic speech recognition model from NeoRoth. Use it when you need speech turned into text. It is set up for mlx. The card lists the license as apache-2.0.
Quantifications MLX de Voxtral-Mini-3B-2507 pour Apple Silicon, basées sur les poids BF16 de mlx-community/Voxtral-Mini-3B-2507-bf16.
All-time downloads
26
Public
Repo size
36.2 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors21.2 GB · 100%
At a glance
- Task
- Automatic Speech Recognition
- Library
- mlx
- License
- apache-2.0
- Access
- Public
- Created
- Aug 26, 2025
- Updated
- Mar 10, 2026
- SHA
- dcf4bb5b
Base models
Model card
From the Hugging Face model README
Voxtral Mini 3B 2507 — Quantized (MLX)
Quantifications MLX de Voxtral-Mini-3B-2507 pour Apple Silicon, basées sur les poids BF16 de mlx-community/Voxtral-Mini-3B-2507-bf16.
Variantes
| Dossier | Quantification | Description |
|---|---|---|
mlx-mxfp4-mixed/ | MXFP4 mixed precision | LM=MXFP4 4-bit, encoder/projector=8-bit affine. Meilleure qualité que Q4 affine. Requiert MLX >= 0.30.0. |
mlx-q4/ | 4-bit affine | Plus compact |
mlx-q5/ | 5-bit affine | Bon compromis taille/qualité |
mlx-q6/ | 6-bit affine | Qualité élevée |
mlx-q8/ | 8-bit affine | Proche du BF16 |
Notes
- Seuls les poids d'inférence sont quantifiés.
- Les embeddings et lm_head ne sont PAS quantifiés pour préserver la qualité.
- MXFP4 (microscaling FP4) est le format natif Apple M5+ et offre de meilleures performances que la quantification affine 4-bit classique.
Usage
from mlx_lm import load, generate
model, tokenizer = load("NeoRoth/voxtral-mini-3b-2507-mlx", sub_folder="mlx-mxfp4-mixed")
Prérequis
- Apple Silicon (M1+, M5+ recommandé pour MXFP4 natif)
- MLX >= 0.30.0 (pour MXFP4)
- Python 3.11+
Licence
Apache-2.0 — voir LICENSE.txt.
Crédits
- Modèle upstream : mistralai/Voxtral-Mini-3B-2507
- Base BF16 : mlx-community/Voxtral-Mini-3B-2507-bf16
- Task
- Automatic Speech Recognition
- Library
- mlx
- License
- apache-2.0
- Languages
- fr, en, de, es, it, pt
- Created
- Aug 26, 2025
- Updated
- Mar 10, 2026