Downloads · 30 days
17
11% of all-time downloads
Marimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit
Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit is a text generation model from Marimonald. Use it when you need the model to write or continue text. It is set up for mlx. The card lists the license as apache-2.0.
Downloads · 30 days
17
11% of all-time downloads
All-time downloads
150
Public
Parameters
9B
5.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors5 GB · 100%
How the weights are stored.
U329B · 100%
From the Hugging Face model README
This repository provides a 4-bit quantized version of Marimonald/Ojisan-translator-v1-Qwen-3.5-9B using the MLX framework, optimized for efficient local inference on Apple Silicon Macs.
For full details regarding dataset composition, training pipeline (SFT + KTO), generation examples, and detailed license, please refer to the base model card.
Marimonald/Ojisan-translator-v1-Qwen-3.5-9BMarimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-8bitmradermacher/Ojisan-translator-v1-Qwen-3.5-9B-GGUFMarimonald/ojisan-translation-corpus-japip install -U mlx-lm
mlx_lm.generate \
--model Marimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit \
--prompt "<|im_start|>system\n入力されたテキストを、普段の日常会話で使われているような一般的なLINE風おじさん構文にスタイル変換してください。<|im_end|>\n<|im_start|>user\nゆいちゃん、お疲れ様。今日の仕事どうだった?<|im_end|>\n<|im_start|>assistant\n" \
--max-tokens 256 \
--temp 0.8
from mlx_lm import load, generate
model, tokenizer = load("Marimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit")
messages = [
{
"role": "system",
"content": "入力されたテキストを、普段の日常会話で使われているような一般的なLINE風おじさん構文にスタイル変換してください。"
},
{
"role": "user",
"content": "ゆいちゃん、お疲れ様。今日の仕事どうだった?"
}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response = generate(
model,
tokenizer,
prompt=prompt,
max_tokens=256,
temp=0.8,
verbose=True
)
This model is released under the Apache License, Version 2.0.
本リポジトリは、Apple Silicon(MシリーズMac)での高速かつ省メモリなローカル推論向けに、Marimonald/Ojisan-translator-v1-Qwen-3.5-9BをMLX形式で 4-bit 量子化したモデルです。
学習パイプライン(SFT+KTO)の詳細、プロンプト別の出力例、ライセンス規約についてはベースモデルのカードをご確認ください。
Marimonald/Ojisan-translator-v1-Qwen-3.5-9BMarimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-8bitmradermacher/Ojisan-translator-v1-Qwen-3.5-9B-GGUFMarimonald/ojisan-translation-corpus-japip install -U mlx-lm
mlx_lm.generate \
--model Marimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit \
--prompt "<|im_start|>system\n入力されたテキストを、普段の日常会話で使われているような一般的なLINE風おじさん構文にスタイル変換してください。<|im_end|>\n<|im_start|>user\nゆいちゃん、お疲れ様。今日の仕事どうだった?<|im_end|>\n<|im_start|>assistant\n" \
--max-tokens 256 \
--temp 0.8
from mlx_lm import load, generate
model, tokenizer = load("Marimonald/Ojisan-translator-v1-Qwen-3.5-9B-MLX-4bit")
messages = [
{
"role": "system",
"content": "入力されたテキストを、普段の日常会話で使われているような一般的なLINE風おじさん構文にスタイル変換してください。"
},
{
"role": "user",
"content": "ゆいちゃん、お疲れ様。今日の仕事どうだった?"
}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response = generate(
model,
tokenizer,
prompt=prompt,
max_tokens=256,
temp=0.8,
verbose=True
)
このモデルはApache License, Version 2.0のもと公開されています。