Downloads · 30 days
47
22% of all-time downloads
yoikoarmor/yoiko-img-prompt-gen-qwen2.5-7b-instruct-Q4_K_M
yoiko-img-prompt-gen-qwen2.5-7b-instruct-Q4_K_M is a text generation model from yoikoarmor. Use it when you need the model to write or continue text. It is set up for llama.cpp. The card lists the license as apache-2.0.
Qwen/Qwen2.5-7B-Instruct をベースに、画像生成向けプロンプト生成用LoRAをマージし、llama.cpp向けにGGUF Q4KM量子化したモデルです。
Downloads · 30 days
47
22% of all-time downloads
All-time downloads
214
Public
Repo size
4.7 GB
Likes
0
Public
Click a slice to open those files.
.gguf4.7 GB · 100%
From the Hugging Face model README
Qwen/Qwen2.5-7B-Instruct をベースに、画像生成向けプロンプト生成用LoRAをマージし、llama.cpp向けにGGUF Q4_K_M量子化したモデルです。
このモデルは汎用チャット用途ではなく、短い日本語または英語の入力を Stable Diffusion などで使いやすい positive prompt へ整える用途を想定しています。今回のGPUベンチでは、Q4_K_M版3モデルの中で最速でした。
| file | quantization | size | sha256 |
|---|---|---|---|
yoiko-img-prompt-gen-qwen2.5-7b-instruct-Q4_K_M.gguf | Q4_K_M | 4.361 GB | b5b75a12c84773817b81b2ed117ce70bcff99f8d1b020f281b8723e594cecd7f |
Qwen/Qwen2.5-7B-Instructyoikoarmor/yoiko-Qwen2.5-7B-Instruct-lorallama-cli -m yoiko-img-prompt-gen-qwen2.5-7b-instruct-Q4_K_M.gguf ^
-p "女性、高身長、ビジネススーツ、刀、赤と青の目とバラ、強者" ^
-n 128 -c 1024 -ngl 999 --temp 0.7
-ngl 999 はGPUへ可能な限りoffloadする設定です。CPUだけで使う場合は -ngl 0 にしてください。
llama.cpp b9605, RTX 5090, -ngl 999, p16/tg8:
| backend | prompt eval | token generation |
|---|---|---|
| CPU | 112.21 t/s | 12.16 t/s |
| CUDA | 1947.38 t/s | 207.85 t/s |
This is a GGUF Q4_K_M quantization of a LoRA-merged Qwen/Qwen2.5-7B-Instruct model for image prompt generation. It is intended to rewrite short Japanese or English inputs into Stable Diffusion-style positive prompts.