Downloads · 30 days
6
14% of all-time downloads
Hausdorf/Qwen2.5-VL-3B-GQA-ru-QLoRA
Qwen2.5-VL-3B-GQA-ru-QLoRA is a image-text-to-text model from Hausdorf. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
LoRA-адаптер к Qwen/Qwen2.5-VL-3B-Instruct, дообученный отвечать на вопросы по изображению на русском языке одним словом (формат GQA). Применяется поверх базовой модели, загруженной в 4-bit.
Downloads · 30 days
6
14% of all-time downloads
All-time downloads
43
Public
Repo size
149 MB
Likes
0
Public
Click a slice to open those files.
.safetensors149 MB · 100%
From the Hugging Face model README
LoRA-адаптер к Qwen/Qwen2.5-VL-3B-Instruct, дообученный отвечать на вопросы по
изображению на русском языке одним словом (формат GQA). Применяется поверх
базовой модели, загруженной в 4-bit.
| ExactMatch | Relaxed | |
|---|---|---|
| Базовая Qwen2.5-VL-3B | 0.33% | 26.0% |
| С адаптером (QLoRA) | 57.0% | 57.0% |
deepvk/GQA-ru (train), 8000 примеров, 1 эпоха.import torch
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration, BitsAndBytesConfig
from peft import PeftModel
base = "Qwen/Qwen2.5-VL-3B-Instruct"
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.float16)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(base, quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(model, "Hausdorf/Qwen2.5-VL-3B-GQA-ru-QLoRA")
processor = AutoProcessor.from_pretrained(base)
msg = [{"role": "user", "content": [
{"type": "image", "image": "cat.jpg"},
{"type": "text", "text": "Что на картинке?\nОтветь одним словом."}]}]
text = processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
# дальше: inputs = processor(text=[text], images=[img], ...); model.generate(**inputs)
Модель настроена на короткий ответ одним словом; на развёрнутых вопросах ведёт себя хуже базовой. Наследует ограничения и лицензию базовой Qwen2.5-VL-3B.