Downloads · 30 days
5
14% of all-time downloads
lockR/vk-vlm-gqa-ru-qwen25vl-3b-lora-smoke
vk-vlm-gqa-ru-qwen25vl-3b-lora-smoke is a image-text-to-text model from lockR. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for peft.
LoRA-адаптер для Qwen/Qwen2.5-VL-3B-Instruct, обученный для проекта VK Education Vision-Language Modeling на открытых данных VK/DeepVK GQA-ru.
Downloads · 30 days
5
14% of all-time downloads
All-time downloads
37
Public
Repo size
81.9 MB
Likes
0
Public
Click a slice to open those files.
.safetensors29.5 MB · 72%
From the Hugging Face model README
LoRA-адаптер для Qwen/Qwen2.5-VL-3B-Instruct, обученный для проекта VK Education
Vision-Language Modeling на открытых данных VK/DeepVK GQA-ru.
Автор: Ибрагимов Далгат Магомедалиевич, МАИ институт 8, группа М8О-308Б-32.
Использован открытый датасет deepvk/GQA-ru из коллекции DeepVK VLM на Hugging Face. Данные
использовались как VQA: изображение, вопрос на русском языке и короткий эталонный ответ.
В smoke-обучении использовано 1 000 train и 100 validation примеров из подготовленных локальных манифестов GQA-ru.
| Параметр | Значение |
|---|---|
| Base model | Qwen/Qwen2.5-VL-3B-Instruct |
| Adapter | LoRA |
| Target modules | q_proj, k_proj, v_proj, o_proj |
| Rank / alpha / dropout | 16 / 32 / 0.05 |
| Epochs | 1.0 |
| Batch size / grad accumulation | 1 / 16 |
| Learning rate | 2e-4 |
| Precision | bf16 |
| Seed | 42 |
Training metrics:
| Metric | Value |
|---|---|
| train_loss | 0.6548236324673608 |
| eval_loss | 0.47339919209480286 |
| train_runtime_sec | 714.4626 |
| train_samples_per_second | 1.4 |
| eval_samples_per_second | 7.061 |
Официальный benchmark smoke выполнен через lmms-eval на задаче gqa-ru:
| Модель | Samples | ExactMatch |
|---|---|---|
Qwen/Qwen2.5-VL-3B-Instruct | 100 | 0.39 |
| LoRA adapter | 100 | 0.48 |
Улучшение: +0.09 ExactMatch absolute, +23.1% relative.
Ограничение: использован lmms-eval --limit 100, поэтому это bounded official-task smoke, а не
полный leaderboard score.
from peft import PeftModel
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
base = "Qwen/Qwen2.5-VL-3B-Instruct"
adapter = "lockR/vk-vlm-gqa-ru-qwen25vl-3b-lora-smoke"
processor = AutoProcessor.from_pretrained(base, trust_remote_code=True)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(base, trust_remote_code=True)
model = PeftModel.from_pretrained(model, adapter)