Downloads · 30 days
8
8% of all-time downloads
iongyy/llava-1.5-7b-ru-vk
llava-1.5-7b-ru-vk is a image-text-to-text model from iongyy. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Англоязычная визуально-языковая модель llava-1.5-7b, дообученная на открытом русском датасете deepvk/LLaVA-Instruct-ru методом LoRA. Отвечает на вопросы по изображениям на русском языке.
Downloads · 30 days
8
8% of all-time downloads
All-time downloads
99
Public
Parameters
7.1B
14.1 GB on disk
Likes
0
Public
Click a slice to open those files.
.safetensors14.1 GB · 100%
From the Hugging Face model README
Англоязычная визуально-языковая модель llava-1.5-7b, дообученная на открытом русском датасете deepvk/LLaVA-Instruct-ru методом LoRA. Отвечает на вопросы по изображениям на русском языке.
| GQA-ru | MMBench-ru | |
|---|---|---|
| до обучения | 0.252 | 0.625 |
| после обучения | 0.319 | 0.667 |
Дообучение на русских данных VK дало значимый прирост: +6.7 п.п. на GQA-ru и +4.2 на MMBench-ru.
from transformers import AutoProcessor, LlavaForConditionalGeneration
import torch
proc = AutoProcessor.from_pretrained("iongyy/llava-1.5-7b-ru-vk")
model = LlavaForConditionalGeneration.from_pretrained("iongyy/llava-1.5-7b-ru-vk", torch_dtype=torch.float16, device_map="auto")
Источник данных: Belopolskih D., Spirin E. LLaVA-Instruct-ru (Hugging Face, 2024); Liu et al. Visual Instruction Tuning (NeurIPS 2023).