Downloads · 30 days
7
9% of all-time downloads
OpenKLO/kokolok-2.0-Vision
kokolok-2.0-Vision is a image-text-to-text model from OpenKLO. Use it for the image-text-to-text task on the model card, and read the license before you ship it in a product. It is set up for peft. The card lists the license as apache-2.0.
kokolok-2.0-Vision — мультимодальный комбайн нового поколения, сочетающий в себе анализ изображений, кодинг, работу с документами и интеграцию со скоростным генератором артов SDXL Lightning.
Downloads · 30 days
7
9% of all-time downloads
All-time downloads
75
Public
Repo size
20.2 MB
Likes
1
Public
Click a slice to open those files.
.json11.4 MB · 100%
From the Hugging Face model README
kokolok-2.0-Vision — мультимодальный комбайн нового поколения, сочетающий в себе анализ изображений, кодинг, работу с документами и интеграцию со скоростным генератором артов SDXL Lightning.
import torch
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
BASE_MODEL = "Qwen/Qwen2-VL-2B-Instruct"
LORA_MODEL = "OpenKLO/kokolok-2.0-Vision"
processor = AutoProcessor.from_pretrained(BASE_MODEL)
base_model = Qwen2VLForConditionalGeneration.from_pretrained(
BASE_MODEL,
torch_dtype=torch.float16,
device_map="cuda"
)
model = PeftModel.from_pretrained(base_model, LORA_MODEL)