qwen3-vl-2b-ru-blueprint-extractor

<font color="red">Если вы читаете это значит модель очень сырая. И использовать ее не рекомендуется.</font>

🇷🇺 Russian Wall Length Extractor (Qwen3-VL-2B Fine-tuned)

Мультимодальная модель для извлечения длины и типа стены по строительным чертежам.

Основана на Qwen/Qwen3-VL-2B-Instruct и дообучена на задаче анализа фрагментов чертежей с выделенными красным прямоугольником объектами. Модель будет обновляться в будующем.

Модель возвращает результат строго в формате JSON.

---

🔧 Возможности

• Определение типа стены
• Определение длины стены
• Поиск длины на размерных линиях
• Попытка восстановления полной длины стены по фрагменту
• Возврат структурированного JSON
• Работа с русскоязычными строительными чертежами

---

📥 Формат входа (актуально для 4B модели)

На вход подается изображение и текстовый запрос:

Верни тип и длину выделенного красным прямоугольником элемента на плане. Тип бери из справочника типов. Если элемента нет в справочнике, верни {{}}. Если длину определить нельзя, верни length: null. Если длина найдена только после продолжения стены, заполни extended_wall. Верни в формате JSON: {{"extended_wall": {{"type": 0, "length": null}}, "walls": [{{"type": 0, "length": null}}]}}
Справочник типов: {objects_types}

где {objects_types} это {"Неизвестно": 3, "Стена_4": 9, "Окно": 0, ...}

---

📤 Формат выхода

{
  "extended_wall": {
    "type": 0,
    "length": null
  },
  "walls": [
    {
      "type": 0,
      "length": null
    }
  ]
}

Если объект не является стеной:

{}

---

🚀 Пример использования

from transformers import AutoProcessor
from transformers import AutoModelForImageTextToText
from PIL import Image
import torch

MODEL_NAME = "GreenMap/qwen3-vl-2b-ru-blueprint-extractor"

processor = AutoProcessor.from_pretrained(
    MODEL_NAME,
    trust_remote_code=True,
)

model = AutoModelForImageTextToText.from_pretrained(
    MODEL_NAME,
    trust_remote_code=True,
    dtype=torch.bfloat16,
).cuda()

image = Image.open("drawing.png").convert("RGB")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": image},
            {
                "type": "text",
                "text": (
                    "Запрос из файла."
                ),
            },
        ],
    }
]

text = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

inputs = processor(
    text=[text],
    images=[image],
    return_tensors="pt",
)

inputs = {
    k: v.cuda()
    for k, v in inputs.items()
}

with torch.no_grad():
    generated = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
    )

answer = processor.decode(
    generated[0],
    skip_special_tokens=True,
)

print(answer)

---

⚙️ Рекомендуемые параметры

max_new_tokens=256
do_sample=False
temperature=0.0

---

🏋️ Обучение

• Базовая модель: Qwen/Qwen3-VL-2B-Instruct
• Тип обучения: Full Fine-Tuning
• Формат датасета: image + instruction → JSON
• Язык чертежей: русский
• Выходной формат: JSON

---

📌 Применение

• Анализ строительных чертежей
• Извлечение параметров стен
• Подготовка данных для BIM/IFC
• Автоматизация обработки проектной документации
• Извлечение структурированных данных из планов зданий