Downloads · 30 days
30
11% of all-time downloads
saengha/qwen3-vl-2b-finetuned-korean-game-ui-ocr
qwen3-vl-2b-finetuned-korean-game-ui-ocr is a machine learning model from saengha. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
Korean game UI OCR model for screenshot text extraction, dialogue parsing, and UI element recognition.
Downloads · 30 days
30
11% of all-time downloads
All-time downloads
264
Public
Parameters
2.1B
4.3 GB on disk
Likes
2
Public
Click a slice to open those files.
.safetensors4.3 GB · 100%
From the Hugging Face model README
Korean game UI OCR model for screenshot text extraction, dialogue parsing, and UI element recognition.
tags:
[English] This model is fine-tuned specifically for Korean Game Image Recognition. Performance may vary on non-game images or general natural language tasks.
[Korean] 이 모델은 한국어 게임 이미지 인식 기능만 집중적으로 학습시켰습니다. 일반적인 이미지나 자연어 처리에서는 성능이 다를 수 있습니다.
This model is a fine-tuned version of Qwen3-VL-2B-Instruct, optimized for recognizing Korean text in complex Game UIs.
Through Knowledge Distillation using various game images, this model demonstrates superior performance compared to the base model, particularly in:
이 모델은 Qwen3-VL-2B-Instruct를 기반으로, 복잡한 UI를 가진 게임 화면에서 한국어 텍스트 인식률을 극대화하기 위해 미세조정(Fine-tuning)된 모델입니다.
다양한 게임 이미지를 활용한 **증류 학습(Knowledge Distillation)**을 통해 기존 모델 대비 다음과 같은 강점을 가집니다:
To get the best results, please use the following system prompt.
최상의 결과를 얻기 위해 아래 프롬프트를 사용해주세요.
화면의 모든 한국어 텍스트를 영역별로 추출하세요.
## 추출 규칙
- 보이는 모든 한국어 텍스트 추출
- 영역별로 구분하여 출력
- 줄바꿈과 구조 유지
## 출력 형식
[대사창]
(대사창 텍스트)
[UI]
(UI 텍스트)
[기타]
(그 외 텍스트)
텍스트가 없으면 "NONE"

❌ Issue: The base model fails to recognize the complex UI layout and suffers from severe hallucinations, repeating the text "(관리국 런던지부 정보과)" endlessly.
❌ 문제점: 하단 [기타] 영역에서 텍스트가 무한 반복되는 환각(Hallucination) 현상이 발생하며, UI 구조를 제대로 파악하지 못함.
[대사창]
(대사창 텍스트)
[UI]
(단서 조합으로)
(조작 설명)
(관리국 안내도)
(고정 ON)
(수사과장의 편지)
(고정 OFF)
(사건 개요)
(인물 소개)
(관리국의 안내도를 이해하기 위해서는 관계자들만 알고 있는 정보가 필요하다. 내가 가진 물건 중에 안내도를 해독하는 데에 필요한 정보를 포함한 물건이 있을지도 모른다.)
(* 문서를 [고정] 상태로 만들면, 두 개의 문서를 동시에 볼 수 있다.)
안내도의 수상한 부분과 그를 중명하는 정보를 각각 선택하여 [단서 조합]을 시도하자.
안내도에 어떤 부분이 마나사건 전담반을 의미하지 않아내자.
(아킬보 탐정사무소 노트릭 케이스님께)
케이스, 그동안 평안했는가?
나는 지난 부활결에 사무소에 찾아왔던 영국인이라네.
자레라면 분명 내 얼굴을 기억하고 있겠지.
그때는 제대로로 된 인사도 하지 못했지만,
나는 어떤 정부 기관에서 수사과장이라는 직책을 맡고 있는 사람이라네.
그날 내가 그 날은 사무소를 찾아갔던 건, 자네를 마나사건 전담반의 일원으로 스카우트하기 위함이었지.
내가 사는 도시 런던에서는, 평범한 수사관들로는 해결할 수 없는 사일들이 메일같이 떨어진다네. 자네 같은 인재가 성공하기에는 더없이 좋은 환경이야.
노트릭, 금 말하지 않겠네, 난 자네같은 인재가 필요해.
그리고 자네는 그 재능을 발휘할 환경이 필요하겠지.
자네 사장의 허락도 받아봤다네.
그녀도 처음엔 반대했지만, 결국 자네를 위한 일이 무엇인지 이해했겠지.
그저 이것이 혼란 기회가 아니라 것만 인지해줬으면 좋겠군.
부디 금정적인 답변이 오기를 기다리겠네.
[마나현상 관리국] 런던지부 수사과장 드림
[기타]
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보과)
(관리국 런던지부 정보
✅ Improvement: The model accurately segments the Dialog, UI, and Letters. It correctly identifies the coordinates and the long text of the letter without repetition.
✅ 개선점: 대사창, UI, 편지 내용을 정확하게 영역별로 구분합니다. 텍스트 반복 오류가 사라지고 정확한 내용을 출력합니다.
[대사창]
사건 개요
관리국의 안내도를 이해하기 위해서는 관계자
들만이 알고 있는 정보가 필요하다. 내가 가진
물건 중에 안내도를 해독하는 데에 필요한 정보
를 포함한 물건이 있을지도 모른다.
*문서를 [고정] 상태로 만들면, 두 개의 문서를
동시에 볼 수 있다.
안내도의 수상한 부분과 그를 증명하는 정보를
각각 선택하여 [단서 조합]을 시도하자.
안내도에 어떤 부분이 마나사건 전담반을 의미
하는지 알아내자.
인물 소개
대화기록
출력
[UI]
관리국 안내도
고정
ON
X
관리국 런던지부 정보과
X
조작 설명
NA-01 NA-02 IA-01 IA-02 IA-03
IB-01
IC-01 IC-02 IC-03
IB-02
IB-03
ID-01 ID-02 ID-03 ID-04 ID-05
ID-06 ID-07 ID-08 ID-09 ID-10
IB-04
IB-05
IE-01 IE-02 IE-03 IE-04 IE-05
IB-06
IE-06 IE-07 IE-08 IE-09 IE-10
IF-1 IF-2 IF-3
바나현상 관리국
Selected
노트릭의 사원증 관리국 안내도 수사과장의 편지
[기타]
수사과장의 편지
고정
OFF
X
아킴보 탐정사무소 노트릭 케이스님께
케이스, 그동안 평안했는가?
나는 지난 부활절에 사무소에 찾아왔던 영국인이라네.
자네라면 분명 내 얼굴을 기억하고 있겠지.
그때는 제대로된 인사도 하지 못했지만.
나는 어떤 정부 기관에서 수사과장이라는 직책을 맡고있는 사람이라네.
그날 내가 그 낡은 사무소를 찾아갔던 건, 자네를
마나사건 전담반의 일원으로 스카우트하기 위함이었지.
내가 사는 도시 런던에서는, 평범한 수사관들로는 해결할 수 없는 사건들이
매일같이 벌어진다네. 자네 같은 인재가 성공하기에는 더없이 좋은 환경이야.
노트릭, 긴 말하지 않겠네, 난 자네같은 인재가 필요해.
그리고 자네는 그 재능을 발휘할 환경이 필요하겠지.
자네 사장의 허락도 받아놨다네.
그녀도 처음엔 반대했지만, 결국 자네를 위한 일이 무엇인지 이해해줬지.
그저 이것이 흔한 기회가 아니라는 것만 인지해줬으면 좋겠군.
부디 긍정적인 답변이 오기를 기다리겠네.
[마나현상 관리국] 런던지부 수사과장 드림
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from PIL import Image
import requests
# Qwen3-VL is compatible with Qwen2VL classes in Transformers
model_id = "saengha/qwen3-vl-2b-finetuned-korean-game-ui-ocr"
model = Qwen2VLForConditionalGeneration.from_pretrained(model_id, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
# Load Image
image_path = "game_screenshot.jpg"
image = Image.open(image_path)
prompt = """화면의 모든 한국어 텍스트를 영역별로 추출하세요.
## 추출 규칙
- 보이는 모든 한국어 텍스트 추출
- 영역별로 구분하여 출력
- 줄바꿈과 구조 유지
## 출력 형식
[대사창]
(대사창 텍스트)
[UI]
(UI 텍스트)
[기타]
(그 외 텍스트)
텍스트가 없으면 "NONE"
"""
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": image},
{"type": "text", "text": prompt},
],
}
]
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(images=[image], text=[text], return_tensors="pt").to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=1024)
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(output_text)