Qwen2.5-VL-7B-Instruct-docling-ko-2510

Qwen2.5-VL-7B-Instruct-docling-ko-2510

Summary

VLM Model trained to be using with docling package's VLM Pipeline

• Trained to convert given image to docling ResponseFormat.DOCTAGS format (ex. "<doctag>...</doctag>")
• Training Data: 9K Pages of Korean FSC Press Release PDF Documents converted to doctags using docling=v2.55.0
• Base Model: Qwen/Qwen2.5-VL-7B-Instruct + LoRA Adapter (r=16, alpha=32, dropout=0.05)

TODO

• handle images

Usage

Refer to docling's VLM Pipeline documentation for detailed usage

Merging Weight

from transformers import AutoModelForImageTextToText
base_model = AutoModelForImageTextToText.from_pretrained(
    base_dir,
    device_map="auto"
)

model = PeftModel.from_pretrained(base_model, adapter_dir)
model = model.merge_and_unload()
model.save_pretrained("Qwen2.5-VL-7B-Instruct-docling-ko-2510-merged")

Docling Converter with InlineVlm

• provide artifacts_path for loading from local directory

from docling.datamodel.base_models import InputFormat
from docling.datamodel.accelerator_options import AcceleratorDevice
from docling.datamodel.pipeline_options import VlmPipelineOptions
from docling.datamodel.pipeline_options_vlm_model import (
    InferenceFramework,
    InlineVlmOptions,
    ResponseFormat,
    TransformersModelType
)
from docling.document_converter import DocumentConverter, PdfFormatOption
from docling.pipeline.vlm_pipeline import VlmPipeline

pipeline_options = VlmPipelineOptions(
    vlm_options=InlineVlmOptions(
        repo_id="Qwen2.5-VL-7B-Instruct-docling-ko-2510-merged",
        prompt="Convert this page to docling.",
        response_format=ResponseFormat.DOCTAGS,
        inference_framework=InferenceFramework.TRANSFORMERS,
        transformers_model_type=TransformersModelType.AUTOMODEL_IMAGETEXTTOTEXT,
        supported_devices=[AcceleratorDevice.CUDA, AcceleratorDevice.CPU],
        scale=2.0,
        temperature=0.0,
    ),
    artifacts_path=".../weights"
)
converter = DocumentConverter(
    format_options={
        InputFormat.PDF: PdfFormatOption(
            pipeline_cls=VlmPipeline,
            pipeline_options=pipeline_options,
        ),
    }
)
doc = converter.convert(source=source).document

Conversion Examples

Conversion Examples using PDF files from allganize/RAG-Evaluation-Dataset-KO dataset

Examples from finance/[별첨] 지방은행의 시중은행 전환시 인가방식 및 절차.pdf

Page 3

<img src="./assets/example1.png" alt="Example1" width="500"/> <!-- <img src="https://huggingface.co/id4thomas/Qwen2.5-VL-7B-Instruct-docling-ko-2510/resolve/main/assets/example1.png" alt="Example2" width="500"/> -->

• Black BBOX is drawn for each <loc_*> tag

VLM Result:

<doctag>
<section_header_level_1><loc_65><loc_38><loc_149><loc_49>Ⅰ .  검토 배경</section_header_level_1>
<unordered_list><list_item><loc_60><loc_69><loc_447><loc_92>□ 정부는 은행권 경쟁촉진을 위해 지방은행의 시중은행 전환을 허용하겠다고 발표 * ('23.7.5 일 )</list_item>
<list_item><loc_60><loc_102><loc_393><loc_109>'금융당국, 은행업에 공정하고 실효성 있는 경쟁 도입' (보도자료)</list_item>
<list_item><loc_60><loc_122><loc_352><loc_129>※ 현재 대구·경북권 지방은행인 대구은행이 전환의사 표명</list_item>
<list_item><loc_60><loc_142><loc_429><loc_152>□ 현행법령은 ' 지방 銀 → 시중 銀 ' 전환에 관한 명시적 규정 없음</list_item>
<list_item><loc_66><loc_164><loc_440><loc_188>ㅇ 다만 , 지방은행이 시중은행 인가요건을 모두 갖추고 전환 신청시 이를 허용하지 않을 법령상 근거도 없으며 ,</list_item>
<list_item><loc_78><loc_196><loc_419><loc_207>-감독정책적 측면에서도 이를 금지하는 것은 과도한 측면 *</list_item>
<list_item><loc_60><loc_214><loc_444><loc_230>신규사업자와  동일한  요건을  갖추었을  경우에도  기존사업자(지방은행)에 대해서만 시중은행 인가를 받지 못하도록 하는 것은 불합리한 측면</list_item>
<list_item><loc_66><loc_240><loc_440><loc_264>ㅇ 합병 , 계약이전 (P&A) 이 아닌 은행의 종류 전환은 과거 사례가 없어 전환방식에 관한 법적근거 · 절차 등 검토 필요</list_item>
<list_item><loc_60><loc_274><loc_438><loc_281>합병:  하나은행-외환은행('15) / 계약이전: 경기·충청·대동·동남·동화은행('98)</list_item>
<list_item><loc_60><loc_295><loc_447><loc_319>□ 한편 , 지방은행이 자체적으로 정관 변경을 통해 시중은행으로 전환이 가능하다는 일부 의견이 있으나 , 이는 부적절한 측면</list_item>
<list_item><loc_66><loc_331><loc_440><loc_355>ㅇ 지방은행 영업구역은 정관에서 특정지역으로 제한하고 있는데 , 이를 전국으로 변경시 전환이 가능하다는 해석</list_item>
<list_item><loc_66><loc_367><loc_440><loc_391>ㅇ 하지만 , 은행 종류의 전환은 금융감독정책의 중요사항으로 사전 승인절차 없이 정관 변경 ( ☞ 사후보고 ) 만으로 허용하는 것은 곤란</list_item>
<list_item><loc_65><loc_411><loc_440><loc_435>➡ 위 사항을 종합적으로 고려하여 現 법령체계 下 에서 지방은행의 시중은행 전환 인가에 관한 주요쟁점 및 구체적 방안 검토</list_item>
</unordered_list>
<page_footer><loc_240><loc_477><loc_260><loc_483>-  1  -</page_footer>
</doctag>

Page 7 (Table)

<img src="./assets/example2.png" alt="Example2" width="500"/> <!-- <img src="https://huggingface.co/id4thomas/Qwen2.5-VL-7B-Instruct-docling-ko-2510/resolve/main/assets/example2.png" alt="Example2" width="500"/> -->

VLM Result:

<doctag>
<section_header_level_1><loc_65><loc_38><loc_284><loc_47>참고 2 참고 2   은행업 인가 세부심사요건</section_header_level_1>
<otsl><loc_63><loc_62><loc_435><loc_456><ecel><ched>세 부 심 사 요 건<ched>확인서류<nl><fcel>자본금 요건<fcel>ㅇ 최저 자본금 요건을 충족할 것 ㅇ 자금조달방안이 적정할 것<fcel>- 자본금 납입 확약서 등<nl><fcel>대주주 요건<fcel>ㅇ 부실금융기관 관련 책임이 없을 것 ㅇ 주주구성계획이 은행법상 소유규제에 적합할 것<fcel>- 비금융주력자가 아님을 증명 하는 서류 등<nl><fcel>사업계획 타당성 요건<fcel>ㅇ 경영전략 및 수익전망이 적정할 것 ㅇ 경영지도기준 충족이 가능할 것 ㅇ 이사회 및 경영지배구조가 적정할 것 ㅇ 내부통제 , 준법감시 및 리스크 관리 체계가 적정할 것 ㅇ 영업내용 및 방법이 법령 및 건전한 금융거래질서에 부합할 것<fcel>- 신청서상 사업계획서 등<nl><fcel>임원 요건<fcel>ㅇ 발기인 및 임원이 은행법상 임원자격 요건에 부합할 것<fcel>- 경력증명서 , 자격증 등 - 신원조회 및 관련부서 사실 조회 회보서<nl><fcel>인력·영업시설· 전산설비 요건<fcel>ㅇ 인가신청업무를 영위하기 위한 인력 ( 전문인력 포함 ) 확보계획이 적정할 것<fcel>- 신청서상 사업계획서 등<nl><ucel><fcel>ㅇ 업무범위 및 규모에 부합하는 영업 시설 및 이해상충방지체계를 갖출 것<ucel><nl><ucel><fcel>ㅇ 은행업 영위를 위한 적정한 전산설비를 갖출 것<ucel><nl></otsl>
<page_footer><loc_240><loc_477><loc_260><loc_483>-  5  -</page_footer>
</doctag>

Table Converted to HTML:

<table>
<tbody>
    <tr>
        <td></td>
        <td>세 부 심 사 요 건</td>
        <td>확인서류</td>
    </tr>
    <tr>
        <td>자본금 요건</td>
        <td>ㅇ 최저 자본금 요건을 충족할 것 ㅇ 자금조달방안이 적정할 것</td>
        <td>- 자본금 납입 확약서 등</td>
    </tr>
    <tr>
        <td>대주주 요건</td>
        <td>ㅇ 부실금융기관 관련 책임이 없을 것 ㅇ 주주구성계획이 은행법상 소유규제에 적합할 것</td>
        <td>- 비금융주력자가 아님을 증명 하는 서류 등</td>
    </tr>
    <tr>
        <td>사업계획 타당성 요건</td>
        <td>ㅇ 경영전략 및 수익전망이 적정할 것 ㅇ 경영지도기준 충족이 가능할 것 ㅇ 이사회 및 경영지배구조가 적정할 것 ㅇ 내부통제 , 준법감시 및 리스크 관리 체계가 적정할 것 ㅇ 영업내용 및 방법이 법령 및 건전한 금융거래질서에 부합할 것</td>
        <td>- 신청서상 사업계획서 등</td>
    </tr>
    <tr>
        <td>임원 요건</td>
        <td>ㅇ 발기인 및 임원이 은행법상 임원자격 요건에 부합할 것</td>
        <td>- 경력증명서 , 자격증 등 - 신원조회 및 관련부서 사실 조회 회보서</td>
    </tr>
    <tr>
        <td rowspan="3">인력·영업시설· 전산설비 요건</td>
        <td>ㅇ 인가신청업무를 영위하기 위한 인력 ( 전문인력 포함 ) 확보계획이 적정할 것</td>
        <td rowspan="3">- 신청서상 사업계획서 등</td>
    </tr>
    <tr>
        <td>ㅇ 업무범위 및 규모에 부합하는 영업 시설 및 이해상충방지체계를 갖출 것</td>
    </tr>
    <tr>
        <td>ㅇ 은행업 영위를 위한 적정한 전산설비를 갖출 것</td>
    </tr>
</tbody>
</table>