Dooroo_2509

Dooroo_2508: 여수 관광 특화 챗봇 모델

이 모델은 unsloth/Qwen3-4B-Instruct-2507 모델을 기반으로, 대한민국 여수시의 관광 정보와 섬 정보에 대해 특화된 지식을 갖도록 파인튜닝되었습니다.

Unsloth 라이브러리를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 효율적인 학습을 진행했으며, 여수 여행에 관한 질문에 자연스럽고 정확한 답변을 생성하는 것을 목표로 합니다.

🛠️ 학습 과정 (Training Procedure)

1. 기반 모델 (Base Model)

• Model: unsloth/Qwen3-4B-Instruct-2507
• Library: Unsloth를 사용하여 메모리 사용량을 최적화하고 학습 속도를 크게 향상시켰습니다.

2. 데이터셋 (Dataset)

학습에는 아래 두 가지 데이터셋을 병합하여 사용했습니다. 각 데이터셋의 train과 test 스플릿을 합친 후, train 데이터셋은 무작위로 섞어 모델이 특정 주제에 편향되지 않도록 했습니다.

• kingkim/yeosu_tour: 여수 관광 명소 관련 데이터
• kingkim/yeosu_island: 여수 섬 관련 데이터

3. 하이퍼파라미터 (Hyperparameters)

모델 학습에 사용된 주요 하이퍼파라미터는 다음과 같습니다.

LoRA 설정

Training Arguments

📊 평가 결과 (Evaluation Results)

eval_dataset에 대한 최종 평가 결과입니다. Loss는 모델이 예측한 값과 실제 값의 차이를 나타내며, 낮을수록 모델의 성능이 좋음을 의미합니다.

---

license: apache-2.0 tags:

• unsloth
• trl
• sft