Downloads · 30 days
19
13% of all-time downloads
Pokqok/m2m100-onnx-ko-to-ja-zh-k-tourism
m2m100-onnx-ko-to-ja-zh-k-tourism is a translation model from Pokqok. Use it when you need text moved from one language to another. It is set up for optimum. The card lists the license as apache-2.0.
이 모델은 facebook/m2m1001.2B 모델을 한국 관광 관련 데이터로 파인튜닝(Fine-tuning)한 후, 추론 속도 향상을 위해 ONNX (Open Neural Network Exchange) 형식으로 변환한 번역 모델입니다.
Downloads · 30 days
19
13% of all-time downloads
All-time downloads
141
Public
Repo size
11.6 GB
Likes
0
Public
Click a slice to open those files.
.onnx_data9.3 GB · 80%
From the Hugging Face model README
이 모델은 facebook/m2m100_1.2B 모델을 한국 관광 관련 데이터로 파인튜닝(Fine-tuning)한 후, 추론 속도 향상을 위해 ONNX (Open Neural Network Exchange) 형식으로 변환한 번역 모델입니다.
주요 기능은 한국어(ko)와 영어(en), 일본어(ja), 중국어(zh) 간의 양방향 번역을 수행하는 것입니다.
facebook/m2m100_1.2BM2M100은 별도의 언어 지정 없이 100개 언어 간의 번역을 수행할 수 있는 다국어 번역 모델입니다. 이 모델은 그 중에서도 특히 한국 관광 분야의 용어와 문체에 대한 이해도를 높이기 위해, 관련 데이터셋으로 추가 학습을 진행했습니다.
특히, 한국의 특정 지명(예: 경복궁, 명동)이나 음식 이름(예: 비빔밥, 떡볶이) 등 고유명사에 대한 3개 언어(영어, 일본어, 중국어) 번역 정확도를 높이는 데 중점을 두었습니다.
ONNX 변환을 통해 기존 PyTorch 모델보다 가볍고 빠르게 작동하므로, FastAPI 등을 이용한 API 서버 배포에 매우 적합합니다.
이 모델을 사용하려면 transformers와 함께 optimum[onnxruntime] 라이브러리가 필요합니다.
pip install transformers optimum[onnxruntime] sentencepiece
아래는 Python에서 모델을 로드하고 번역을 실행하는 예제 코드입니다.
from transformers import AutoTokenizer, pipeline
from optimum.onnxruntime import ORTModelForSeq2SeqLM
# Hugging Face Hub에 있는 모델 이름
model_name = "Pokqok/m2m100-onnx-ko-to-ja-zh-k-tourism"
# 토크나이저와 ONNX 모델 로드
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = ORTModelForSeq2SeqLM.from_pretrained(model_name)
# 번역 파이프라인 생성
translator = pipeline(
"translation",
model=model,
tokenizer=tokenizer
)
# 번역할 텍스트
korean_text = "경복궁 야간개장 입장권은 어디서 구매하나요?"
# 한국어 -> 일본어 번역
result_ja = translator(
korean_text,
src_lang="ko",
tgt_lang="ja"
)
print(f"Korean to Japanese: {result_ja[0]['translation_text']}")
# 한국어 -> 중국어 번역
result_zh = translator(
korean_text,
src_lang="ko",
tgt_lang="zh"
)
print(f"Korean to Chinese: {result_zh[0]['translation_text']}")
# 한국어 -> 영어 번역
result_en = translator(
korean_text,
src_lang="ko",
tgt_lang="en"
)
print(f"Korean to English: {result_en[0]['translation_text']}")
# 일본어 -> 한국어 번역
japanese_text = "景福宮の夜間開場入場券はどこで購入できますか。"
result_ko_from_ja = translator(
japanese_text,
src_lang="ja",
tgt_lang="ko"
)
print(f"Japanese to Korean: {result_ko_from_ja[0]['translation_text']}")
# --- 출력 결과 예시 ---
# Korean to Japanese: 景福宮の夜間開場入場券はどこで購入できますか。
# Korean to Chinese: 景福宫夜间开放门票在哪里购买?
# Korean to English: Where can I buy tickets for the Gyeongbok Palace night opening?
# Japanese to Korean: 경복궁 야간 개장 입장권은 어디에서 구입합니까?
facebook/m2m100_1.2B이 ONNX 모델은 FastAPI와 Docker를 사용하여 API 서버로 쉽게 배포할 수 있도록 설계되었습니다. 자세한 배포 방법은 관련 프로젝트의 Dockerfile과 app.py를 참고하세요.