Downloads · 30 days
4
6% of all-time downloads
harveykim/gemma-3-1b-aihub-ko-en-lora
gemma-3-1b-aihub-ko-en-lora is a translation model from harveykim. Use it when you need text moved from one language to another. It is set up for peft. The card lists the license as gemma.
Gemma 3 1B를 AI Hub 한-영 병렬 말뭉치 (126) 로 LoRA 파인튜닝한 온디바이스 한↔영 번역 어댑터입니다.
Downloads · 30 days
4
6% of all-time downloads
All-time downloads
67
Public
Repo size
142 MB
Likes
0
Public
Click a slice to open those files.
.safetensors104 MB · 73%
From the Hugging Face model README
Gemma 3 1B를 AI Hub 한-영 병렬 말뭉치 (#126) 로 LoRA 파인튜닝한 온디바이스 한↔영 번역 어댑터입니다.
코드·문서 전체 리포지토리: github.com/DeepMav/on-device-translation
| 항목 | 값 |
|---|---|
| 베이스 모델 | unsloth/gemma-3-1b-it (4-bit, Unsloth) — google/gemma-3-1b-it과 동등 |
| 어댑터 | LoRA (PEFT 0.19.1), r = 32, α = 64 |
| 타겟 모듈 | 언어 레이어의 모든 선형 계층 (attn q/k/v/o + mlp gate/up/down) |
| 학습 가능 파라미터 | 약 13.0M (베이스의 약 1.3%) |
| 어댑터 크기 | 약 100 MB (safetensors) — 토크나이저 포함 총 업로드 약 138 MB |
| 시퀀스 길이 | 1,024 |
| 학습 데이터 | AI Hub #126 — 한국어-영어 병렬 말뭉치 |
| 학습 쌍 수 | 988,003 (양방향, 균형 샘플링) |
| 지원 언어 | 한국어 ↔ 영어 |
| 라이선스 | Gemma 이용 약관 (모델) / Apache-2.0 (코드) |
AI Hub #126 "한국어-영어 번역(병렬) 말뭉치"의 12개 카테고리에서 모바일 챗봇 분포 가중치를 적용해 988K 쌍을 추출했습니다.
| 카테고리 | 비중 |
|---|---|
| 대화체 | 높음 |
| 구어체 | 높음 |
| 뉴스 | 중간 |
| 지자체웹사이트 | 중간 |
| 조례 | 낮음 |
| 기타 (7개 카테고리) | 낮음 |
원본 데이터는 라이선스상 재배포가 불가합니다. AI Hub 페이지에서 직접 신청 후 다운로드해야 합니다.
| 모델 | BLEU | chrF++ | 추론 시간 (200쌍) |
|---|---|---|---|
| Gemma 3 1B (베이스) | 1.88 | 23.07 | 1,642 초 |
| + LoRA (1M) | 25.13 | 49.64 | 389 초 (4.2배 빠름) |
| Δ | +23.26 | +26.57 | — |
베이스 모델의 BLEU가 1.88로 낮은 주된 이유는 번역문만 출력하지 않고 "다음은 영어 문장을 한국어로 옮긴 몇 가지 표현입니다…" 같은 서술과 대안 나열을 동반하기 때문입니다. LoRA가 단일 번역 출력 행동을 학습시키면서 점수가 크게 상승했습니다.
| 카테고리 / 방향 | 베이스 BLEU | LoRA BLEU | Δ |
|---|---|---|---|
| 조례 / 한→영 (법률·공문체) | 1.7 | 53.6 | +51.9 |
| 조례 / 영→한 | 0.4 | 42.6 | +42.1 |
| 지자체웹사이트 / 한→영 | 2.6 | 36.1 | +33.5 |
| 대화체 / 한→영 | 3.1 | 32.4 | +29.3 |
| 뉴스 / 한→영 | 4.3 | 28.5 | +24.1 |
전체 카테고리별 결과: eval_result.json
| 파일 | 크기 | 형식 |
|---|---|---|
adapter_model.safetensors | 100 MB | PEFT LoRA 가중치 |
adapter_config.json | <2 KB | PEFT 설정 (r=32, α=64, target_modules) |
tokenizer.json / tokenizer.model | ~5 MB | Gemma 3 토크나이저 (SentencePiece) |
tokenizer_config.json / special_tokens_map.json / added_tokens.json / chat_template.jinja | <50 KB | 토크나이저·채팅 템플릿 메타데이터 |
eval_result.json | 6 KB | 카테고리 × 방향별 BLEU/chrF 결과 |
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
BASE = "google/gemma-3-1b-it"
LORA = "harveykim/gemma-3-1b-aihub-ko-en-lora"
tok = AutoTokenizer.from_pretrained(BASE)
model = AutoModelForCausalLM.from_pretrained(BASE, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, LORA)
model.eval()
prompt = "Translate Korean to English.\n한국어: 오늘 점심으로 김치찌개 어때요?\nEnglish:"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=64, do_sample=False)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
# → "How about kimchi stew for lunch today?"
from unsloth import FastModel
model, tok = FastModel.from_pretrained(
model_name="harveykim/gemma-3-1b-aihub-ko-en-lora",
max_seq_length=1024,
load_in_4bit=True,
)
LoRA를 베이스에 머지한 뒤 GGUF로 양자화하여 llama.cpp 또는 Android용 llama.cpp 계열 런타임에서 사용합니다.
# 머지 후 익스포트
python -c "
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained('google/gemma-3-1b-it')
m = PeftModel.from_pretrained(base, 'harveykim/gemma-3-1b-aihub-ko-en-lora').merge_and_unload()
m.save_pretrained('merged'); AutoTokenizer.from_pretrained('google/gemma-3-1b-it').save_pretrained('merged')
"
# GGUF 변환: llama.cpp/convert_hf_to_gguf.py merged --outfile gemma3-1b-koen.gguf
# 양자화: llama.cpp/llama-quantize gemma3-1b-koen.gguf gemma3-1b-koen-q4_k_m.gguf Q4_K_M
타겟 단말: 갤럭시 S25 (Snapdragon 8 Elite) — LiteRT 경로는 추후 정리 예정.
| 항목 | 값 |
|---|---|
| 프레임워크 | Unsloth + PEFT 0.19.1 + TRL |
| 정밀도 | bfloat16 (Unsloth 4-bit 베이스) |
| 배치 | device당 32 × grad-accum 1 |
| 시퀀스 길이 | 1,024 (padding-free) |
| 옵티마이저 | AdamW 8-bit |
| 학습률 / 스케줄 | 1.4e-4, cosine, 2% warmup |
| 스텝 수 | 30,876 (988K / 32, 1 epoch) |
| 총 학습 시간 | 약 5.7 시간 |
| Eval loss | 2.017 → 1.708 (13회 평가, 단조 감소, 과적합 없음) |
| VRAM 최대 사용 | 약 8–9 GB |
전체 학습 레시피: docs/TRAINING.md
@misc{deepmav2026ondevicetranslation,
title = {on-device-translation: Gemma 3 1B Ko↔En LoRA on AI Hub #126},
author = {DeepMav},
year = {2026},
url = {https://github.com/DeepMav/on-device-translation}
}
본 모델은 과학기술정보통신부의 재원으로 한국지능정보사회진흥원의 지원을 받아 구축된 "한국어-영어 번역(병렬) 말뭉치"(AI Hub, 데이터셋 번호 126)를 활용하여 학습되었습니다.
군사·국방·무기 시스템 통합 용도로는 이 모델을 사용하지 마세요. 그런 용도에는 Apache-2.0 베이스(Qwen2.5, Mistral, Phi 등)로 별도 학습해야 합니다.
Gemma 라이선스 전문: https://ai.google.dev/gemma/terms