polyglot-ko-1.3b-lite1.0

polyglot-ko-1.3b-lite1.0

• EleutherAI/polyglot-ko-1.3b를 기반으로, 미세조정한 모델
• PEFT 기법 중에 하나인, QLoRA로 미세조정

목적

사양이 높지 않은 일반 노트북에서, 한국어 LLM을 연구, 개발할 수 있는 환경을 구축해 본 것입니다.<br/> AI개발 속도가 너무 빠르게 진행되어, 과거 호환성 문제를 해결하며, 구축해야만 했습니다.<br/> 자신의 모델이 응답속도가 늦거나, 엉뚱한 답변을 생성하는 것은, LLM에 대한 지식이 부족해서 발생하는 것입니다.<br/> 본 소스를 기반으로 삼아, Windows 개발자 분들이 AI 개발의 문턱에 빠르게 다가설 수 있기를 바랍니다.

본 모델의 개발 프로젝트 소스는 GitHub에 오픈하였습니다.

구현 환경

RAM은 거의 소모하지 않으며, VRAM은 2.7 GB를 소비합니다.

- System
  OS            Windows 11 Home
  RAM           16 GB
  VRAM	        2.7 GB
  Graphic Card  GeForce RTX 3060(GPU=1, VRAM=6GB)

- packages
  cuda          12.1.105
  cudnn         8.0
  pytorch       2.2.2
  python        3.10.14
  conda         24.3.0
  accelerate    0.29.2
  bitsandbytes  0.43.0
  gradio        4.26.0
  tokenizers    0.15.2
  transformers  4.39.3
  wandb         0.16.6

- training parameters
  epochs                5
  batch_size            16
  micro_batch_size      4
  learning_rate         1e-3
  batch_size            3
  lora_r                8
  lora_alpha            16
  lora_dropout          0.05
  lora_target_modules   query_key_value

훈련 데이터셋

KoAlpaca_v1.1a_textonly.json 파일에서 1000개 샘플만 추출하여, 학습을 빠르게 진행시키며 가장 효율적인 속성으로, [훈련 > 병합 > 저장 > 추론] 단계를 진행시킨 모델입니다.<br/> 실제 사용한 데이터셋도 포함시켰습니다.

스크린 샷

두 그래프에 차이점을 확인하세요.<br/> e3b16은 epochs=3, batch_size=16을 의미합니다.<br/> e5b16은 epochs=5, batch_size=16을 의미합니다.

훈련 그래프

평가 그래프

추론(생성) 프롬프터

라이센스

Apache 2.0 라이센스를 따릅니다.<br/> 라이센스에 따라, 주의사항을 지켜주시기 바랍니다.