lora-midm-7b-nsmc

Model Card for Model ID

<!-- Provide a quick summary of what the model is/does. -->

• mdim 모델을 한국어 영화 리뷰 데이터셋(NSMC)을 해결하는 모델이 되도록 미세튜닝
• 한국 영화 리뷰의 긍정 또는 부정을 판단하는 모델을 학습

Model Details

모델: KT-AI/midm-bitext-S-7B-inst-v1 학습 데이터: NSMC (네이버 영화 리뷰 데이터셋) batch 크기: 1 시퀀스 길이: 384 학습률: 1e-4 epoch: 1

정확도 향상 추가 노력

• epoch 300부터 시작하여 1000까지 학습
• 데이터 개수 2000부터 시작하여 3000개까지 학습

평가

• (학습 데이터) nsmc 상위 3000개

• (검증 데이터) nsmc 상위 1000개

• 학습 결과: TrainOutput( global_step=1000, training_loss=0.9650133666992188, metrics={'train_runtime': 2982.9519, 'train_samples_per_second': 0.67, 'train_steps_per_second': 0.335, 'total_flos': 3.1051694997504e+16, 'train_loss': 0.9650133666992188, 'epoch': 0.67} )

• 정확도 테스트:

  TP TN PP 477 79 PN 31 413

  정확도: 0.89

Training procedure

The following bitsandbytes quantization config was used during training:

• quant_method: bitsandbytes
• load_in_8bit: False
• load_in_4bit: True
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: None
• llm_int8_enable_fp32_cpu_offload: False
• llm_int8_has_fp16_weight: False
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: False
• bnb_4bit_compute_dtype: bfloat16

Framework versions

• PEFT 0.7.0