hw-midm-7B-nsmc

Accuracy

정확도: 89.9%(492+267/1000)

정확도가 거의 90%에 근접합니다.

-Train 데이터는 nsmc['train']을 shuffle한 다음에 상위 2000개를 활용하였습니다

-Test 데이터는 nsmc['train']을 shuffle한 다음에 상위 1000개를 활용하였습니다.

-1000개의 train 데이터 중 890개를 정확하게 분류하였습니다.

-Base Model은 KT-AI/midm-bitext-S-7B-inst-v1로 base model에 Lora 어댑터를 붙여서 SFTtrainer를 통하여 새로운 데이터셋 nsmc에 대해서 미세튜닝을 하였습니다.

-미세튜닝한 로라 어댑터를 허깅페이스에 업로드한 후 4비트로 양자화된 base model에 붙인 후 추론을 하였습니다.

-상위 2000개의 train_dataset에 대해서 훈련을 한 후 상위 1000개의 test_dataset에 대해서 추론은 한 결과는 위의 표와 같습니다.

-정확도 향상을 위하여 test 데이터셋의 크기를 늘리려 하였으나, GPU 용량 제한으로 인하여 지속적으로 오류가 발생하였습니다.

-정확도를 올리는 방법: seq_length를 키운다. 512 정도로