hw-llama2-7B-nsmc

Accuracy

정확도: 82%(447+373/1000)

-Train 데이터는 nsmc['train']을 shuffle한 다음에 상위 5000개를 활용하였습니다

-Test 데이터는 nsmc['train']을 shuffle한 다음에 상위 1000개를 활용하였습니다.

-1000개의 train 데이터 중 820개를 정확하게 분류하였습니다.

-Base Model은 meta-llama/Llama-2-7b-chat-hf로, base model에 Lora 어댑터를 붙여서 SFTtrainer를 통하여 새로운 데이터셋 nsmc에 대해서 미세튜닝을 하였습니다.

-미세튜닝한 로라 어댑터를 허깅페이스에 업로드한 후 4비트로 양자화된 base model에 붙인 후 추론을 하였습니다.

-상위 2000개의 train_dataset에 대해서 훈련을 한 후 상위 1000개의 test_dataset에 대해서 추론은 한 결과는 위의 표와 같습니다.

-정확도 향상을 위하여 test 데이터셋의 크기를 늘리려 하였으나, GPU 용량 제한으로 인하여 지속적으로 오류가 발생하였습니다.