Finance-KcELECTRA-base-v1.0

<img src ="https://pds.saramin.co.kr/company/logo/202110/15/r0zx8u_zrd4-xpn1m0_logo.JPG" height="780" width="450"> <br/> <br> <h1>Finance-KcELECTRA-v1.0</h1> <br> 구어체의 금융 관련 질의를 데이터로 활용하여 "beomi/KcELECTRA-base"에서 이름을 착안하여 Finance-KcELECTRA-base-v1.0으로 지었습니다. <br> <b><h2><학습 말뭉치 구축></h2></b> 1. 네이버 신문 기사 데이터 (카드, 보험, 은행 키워드 기사 각 15만 건) 2. 일반적인 성능을 위해 한국어 위키 텍스트 말뭉치 사용 (https://ko-nlp.github.io/Korpora) 3. 자체 보유 중인 <b>구어체의</b> 금융 관련 FAQ 지식 및 금융 채팅 대화 데이터 활용

<b><h2><베이스 모델></h2></b> "ELECTRA-Base"의 모델 사이즈를 사용하였습니다.

<b><h2><성능 비교></h2></b>

자체 제작한 2607개 분류의 약 10만개의 질의세트를 학습하여 평가 진행 <br> 테스트셋은 각 분류당 1개의 질문 2607개로 학습 시 진행한 결과는 아래와 같습니다. <br> Finance-KcELECTRA-base-v1 <br> 2000STEPS -- acc = 0.7909474491752972 <br> 4000STEPS -- acc = 0.9673954737245877 <br> 6000STEPS -- <b>acc = 0.984656693517453</b> <br>

<br> KcELECTRA-base <br> 2000STEPS -- acc = 0.5124664365170695 <br> 4000STEPS -- acc = 0.9136939010356732 <br> 6000STEPS -- acc = 0.9612581511315689 <br> <br> 초기 1epoch에 기존 Kc-ELECTRA에 비해서 빠르게 학습이 수행되는 것을 확인하였습니다. <br> 이후에도 성능이 조금이나마 앞선 것을 확인할 수 있었습니다.