AIHUB_IndonesianCorpus_NER

99. 인도네시아어 말뭉치 데이터 -1. 개체명 인식 모델

모델 설명

2023년 인공지능 학습용 데이터 구축사업으로 구축한 2억 토큰 규모의 인도네시아어 말뭉치 데이터의 개체명 태깅된 값들을 통한 개체명 인식 모델 개발

모델 아키텍처

BERT(Bidirectional Encoder Trepresentations from Transformer) 구조로 사전학습된 인도네시아어 모델 Indobert-base-p2(https://huggingface.co/indobenchmark/indobert-base-p2) 활용

데이터 설명

Input

1. 토큰 단위로 띄어쓰기된 문장
   ex :
   "Raw_data": "Seoul , Korea Selatan Soyeon sebelumnya diperkenalkan sebagai salah satu trainee wanita untuk mewakilkan Cube Entertainment di acara survival Mnet , Produce 101 .",

Output

1. 입력된 각 토큰에 대한 개체명 태깅 결과
   ex : "Entities": [ { "entity": "Korea Selatan", "entityClass": "LC-Country", "entityStart": 2, "entityEnd": 3 }, { "entity": "Soyeon", "entityClass": "PS-Name", "entityStart": 4, "entityEnd": 4 }, { "entity": "Cube Entertainment", "entityClass": "BO-Economy", "entityStart": 14, "entityEnd": 15 }, { "entity": "Mnet", "entityClass": "BO-Media", "entityStart": 19, "entityEnd": 19 }, { "entity": "Produce 101", "entityClass": "WA-Video", "entityStart": 21, "entityEnd": 22 } ]

Training dataset

토큰 단위로 띄어진 문장과 각 토큰에 대한 개체명 태깅 리스트셋

  "Raw_data": "Seoul , Korea Selatan Soyeon sebelumnya diperkenalkan sebagai salah satu trainee wanita untuk mewakilkan Cube Entertainment di acara survival Mnet , Produce 101 .",
  "Entities_list": [
    "O",
    "O",
    "LC-Country-B",
    "LC-Country-I",
    "PS-Name-B",
    "O",
    "O",
    "O",
    "O",
    "O",
    "O",
    "O",
    "O",
    "O",
    "BO-Economy-B",
    "BO-Economy-I",
    "O",
    "O",
    "O",
    "BO-Media-B",
    "O",
    "WA-Video-B",
    "WA-Video-I",
    "O"
  ]

학습 파라미터

    --max_seq_length 128 \
    --save_steps 100000 \
    --per_device_train_batch_size 128 \
    --per_device_eval_batch_size 64 \
    --gradient_accumulation_steps 4 \
    --learning_rate 2e-5 \
    --num_train_epochs 10 \
    --save_total_limit 2 \
    --weight_decay 0.01 \
    --seed 42 --data_seed 42 \
 

평가 기준

f-1 score

F1 score = Precsion(정밀도)과 Recall(재현율) 의 조화 평균

• Precision = TP / (TP + FP)
• Recall = TP / (TP + FN)

1. TP: 개체명 태깅 대상 토큰에 대해 개체 클래스 분류가 정확한 경우
2. FP: 개체명 태깅 대상 토큰에 대해 개체 클래스 분류가 부정확한 경우/개체명 태깅 대상 토큰이 아닌 토큰에 잘못된 개체로 태깅하는 경우
3. FN: 개체명 태깅 대상 토큰에 대해 개체명으로 인식하지 못한 경우

목표 점수 70 / 달성 점수 93.52

저작권 라이센스 표기

MIT License

Copyright (c) 2024 Arspraxia

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.