Downloads · 30 days
6
2% of all-time downloads
koenbert-base
yongsun-yoon/koenbert-base
koenbert-base is a feature extraction model from yongsun-yoon. Use it when you need embeddings to search or compare text. It is set up for transformers.
최근 다양한 한국어 언어 모델들이 개발 및 공유되고 있습니다. 하지만 이러한 모델들은 한국어만 지원하기 때문에 Dialog system, Information retrieval 등 다양한 도메인에서 제작되는 영어 데이터를 활용하기 어렵다는 한계점이 있습니다. Multilingual 모델의 경우 지원하는 언어의 수가 많아 모델 크기가 크고 한국어 성능이 떨어진다는 단점이 있습니다. 이러한…
All-time downloads
361
Public
Repo size
1.1 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin530 MB · 100%
At a glance
- Task
- Feature Extraction
- Library
- transformers
- Model type
- bert
- Access
- Public
- Created
- Jul 17, 2022
- Updated
- Jul 17, 2022
- SHA
- b92f1c3b
Model card
From the Hugging Face model README
koenbert-base
최근 다양한 한국어 언어 모델들이 개발 및 공유되고 있습니다. 하지만 이러한 모델들은 한국어만 지원하기 때문에 Dialog system, Information retrieval 등 다양한 도메인에서 제작되는 영어 데이터를 활용하기 어렵다는 한계점이 있습니다. Multilingual 모델의 경우 지원하는 언어의 수가 많아 모델 크기가 크고 한국어 성능이 떨어진다는 단점이 있습니다. 이러한 한계점을 해소하고 한국어 모델의 활용도를 높이기 위해 한국어 언어 모델에 영어를 학습하는 프로젝트를 진행하고 있습니다. 모델에 대한 자세한 정보는 Github repo에서 확인해주세요.
실행
from transfomers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('respect5716/koen-bert-base')
model = AutoModel.from_pretrained('respect5716/koen-bert-base')
- Task
- Feature Extraction
- Library
- transformers
- Type
- bert
- Languages
- ko
- Created
- Jul 17, 2022
- Updated
- Jul 17, 2022