COKAL-ko-v1-70B

The license is cc-by-nc-sa-4.0.

🐻‍❄️DopeorNope/COKAL-ko-v1-70B🐻‍❄️

Model Details

Model Developers DopeorNope (Seungyoo Lee)

안녕하세요? 오픈 소스 진영의 발전을 위해서 공개하게 된 COKAL-ko-v1-70B 모델입니다.

이 모델은 기존의 모델들과 다르게 한국어로 설명을 드리고자 합니다.

애초에 목적이, 한국어 특화 모델이기도 하였고, 다양한 사람들이 편하게 사용할 수 있게 이렇게 공개하고자 합니다.

이 모델의 베이스 모델은, beomi님의 beomi/llama-2-ko-70b입니다.

베이스 모델에 양자화 하여서 타겟모듈 가능한 대부분 늘리고 약 15,000,000개의 한국어 토큰을 먹였습니다.

훈련시간은 약 일주일 소요 되었으며, A100x8대를 활용하여 튜닝하였습니다.

벤치마크는 따로 잡지 않았으나, 한번 시도해보시면 좋을듯 하네요.

한국어 모델중 큰 모델들이 많이 없어서 이렇게 한번 시도해보고, 오픈으로 공개하게 되었습니다.

최대한 일반 상식을 늘리기위해 치중한 모델로, 각각 개별마다 타겟하고자 task마다 성능이 다를 수 있습니다.

감사합니다.

Implementation Code

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

dir = "DopeorNope/COKAL-ko-v1-70B"

model = AutoModelForCausalLM.from_pretrained(
        dir,
        return_dict=True,
        torch_dtype=torch.float16,
        device_map='auto'
)
tokenizer = AutoTokenizer.from_pretrained(dir)

---