Llama-3.2-Rabbit-Ko-3B-Instruct-2412

Model Description

Model Details

• Name: Carrot Llama-3.2 Rabbit Ko 2412
• Version: 3B Instruct
• Base Model: CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct
• Languages: Korean, English
• Model Type: Large Language Model (Instruction-tuned)

Training Process

본 모델은 다음과 같은 주요 훈련 단계를 거쳤습니다:

1. SFT (Supervised Fine-Tuning)

   • 고품질 한국어 및 영어 데이터셋을 사용하여 기본 모델을 세부 조정

2. DPO (Direct Preference Optimization)

   • 인간의 선호도를 직접적으로 반영하여 모델의 응답 품질 개선

Limitations

• 3B 파라미터 규모로 인한 복잡한 작업에서의 제한적 성능
• 특정 도메인에 대한 깊이 있는 전문성 부족
• 편향성 및 환각 가능성

Ethics Statement

모델 개발 과정에서 윤리적 고려사항을 최대한 반영하였으나, 사용자는 항상 결과를 비판적으로 검토해야 합니다.

How to Use

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412")
tokenizer = AutoTokenizer.from_pretrained("CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412")

Score

Performance Metrics

LogicKor

@article{Llama3.2RabbitKo3BInstruct,
  title={CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412 Card},
  author={CarrotAI (L, GEUN)},
  year={2024},
  url = {https://huggingface.co/CarrotAI/Llama-3.2-Rabbit-Ko-3B-Instruct-2412}
}