Downloads · 30 days
24
4% of all-time downloads
saemzzang/EEVE-Korean-Instruct-10.8B-v1.0-saemzzang2-q4_k_s-gguf
EEVE-Korean-Instruct-10.8B-v1.0-saemzzang2-q4_k_s-gguf is a machine learning model from saemzzang. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for transformers. The card lists the license as apache-2.0.
- Developed by: saemzzang - License: apache-2.0 - Finetuned from model : yanolja/EEVE-Korean-Instruct-10.8B-v1.0
Downloads · 30 days
24
4% of all-time downloads
All-time downloads
590
Public
Repo size
27.8 GB
Likes
0
Public
Click a slice to open those files.
.gguf27.8 GB · 100%
From the Hugging Face model README
This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.
model = FastLanguageModel.get_peft_model(
model,
r=8, # 0보다 큰 어떤 숫자도 선택 가능! 8, 16, 32, 64, 128이 권장됩니다.
lora_alpha=16, # LoRA 알파 값을 설정합니다.
lora_dropout=0.05, # 드롭아웃을 지원합니다.
target_modules=[
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj",
], # 타겟 모듈을 지정합니다.
bias="none", # 바이어스를 지원합니다.
# True 또는 "unsloth"를 사용하여 매우 긴 컨텍스트에 대해 VRAM을 30% 덜 사용하고, 2배 더 큰 배치 크기를 지원합니다.
use_gradient_checkpointing="unsloth",
random_state=123, # 난수 상태를 설정합니다.
use_rslora=False, # 순위 안정화 LoRA를 지원합니다.
loftq_config=None, # LoftQ를 지원합니다.
)
from trl import SFTTrainer
from transformers import TrainingArguments
tokenizer.padding_side = "right" # 토크나이저의 패딩을 오른쪽으로 설정합니다.
# SFTTrainer를 사용하여 모델 학습 설정
trainer = SFTTrainer(
model=model, # 학습할 모델
tokenizer=tokenizer, # 토크나이저
train_dataset=dataset, # 학습 데이터셋
eval_dataset=dataset,
dataset_text_field="text", # 데이터셋에서 텍스트 필드의 이름
max_seq_length=max_seq_length, # 최대 시퀀스 길이
dataset_num_proc=2, # 데이터 처리에 사용할 프로세스 수
packing=False, # 짧은 시퀀스에 대한 학습 속도를 5배 빠르게 할 수 있음
args=TrainingArguments(
per_device_train_batch_size=2, # 각 디바이스당 훈련 배치 크기
gradient_accumulation_steps=4, # 그래디언트 누적 단계
warmup_steps=5, # 웜업 스텝 수
num_train_epochs=3, # 훈련 에폭 수
max_steps=120, # 최대 스텝 수
do_eval=True,
evaluation_strategy="steps",
logging_steps=1, # logging 스텝 수
learning_rate=2e-4, # 학습률
fp16=not torch.cuda.is_bf16_supported(), # fp16 사용 여부, bf16이 지원되지 않는 경우에만 사용
bf16=torch.cuda.is_bf16_supported(), # bf16 사용 여부, bf16이 지원되는 경우에만 사용
optim="adamw_8bit", # 최적화 알고리즘
weight_decay=0.01, # 가중치 감소
lr_scheduler_type="cosine", # 학습률 스케줄러 유형
seed=123, # 랜덤 시드
output_dir="outputs", # 출력 디렉토리
),
)