klue-roberta-large-reader-noNewline

설명

'\n'을 제거한 데이터셋으로 학습시킨 모델.

사용한 arguments

python train.py --output_dir ${MODEL_PATH} \
                --wandb_name ${WANDB_NAME} \
                --do_train --do_eval \
                --model_name_or_path "klue/roberta-large" \
                --dataset_name ../data/noNewline_train_dataset \
                --save_strategy steps \
                --save_steps 500 \
                --save_total_limit 1 \
                --logging_steps 100 \
                --evaluation_strategy steps \
                --eval_steps 500 \
                --per_device_train_batch_size 8 \
                --per_device_eval_batch_size 8 \
                --learning_rate 5e-5 \
                --weight_decay 0.0 \
                --num_train_epochs 3.0 \
                --lr_scheduler_type linear \
                --warmup_ratio 0.0 \
                --report_to wandb