t5-small-custom

Model Card for t5_small Summarization Model

Model Details

이 모델은 T5-small 모델을 CNN/Daily Mail 데이터셋으로 미세 조정한 요약 모델입니다. 이 모델은 Transformer Encoder-Decoder 아키텍처를 기반으로 하며, Hugging Face transformers 라이브러리를 사용하여 모델과 토크나이저를 관리합니다.

모델 유형: Transformer 기반 Encoder-Decoder 기반 모델: T5-small 작업: 텍스트 요약

Training Data

모델은 텍스트 요약 작업에 널리 사용되는 CNN/Daily Mail 데이터셋을 사용하여 미세 조정되었습니다. 이 데이터셋은 뉴스 기사와 그에 해당하는 요약문으로 구성되어 있으며, 긴 형식의 콘텐츠를 간결하게 요약하는 모델을 학습하기에 적합합니다.

데이터셋: CNN/Daily Mail 입력/출력 형식: 입력: 뉴스 기사 (전체 텍스트) 출력: 해당 기사의 짧고 간결한 요약문

Training Procedure

이 모델은 Hugging Face transformers 라이브러리를 사용하여 미세 조정되었습니다.

토크나이저: Hugging Face의 T5Tokenizer 모델: Hugging Face의 T5ForConditionalGeneration 최적화기: AdamW 학습 프레임워크: PyTorch 하이퍼파라미터: 배치 크기: 4 학습률: 2e-5 에포크 수: 1

How to Use

이 모델은 Hugging Face transformers 라이브러리를 사용하여 텍스트 요약 작업에 활용할 수 있습니다. 아래는 사용 예시 코드입니다:

from transformers import T5Tokenizer, T5ForConditionalGeneration

# 토크나이저와 모델 로드
tokenizer = T5Tokenizer.from_pretrained('t5-small')
model = T5ForConditionalGeneration.from_pretrained('t5-small')

# 요약할 텍스트 샘플
text = "요약할 텍스트 입력"

# 입력 텍스트 전처리
input_ids = tokenizer.encode("summarize: " + text, return_tensors="pt", max_length=512, truncation=True)

# 요약 생성
summary_ids = model.generate(input_ids, max_length=150, min_length=40, length_penalty=2.0, num_beams=4, early_stopping=True)

# 요약 디코드 및 출력
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
print(summary)

Evaluation

모델은 CNN/Daily Mail 테스트 세트를 사용하여 평가되었습니다. 요약 작업의 일반적인 평가 지표는 다음과 같습니다:

ROUGE 점수: 예측된 요약과 참조 요약 사이의 n-그램 중복을 측정합니다. ROUGE-1, ROUGE-2, ROUGE-L 지표가 사용되었습니다.

Limitations

모델은 CNN/Daily Mail 데이터셋에 포함되지 않은 도메인의 텍스트를 요약하는 데 어려움을 겪을 수 있습니다. 생성된 요약이 항상 사실적이거나 일관성이 높지는 않을 수 있습니다. 모델은 입력 토큰 길이의 최대값(512 토큰)으로 제한되므로, 긴 기사는 잘려서 중요한 문맥이 손실될 수 있습니다.

Ethical Considerations

편향: 사용된 CNN/Daily Mail 데이터셋에는 뉴스 보도에서 내재된 편향이 있을 수 있으며, 이는 생성된 요약에 반영될 수 있습니다. 허위 정보: 모델은 사실적으로 정확한 요약을 생성하는 것이 보장되지 않으며, 잘못된 정보나 편향된 내용을 생성할 수 있습니다. 사용 주의: 이 모델을 실제 응용 프로그램에 배포할 때는, 특히 언론이나 학계와 같은 정확성이 중요한 분야에서는 주의가 필요합니다.