kobart-summary-v2

kobart-summary

• 이 모델은 kobart모델을 문서요약, 도서자료요약, 요약문 및 레포트 생성 데이터 데이터로 fine-tuning한 모델입니다.

How to use

from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration

# Load Model and Tokenizer
tokenizer = PreTrainedTokenizerFast.from_pretrained("EbanLee/kobart-summary-v2")
model = BartForConditionalGeneration.from_pretrained("EbanLee/kobart-summary-v2")

# Encoding
input_text = "일반적으로 로컬푸드 농산물은 도매시장 경매가보다 높고 소매가보다 낮은 수준에서 가격이 결정된다. 농가들이 자율적으로 가격을 결정하고 있지만, 시장가격을 참고하기 때문에 대체로 적정한 가격이 설정된다. 문제는 태풍, 폭우, 폭염 또는 공급과잉에 따른 시장가격 등락이 심해질 때이다. 완주군 로컬푸드 협동조합은 위와 같이 외부요인에 의해 농산물 가격에 급등락이 발생했을 때에도 연중 일정 수준의 가격으로 판매되도록 유통 안정 기금을 운용하고 있다. 그리고 농산물 출하자에게 사전에 동의를 구해 일부 관리 품목은 가격 상하한 및 판매량을 조절해 납품하도록 교육하고 있다."
input_ids = tokenizer.encode(input_text, return_tensors="pt", padding="max_length", truncation=True, max_length=1026)

# Generate Summary Text Ids
summary_text_ids = model.generate(
input_ids=input_ids,
bos_token_id=model.config.bos_token_id,
eos_token_id=model.config.eos_token_id,
length_penalty=1.5,
max_length=256,
min_length=12,
num_beams=6,
repetition_penalty=1.5,
)

# Decoding Text Ids
print(tokenizer.decode(summary_text_ids[0], skip_special_tokens=True))