tzem-instruct

tzem 모델을 instruct 데이터로 파인튜닝 한 모델입니다.

프롬프트 템플릿

**사용자:** {prompt}
**인공지능:**

사용

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "blueapple8259/tzem-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

prompt = "여기에 프롬프트 입력"

text = f"**사용자:** {prompt}\n**인공지능:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(
    **inputs,
    max_new_tokens=100,
    pad_token_id=tokenizer.pad_token_id,
    eos_token_id=tokenizer.eos_token_id,
    do_sample=True,
    top_p=0.2,
)

output = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(output)

예시

**사용자:** 인터넷 브라우저에 대해 알려줘.
**인공지능:** 인터넷 브라우저는 인터넷에서 정보를 검색하고, 다른 사용자와 소통하는 데 사용되는 소프트웨어입니다.

**사용자:** 건강을 유지하기 위한 세 가지 팁을 알려주세요.
**인공지능:** 1. 충분한 수면을 취하세요.
2. 건강한 식단을 섭취하세요.
3. 규칙적으로 운동하세요.

데이터셋

• maywell/koVast

• KoAlpaca - 코드, 표가 포함된 데이터 제외