llm-jp-3-13b-finetune

Model Card for Model ID

<!-- Provide a quick summary of what the model is/does. -->

タイプ: Transformer-based Language Model

トレーニングデータ: LLM-jp の公開している Ichikara Instruction

https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/

関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)

タスク: elyza_100_tv のベンチマークに対する応答

Sample Use

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from tqdm import tqdm

model_id = "Hiroyuki01/llm-jp-3-13b-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id) 
model = AutoModelForCausalLM.from_pretrained(model_id)

### 推論の実行
prompt = "### 指示\n今日の天気は？\n### 回答\n" # 推論させたい指示 
inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate(**inputs) 
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

### pipeline を使用する場合
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer) print(pipe(prompt)[0]['generated_text'])

### タスクの推論
def run_inference(datasets, model, tokenizer): results = [] for data in tqdm(datasets): input_text = data["input"] prompt = f"""### 指示\n{input_text}\n### 回答\n"""

    tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
    attention_mask = torch.ones_like(tokenized_input)

    with torch.no_grad():
        outputs = model.generate(
            tokenized_input,
            attention_mask=attention_mask,
            max_new_tokens=100,
            do_sample=False,
            repetition_penalty=1.2,
            pad_token_id=tokenizer.eos_token_id
        )[0]
    output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)

    results.append({"task_id": data["task_id"], "input": input_text, "output": output})
    return results