llm-jp-3-13b-it

Model Card for Model ID

• ベースモデル : llm-jp/llm-jp-3-13b
• 対応言語 : English, Japanese
• ライセンス : apache-2.0

注意

1. プロンプトは次の形式でのみ学習しています。
2. モデルはアダプターのみですので，利用する際はベースモデルのllm-jp/llm-jp-3-13bも読み込むようにしてください。

"""
<s>以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい

### 指示:
{instruction}

### 応答:
"""

テキスト生成のサンプルコード

import torch
from transformers import (
    AutoTokenizer,
    AutoModelForCausalLM,
    BitsAndBytesConfig,
)
from peft import LoraConfig, PeftModel
from transformers import TextStreamer


BASE_MODEL = "llm-jp/llm-jp-3-13b"
PEFT_MODEL = "togepi55/llm-jp-3-13b-it"

tokenizer = AutoTokenizer.from_pretrained(PEFT_MODEL)
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_use_double_quant=False,
)

base_model = AutoModelForCausalLM.from_pretrained(
            BASE_MODEL,
            device_map="auto",
            quantization_config=bnb_config,
            torch_dtype="auto",
            trust_remote_code=True,
        )


model = PeftModel.from_pretrained(base_model, PEFT_MODEL)

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)


instruction = "東京は日本の"

prompt = f"<s>以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい\n\n### 指示:\n{instruction}\n\n### 応答:\n"
print(prompt)
model_input = tokenizer(prompt, return_tensors="pt").to(model.device)
input_ids = model_input["input_ids"]

model.eval()
with torch.no_grad():
    result = model.generate(
              input_ids,
              max_new_tokens=300,
              attention_mask = model_input.attention_mask,
              pad_token_id=tokenizer.pad_token_id,
              eos_token_id=tokenizer.eos_token_id,
              do_sample=False,
              streamer=streamer,
              repetition_penalty=1.02,
          )
    print("----"*20)
    del input_ids
    torch.cuda.empty_cache()

Bias, Risks, and Limitations

RLHF，DPOを実施していないため不適切な表現が出力される可能性があります。

Training Details

指示チューニングデータとして下記のものを利用しました。

• ichikara-instruction-003-001-1.json
• ichikara-instruction-003-002-1.json
• elyza/ELYZA-tasks-100

ライセンス

• ichikara-instructionデータセットのライセンスはcc-by-nc-sa，ELYZA-tasks-100のライセンスはcc-by-sa-4.0になっております。

SFTの概要

• 4bit量子化
• LoRAによるSFT
• learning_rate = 2e-4
• optim="adamw_torch_fused"
• lr_scheduler_type="cosine"
• weight_decay=0.01