llm-jp-3-13b-LoRA-fulljson

LLM-JP Fine-tuned Model Evaluation

このプロジェクトは、LLM-JP モデルを LoRA で fine-tuning したモデルを評価するためのものです。

必要なライブラリ

以下のライブラリをインストールしてください：

pip install -U bitsandbytes transformers accelerate datasets peft

使用方法

1. 必要なライブラリをインストールします。

2. 以下の変数を設定します：

   • base_model_id: "llm-jp/llm-jp-3-13b"
   • adapter_id: "holyday/llm-jp-3-13b-LoRA-fulljson"
   • HF_TOKEN: Hugging Face の認証トークン

3. データセットを準備します。以下のファイルを使用します：

   • ichikara-instruction-003-001-1.json
   • ichikara-instruction-003-001-2.1.json
   • ichikara-instruction-003-001-2.2.json
   • ichikara-instruction-003-001-5.1.json
   • ichikara-instruction-003-001-5.2.json

4. スクリプトを実行します。

コードの概要

# 必要なライブラリのインポート
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import torch
from tqdm import tqdm
import json

# モデルとトークナイザーの設定
base_model_id = "llm-jp/llm-jp-3-13b"
adapter_id = "holyday/llm-jp-3-13b-LoRA-fulljson"

# QLoRA の設定
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

# モデルの読み込み
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    quantization_config=bnb_config,
    device_map="auto",
    token=HF_TOKEN
)

# トークナイザーの読み込み
tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True, token=HF_TOKEN)

# LoRA アダプターの統合
model = PeftModel.from_pretrained(model, adapter_id, token=HF_TOKEN)

# データセットの読み込み
datasets = []
with open("path/to/your/dataset.jsonl", "r") as f:
    item = ""
    for line in f:
        line = line.strip()
        item += line
        if item.endswith("}"):
            datasets.append(json.loads(item))
            item = ""

# モデルの実行と結果の生成
results = []
for data in tqdm(datasets):
    input = data["input"]
    prompt = f"""### 指示
    {input}
    ### 回答
    """
    
    tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
    attention_mask = torch.ones_like(tokenized_input)
    with torch.no_grad():
        outputs = model.generate(
            tokenized_input,
            attention_mask=attention_mask,
            max_new_tokens=2048,
            do_sample=False,
            repetition_penalty=1.2,
            pad_token_id=tokenizer.eos_token_id
        )[0]
    output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
    
    results.append({"task_id": data["task_id"], "input": input, "output": output})

# 結果の保存
import re
jsonl_id = re.sub(".*/", "", adapter_id)
with open(f"./{jsonl_id}-200-outputs.jsonl", 'w', encoding='utf-8') as f:
    for result in results:
        json.dump(result, f, ensure_ascii=False)
        f.write('\n')

出力

結果は {adapter_id}-200-outputs.jsonl という名前のファイルに保存されます。各行は以下の形式の JSON オブジェクトです：

{"task_id": "タスクID", "input": "入力テキスト", "output": "モデルの出力"}

注意事項

• Hugging Face のトークンが必要です。
• GPU 環境での実行を推奨します。
• データセットのパスは適宜調整してください。
• 使用するデータセットファイルは、コード内の path/to/your/dataset.jsonl を適切なパスに変更してください。