llm-jp-3-13b-finetune

llm-jp-3-13b-finetune

概要

このリポジトリは、llm-jp/llm-jp-3-13b ベースモデルに LoRA (Low-Rank Adaptation) と ichikara を利用して、ELYZA-tasks-100-TV ベンチマークタスクに特化した微調整を行ったモデルです。

---

ベースモデル

• llm-jp/llm-jp-3-13b：事前学習済みの日本語大規模言語モデル

---

データセット

本モデルの学習には、以下のデータセットを使用しました：

• Ichikara Instruction データセット（ichikara-instruction-003-001-1.json）

  • 取得方法：
    データにアクセスするには、以下のリンクから申請が必要です。
    LLMのための日本語インストラクションデータ作成
    ichikara-instruction-003-001-1.json を利用しました。

  • ライセンス：CC-BY-NC-SA
    モデルはライセンスを継承する前提で利用しています。

---

学習方法

このモデルは、以下の手順でファインチューニングされました：

1. データセット：
   ichikara-instruction-003-001-1.json を利用して学習を行いました。

2. 学習フレームワーク：

   • LoRA (Low-Rank Adaptation) を使用。
   • 学習を高速化・効率化するために ichikara フレームワークを利用。

3. 保存：
   学習済みLoRAアダプタを Hugging Face Hub にアップロード。

---

利用方法

1. 必要ライブラリのインストール

以下のライブラリを事前にインストールしてください：

pip install transformers peft torch ichikara datasets

2. モデルのロードと推論

以下のコードを使用して、HuggingFaceからモデルとトークナイザーをロードし、推論を実行します：

from peft import PeftModel

# モデルID（Hugging Face Hub）
model_id = "yurikomium/llm-jp-3-13b-finetune"

# ベースモデルをロード
base_model_id = "llm-jp/llm-jp-3-13b"
base_model = AutoModelForCausalLM.from_pretrained(base_model_id, device_map="auto")

# LoRAアダプタを適用
model = PeftModel.from_pretrained(base_model, model_id)

# トークナイザーのロード
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 推論実行
prompt = "日本の未来について考えを述べてください。"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=50)

# 結果を表示
print(tokenizer.decode(outputs[0], skip_special_tokens=True))