llm-jp-3-13b-finetune

llm-jp-3-13b-finetune

概要

このプロジェクトでは、llm-jp-3-13b モデルを日本語インストラクションデータセットを用いてファインチューニングし、Hugging Faceにアップロードしました。以下の方法で、このファインチューニング済みモデルを使用して、推論やタスクを実行できます。

• モデル名: llm-jp-3-13b-finetune
• ベースモデル: llm-jp-3-13b
• Hugging Faceページ: yoshi1203/llm-jp-3-13b-finetune

モデルのダウンロード方法

Hugging Faceのモデルページから直接、モデルをダウンロードできます。以下のコマンドでローカルにモデルを取得してください。

huggingface-cli login  # Hugging Faceにログインしておく必要があります。
huggingface-cli repo download yoshi1203/llm-jp-3-13b-finetune --dir ./model_directory

• model_directory は、モデルを保存するローカルディレクトリのパスに置き換えてください。

モデルのロード方法

transformers ライブラリを使用して、ファインチューニング済みモデルをロードします。以下の例では、transformers を使用してモデルをロードし、推論を行う方法を示します。

from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザをロード
model_name = "yoshi1203/llm-jp-3-13b-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

これにより、指定したモデル名 (llm-jp-3-13b-finetune) がロードされます。

推論方法

以下は、ロードしたモデルを使用して推論を実行する方法の例です。これにより、テキストの生成を行うことができます。

# 入力するテキスト
input_text = "日本語で書いてください："

# 推論を実行
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=50)

# 出力結果の表示
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

このコードは、与えられた入力に対してモデルが生成した結果を表示します。

モデルの推論環境

• 使用するフレームワーク: transformers (Hugging Face)
• Pythonバージョン: 推奨される Python のバージョン (3.8以上)

注意点

• モデルのサイズが大きいため、メモリや計算能力に注意してください。
• 推論を実行する際には、CPUまたはGPUの利用環境が整っている必要があります。

ファインチューニングの詳細

本モデルは、以下の設定でファインチューニングされました：

• ベースモデル: llm-jp-3-13b
• データセット: Ichikara Instruction（申請が必要）
• ファインチューニング方法: 4bit量子化とSFT（Soft Prompt Tuning）