gemma-2-9b-it-jp-1209

Uploaded model

• Developed by: Norimasa
• License: gemma
• Finetuned from model : google/gemma-2-9b This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>

本モデルの目的

東大松尾岩澤研究室の講義で、最終課題として与えられた大言語モデルの改良を行ったもの。 gemma-2-9bをベースにしてmagpieデータでSFTを行った。

使用例

前提条件

Python環境があること（例: Google ColabのT4で動作確認） Hugging Faceのアクセストークン (HF_TOKEN) が取得済みであること

必要なライブラリのインストール

%%capture
!pip install unsloth
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

Hugging Faceのトークンを取得していることを確認してください。以下はGoogle Colabでuserdataを使う例です（実行環境に合わせて適宜変更してください）。

from google.colab import userdata
HF_TOKEN = userdata.get('HF_TOKEN')

モデル、トーカナイザーをロード

# モデル名
model_name = "Norimasa/gemma-2-9b-it-jp-1209"

# モデルとトーカナイザーのロード
import os
max_seq_length = 2048
dtype = None
load_in_4bit = True
HF_TOKEN = os.environ.get("LLM_Write") # Replace "HF_TOKEN" with the actual environment variable name if different.

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = model_name,
    max_seq_length = max_seq_length,
    dtype = dtype,
    load_in_4bit = load_in_4bit,
    token = HF_TOKEN,
)
FastLanguageModel.for_inference(model)

モデルを使用した生成

input_text = "新しい年にふさわしい詩"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, max_new_tokens=200)
print(tokenizer.decode(outputs[0]))