llm-jp-3-13b-finetune

以下は、elyza tasks 100TV jason1の回答のためのコードです。

python

python 3.10.12

!pip install -U pip !pip install -U transformers !pip install -U bitsandbytes !pip install -U accelerate !pip install -U datasets !pip install -U peft !pip install -U trl !pip install -U wandb !pip install ipywidgets --upgrade

from transformers import ( AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments, logging, ) from peft import ( LoraConfig, PeftModel, get_peft_model, ) import os, torch, gc from datasets import load_dataset import bitsandbytes as bnb from trl import SFTTrainer

Hugging Face Token

HF_TOKEN = "my token"

モデルを読み込み。

llm-jp-3 1.8B, 3.7B, 13Bのsnapshotをダウンロード済みでmodelsディレクトリに格納してあります。

base_model_idの値はomnicampusの環境におけるモデルのパスを表しており、それ以外の環境で実行する場合は変更の必要があります。

その他のモデルは取得に承諾が必要なため、各自でダウンロードお願いします。

base_model_id = "models/models--llm-jp--llm-jp-3-13b/snapshots/cd3823f4c1fcbb0ad2e2af46036ab1b0ca13192a" #Fine-Tuningするベースモデル

omnicampus以外の環境をご利用の方は以下をご利用ください。

base_model_id = "llm-jp/llm-jp-3-13b"

new_model_id = "llm-jp-3-13b-finetune" #Fine-Tuningしたモデルにつけたい名前

""" bnb_config: 量子化の設定

• load_in_4bit:

  • 4bit量子化形式でモデルをロード

• bnb_4bit_quant_type:

  • 量子化の形式を指定

• bnb_4bit_compute_dtype:

  • 量子化された重みを用いて計算する際のデータ型

"""

bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", # nf4は通常のINT4より精度が高く、ニューラルネットワークの分布に最適です bnb_4bit_compute_dtype=torch.bfloat16, )

""" model: モデル

• base_model:

  • 読み込むベースモデル (事前に定義したもの)

• quantization_config:

  • bnb_configで設定した量子化設定

• device_map:

  • モデルを割り当てるデバイス (CPU/GPU) "auto"で自動に割り当てられます。

tokenizer: トークナイザー

• base_model:

  • 読み込むベースモデル (事前に定義したもの)

• trust_remote_code:

  • リモートコードの実行を許可 (カスタムモデルなど) """ model = AutoModelForCausalLM.from_pretrained( base_model_id, quantization_config=bnb_config, device_map="auto" )

tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)

""" find_all_linear_names: モデル内の4bit量子化線形層を探します。 """

def find_all_linear_names(model): cls = bnb.nn.Linear4bit # 4bit量子化線形層クラスを指定 lora_module_names = set() # ここに取得した線形層を保持します。

# モデル内の全てのモジュールを探索します
for name, module in model.named_modules():
    if isinstance(module, cls): # モジュールが4bit量子化線形層の場合
        names = name.split('.') # モジュールの名前を分割 (ネストされてる際などに対処)
        lora_module_names.add(names[0] if len(names) == 1 else names[-1]) # 最下層の名前をlora_module_namesに追加

# 'lm_head' は16ビット演算の際に除外する必要があるため、lora_module_namesから削除
if 'lm_head' in lora_module_names:
    lora_module_names.remove('lm_head')

return list(lora_module_names) # lora_module_namesをリストに変換して返します。

modules = find_all_linear_names(model)

""" peft_config: PEFTの構成設定

• r

  • LoRA のランク (4, 8, 16 ,32...)
  • 増やすほど学習が捗るが, 過学習のリスクも高まるので注意

• lora_alpha

  • LoRAのスケーリング係数

• lora_dropout

  • ドロップアウト率（過学習を防ぐための割合）

• bias

  • バイアス項の扱い ("none"の場合、LoRAはバイアスを学習しない)

• task_type

  • タスクタイプ

• target_modules

  • LoRAを適用するターゲットモジュール (前のコードで特定した層) """

peft_config = LoraConfig( r=8, lora_alpha=16, lora_dropout=0.1, bias="none", task_type="CAUSAL_LM", target_modules=modules, )

model = get_peft_model(model, peft_config)

""" 学習に用いるデータセットの指定 今回はLLM-jp の公開している Ichikara Instruction を使います。データにアクセスするためには申請が必要ですので、使いたい方のみ申請をしてください。 Ichikara Instruciton を Hugging Face Hub にて公開することはお控えください。
また、CC-BY-NC-SAですのでモデルはライセンスを継承する前提でお使いください。

下記のリンクから申請を終えた先に Google Drive があり、Distribution20241221_all というフォルダごとダウンロードしてください。 今回は「ichikara-instruction-003-001-1.json」を使います。必要であれば展開（!unzip など）し、データセットのパスを適切に指定してください。 omnicampusの開発環境では取得したデータを左側にドラッグアンドドロップしてお使いください。

https://liat-aip.sakura.ne.jp/wp/llmのための日本語インストラクションデータ作成/llmのための日本語インストラクションデータ-公開/ 関根聡, 安藤まや, 後藤美知子, 鈴木久美, 河原大輔, 井之上直也, 乾健太郎. ichikara-instruction: LLMのための日本語インストラクションデータの構築. 言語処理学会第30回年次大会(2024)

"""

dataset = load_dataset("json", data_files="./Distribution20241221_all/ichikara-instruction-003-001-1.json") dataset

学習時のプロンプトフォーマットの定義

prompt = """### 指示 {}

回答

{}"""

""" formatting_prompts_func: 各データをプロンプトに合わせた形式に合わせる """ EOS_TOKEN = tokenizer.eos_token # トークナイザーのEOSトークン（文末トークン） def formatting_prompts_func(examples): input = examples["text"] # 入力データ output = examples["output"] # 出力データ text = prompt.format(input, output) + EOS_TOKEN # プロンプトの作成 return { "formatted_text" : text, } # 新しいフィールド "formatted_text" を返す pass

# 各データにフォーマットを適用

dataset = dataset.map( formatting_prompts_func, num_proc= 4, # 並列処理数を指定 )

dataset

データを確認

print(dataset["train"]["formatted_text"][3])

データをtrainデータとtestデータに分割 (test_sizeの比率に)

dataset = dataset["train"].train_test_split(test_size=0.1)

dataset

""" training_arguments: 学習の設定

• output_dir: -トレーニング後のモデルを保存するディレクトリ

• per_device_train_batch_size:

  • デバイスごとのトレーニングバッチサイズ

• per_device_ _batch_size:

  • デバイスごとの評価バッチサイズ

• gradient_accumulation_steps:

  • 勾配を更新する前にステップを積み重ねる回数

• optim:

  • オプティマイザの設定

• num_train_epochs:

  • エポック数

• eval_strategy:

  • 評価の戦略 ("no"/"steps"/"epoch")

• eval_steps:

  • eval_strategyが"steps"のとき、評価を行うstep間隔

• logging_strategy:

  • ログ記録の戦略

• logging_steps:

  • ログを出力するステップ間隔

• warmup_steps:

  • 学習率のウォームアップステップ数

• save_steps:

  • モデルを保存するステップ間隔

• save_total_limit:

  • 保存しておくcheckpointの数

• max_steps:

  • トレーニングの最大ステップ数

• learning_rate:

  • 学習率

• fp16:

  • 16bit浮動小数点の使用設定（第8回演習を参考にすると良いです）

• bf16:

  • BFloat16の使用設定

• group_by_length:

  • 入力シーケンスの長さによりバッチをグループ化 (トレーニングの効率化)

• report_to:

  • ログの送信先 ("wandb"/"tensorboard"など) """

training_arguments = TrainingArguments( output_dir=new_model_id, per_device_train_batch_size=1, # GPUメモリ許す限り大きめに gradient_accumulation_steps=4, # 有効バッチサイズ16相当 optim="adamw_torch", # 安定・標準的なAdamW実装 num_train_epochs=3, # データセット規模に応じて調整 logging_strategy="steps", logging_steps=50, # ログ出力頻度を緩和 warmup_steps=500, # 総ステップ数に応じて増やす save_steps=1000, # 保存頻度をやや低減 save_total_limit=2, max_steps=-1, # 必要に応じてmax_stepsを指定 learning_rate=2e-5, # より低めの学習率で安定化 fp16=True, # bf16対応GPUならbf16=True bf16=False, seed=777, group_by_length=True, report_to="tensorboard" # 学習状況可視化用（不要なら"none"） )

""" SFTTrainer: Supervised Fine-Tuningに関する設定

• model:

  • 読み込んだベースのモデル

• train_dataset:

  • トレーニングに使用するデータセット

• eval_dataset:

  • 評価に使用するデータセット

• peft_config:

  • PEFT（Parameter-Efficient Fine-Tuning）の設定（LoRAを利用する場合に指定）

• max_seq_length:

  • モデルに入力されるシーケンスの最大トークン長

• dataset_text_field:

  • データセット内の学習に使うテキストを含むフィールド名

• tokenizer:

  • モデルに対応するトークナイザー

• args:

  • トレーニングに使用するハイパーパラメータ（TrainingArgumentsの設定を指定）

• packing:

  • 入力シーケンスのパッキングを行うかどうかの設定 (False に設定することで、各入力を独立して扱う) """ trainer = SFTTrainer( model=model, train_dataset=dataset["train"], peft_config=peft_config, max_seq_length= 1024, dataset_text_field="formatted_text", tokenizer=tokenizer, args=training_arguments, packing= False, )

model.config.use_cache = False # キャッシュ機能を無効化 trainer.train() # トレーニングを実行

タスクとなるデータの読み込み。

omnicampusの開発環境では、左にタスクのjsonlをドラッグアンドドロップしてから実行。

import json datasets = [] with open("./elyza-tasks-100-TV_0.jsonl", "r") as f: item = "" for line in f: line = line.strip() item += line if item.endswith("}"): datasets.append(json.loads(item)) item = ""

モデルによるタスクの推論。

from tqdm import tqdm

results = [] for data in tqdm(datasets):

input = data["input"]

prompt = f"""### 指示\n 簡潔に回答してください。例を参考に解答してください。\n例1. (問題1)ハドソン川はどの国にありますか。\n(回答1)アメリカ \n(問題2)戦争は世界の多くの人々にとって利益がありますか。\n(回答2)戦争により多くの人が死ぬため戦争は良くない。\n {input} 内容を踏まえて、出来る限り簡潔に回答してください\n

回答\n

"""

tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device) attention_mask = torch.ones_like(tokenized_input)

with torch.no_grad(): outputs = model.generate( tokenized_input, attention_mask=attention_mask, max_new_tokens=100, do_sample=False, repetition_penalty=1.2, pad_token_id=tokenizer.eos_token_id )[0] output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)

results.append({"task_id": data["task_id"], "input": input, "output": output})

こちらで生成されたjsolを提出してください。

本コードではinputとeval_aspectも含んでいますが、なくても問題ありません。

必須なのはtask_idとoutputとなります。

import re jsonl_id = re.sub(".*/", "", new_model_id) with open(f"./{jsonl_id}-outputs.jsonl", 'w', encoding='utf-8') as f: for result in results: json.dump(result, f, ensure_ascii=False) # ensure_ascii=False for handling non-ASCII characters f.write('\n')

モデルとトークナイザーをHugging Faceにアップロード

model.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving tokenizer.push_to_hub(new_model_id, token=HF_TOKEN, private=True) # Online saving