gpt2-medium355M-transport-cc

gpt2-medium355M-transport-cc

GPT-2 medium (355M) を、運送会社のカスタマーセンターを想定した指示応答データでファインチューニングしたモデルです。

学習データはMAGPIE（arXiv:2406.08464）の手法で Qwen/Qwen2.5-7B-Instruct を使い合成しました。指示と応答のペア1,000件のうち850件を学習に使用しています。（当初はmeta-llama/Meta-Llama-3-8B-Instructを使用していましたが、そのライセンス条項に抵触する可能性があったためApache 2.0で提供されているQwen2.5-7B-Instructに切り替えました。詳細はGitHubリポジトリのREADMEを参照してください。）

比較実験の詳細はZenn記事を参照してください。

学習・推論コード

このモデルは rasbt/LLMs-from-scratch（Apache License 2.0）のコードをベースにした独自の GPTModel クラス（Hugging Face transformers の GPT2LMHeadModel とは互換性がありません）で学習しています。読み込みには同梱の model_arch.py が必要です。

import torch
from model_arch import GPTModel

BASE_CONFIG = {
    "vocab_size": 50257,
    "context_length": 1024,
    "drop_rate": 0.0,
    "qkv_bias": True,
    "emb_dim": 1024,
    "n_layers": 24,
    "n_heads": 16,
}

model = GPTModel(BASE_CONFIG)
model.load_state_dict(torch.load("gpt2-medium355M-transport-cc.pth", map_location="cpu"))
model.eval()

既知の制約

• 推論時に貪欲法（greedy decoding, temperature=0）を使うと、同一フレーズを繰り返すループが発生することがあります。temperature や top_k を指定したサンプリングの使用を推奨します。
• 学習データは少量（850件）の合成データであり、実際の運送業務を正確に反映しているわけではありません。実運用には適していません。

ライセンス

• このリポジトリのコード（model_arch.py）: rasbt/LLMs-from-scratch 由来、Apache License 2.0
• ベースモデル（GPT-2事前学習済み重み）: OpenAI配布のModified MIT License