rc4rinna-gpt2-medium-lora-adapter

rc4rinna-gpt2-medium-lora-adapter

モデル概要

このモデルはrinna/japanese-gpt2-mediumをベースとしたLoRAアダプターモデルです。

• ベースモデル: rinna/japanese-gpt2-medium
• モデルタイプ: LoRA Adapter
• 言語: 日本語、英語
• ライセンス: MIT
• 訓練日時: 2025-06-12 03:40:14

訓練詳細

データセット

• データセットファイル: constitution_chat.jsonl
• サンプル数: 60 件
• 最大トークン長: 1024
• データ形式: JSONL (対話形式)

訓練パラメータ

• 訓練可能パラメータ: 12,582,912 個
• 総パラメータ: 348,710,912 個
• 訓練可能割合: 3.6084%
• エポック数: 3
• バッチサイズ: 4
• 学習率: 5e-05
• データセットサイズ: 60 サンプル
• 訓練時間: 0:00:08.025371

LoRA設定

• LoRA Rank (r): 32
• LoRA Alpha: 64
• LoRA Dropout: 0.1
• 対象モジュール: c_attn, c_proj, c_fc

使用方法

LoRAアダプターとして使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# ベースモデルを読み込み
base_model = AutoModelForCausalLM.from_pretrained(
    "rinna/japanese-gpt2-medium",
    torch_dtype=torch.float16,
    device_map="auto"
)

# トークナイザーを読み込み
tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt2-medium")

# LoRAアダプターを適用
model = PeftModel.from_pretrained(base_model, "eyepyon/rc4rinna-gpt2-medium-lora-adapter")

# 推論の実行
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):]

# 使用例
prompt = "Human: こんにちは！\n\nAssistant: "
response = generate_response(prompt)
print(response)

パフォーマンス

このモデルは以下のタスクに特化して訓練されています：

• 質問応答
• 対話生成
• テキスト生成

制限事項

• このモデルは特定のドメインでファインチューニングされているため、汎用的な用途には適さない場合があります
• 生成されるテキストの正確性については、使用前に検証することを推奨します
• バイアスが含まれる可能性があります

倫理的考慮事項

• このモデルの出力は教育・研究目的での使用を想定しています
• 有害なコンテンツの生成を避けるため、適切なフィルタリングを実装することを推奨します
• 商用利用の際は、出力内容について十分な検証を行ってください

引用

@misc{rc4rinna_gpt2_medium_lora_adapter,
  title={rc4rinna-gpt2-medium-lora-adapter},
  author={Your Name},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/eyepyon/rc4rinna-gpt2-medium-lora-adapter}
}

謝辞

• ベースモデル: rinna/japanese-gpt2-medium
• LoRA実装: PEFT
• 訓練フレームワーク: Transformers

更新履歴

• v1.0 (2025-06-12): 初回リリース

お問い合わせ

モデルに関する質問や改善提案がございましたら、リポジトリのIssueまでお気軽にご連絡ください。