rc3phi-4-mini-reasoning-lora-adapter

rc3phi-4-mini-reasoning-lora-adapter

モデル概要

このモデルはmicrosoft/Phi-4-mini-reasoningをベースとしたLoRAアダプターモデルです。

• ベースモデル: microsoft/Phi-4-mini-reasoning
• モデルタイプ: LoRA Adapter
• 言語: 日本語、英語
• ライセンス: MIT
• 訓練日時: 2025-06-11 19:08:49

訓練詳細

データセット

• データセットファイル: constitution_qa.jsonl
• サンプル数: 60 件
• 最大トークン長: 8192
• データ形式: JSONL (対話形式)

訓練パラメータ

• 訓練可能パラメータ: 25,165,824 個
• 総パラメータ: 3,861,187,584 個
• 訓練可能割合: 0.6518%
• エポック数: 1
• バッチサイズ: 4
• 学習率: 0.0001
• データセットサイズ: 60 サンプル
• 訓練時間: 0:00:09.948430

LoRA設定

• LoRA Rank (r): 128
• LoRA Alpha: 256
• LoRA Dropout: 0.05
• 対象モジュール: q_proj, k_proj, v_proj, o_proj, fc1, fc2, dense

使用方法

LoRAアダプターとして使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# ベースモデルを読み込み
base_model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-4-mini-reasoning",
    torch_dtype=torch.float16,
    device_map="auto"
)

# トークナイザーを読み込み
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-mini-reasoning")

# LoRAアダプターを適用
model = PeftModel.from_pretrained(base_model, "eyepyon/rc3phi-4-mini-reasoning-lora-adapter")

# 推論の実行
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):]

# 使用例
prompt = "Human: こんにちは！\n\nAssistant: "
response = generate_response(prompt)
print(response)

パフォーマンス

このモデルは以下のタスクに特化して訓練されています：

• 質問応答
• 対話生成
• テキスト生成

制限事項

• このモデルは特定のドメインでファインチューニングされているため、汎用的な用途には適さない場合があります
• 生成されるテキストの正確性については、使用前に検証することを推奨します
• バイアスが含まれる可能性があります

倫理的考慮事項

• このモデルの出力は教育・研究目的での使用を想定しています
• 有害なコンテンツの生成を避けるため、適切なフィルタリングを実装することを推奨します
• 商用利用の際は、出力内容について十分な検証を行ってください

引用

@misc{rc3phi_4_mini_reasoning_lora_adapter,
  title={rc3phi-4-mini-reasoning-lora-adapter},
  author={Your Name},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/eyepyon/rc3phi-4-mini-reasoning-lora-adapter}
}

謝辞

• ベースモデル: microsoft/Phi-4-mini-reasoning
• LoRA実装: PEFT
• 訓練フレームワーク: Transformers

更新履歴

• v1.0 (2025-06-11): 初回リリース

お問い合わせ

モデルに関する質問や改善提案がございましたら、リポジトリのIssueまでお気軽にご連絡ください。