rc3deepseek-r1-1.5b-lora-adapter

rc3deepseek-r1-1.5b-lora-adapter

モデル概要

このモデルはdeepseek-ai/DeepSeek-R1-Distill-Qwen-1.5BをベースとしたLoRAアダプターモデルです。

• ベースモデル: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
• モデルタイプ: LoRA Adapter
• 言語: 日本語、英語
• ライセンス: MIT
• 訓練日時: 2025-06-10 07:02:23

訓練詳細

データセット

• データセットファイル: constitution_qa.jsonl
• サンプル数: 60 件
• 最大トークン長: 32768
• データ形式: JSONL (対話形式)

訓練パラメータ

• 訓練可能パラメータ: 147,718,144 個
• 総パラメータ: 1,924,806,144 個
• 訓練可能割合: 7.6744%
• エポック数: 2
• バッチサイズ: 8
• 学習率: 1e-05
• データセットサイズ: 60 サンプル
• 訓練時間: 0:00:13.949486

LoRA設定

• LoRA Rank (r): 128
• LoRA Alpha: 256
• LoRA Dropout: 0.05
• 対象モジュール: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj

使用方法

LoRAアダプターとして使用

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# ベースモデルを読み込み
base_model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B",
    torch_dtype=torch.float16,
    device_map="auto"
)

# トークナイザーを読み込み
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B")

# LoRAアダプターを適用
model = PeftModel.from_pretrained(base_model, "eyepyon/rc3deepseek-r1-1.5b-lora-adapter")

# 推論の実行
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response[len(prompt):]

# 使用例
prompt = "Human: こんにちは！\n\nAssistant: "
response = generate_response(prompt)
print(response)

パフォーマンス

このモデルは以下のタスクに特化して訓練されています：

• 質問応答
• 対話生成
• テキスト生成

制限事項

• このモデルは特定のドメインでファインチューニングされているため、汎用的な用途には適さない場合があります
• 生成されるテキストの正確性については、使用前に検証することを推奨します
• バイアスが含まれる可能性があります

倫理的考慮事項

• このモデルの出力は教育・研究目的での使用を想定しています
• 有害なコンテンツの生成を避けるため、適切なフィルタリングを実装することを推奨します
• 商用利用の際は、出力内容について十分な検証を行ってください

引用

@misc{rc3deepseek_r1_1.5b_lora_adapter,
  title={rc3deepseek-r1-1.5b-lora-adapter},
  author={Your Name},
  year={2025},
  publisher={Hugging Face},
  url={https://huggingface.co/eyepyon/rc3deepseek-r1-1.5b-lora-adapter}
}

謝辞

• ベースモデル: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
• LoRA実装: PEFT
• 訓練フレームワーク: Transformers

更新履歴

• v1.0 (2025-06-10): 初回リリース

お問い合わせ

モデルに関する質問や改善提案がございましたら、リポジトリのIssueまでお気軽にご連絡ください。