llm-jp-3-13b-finetune

base_model: llm-jp/llm-jp-3-13b tags:

• text-generation-inference
• transformers
• unsloth
• llama
• trl license: cc-by-nc-sa-4.0 language:
• ja

---

Uploaded model

• Developed by: momo0729
• License: CC-BY-NC-SA 4.0
• Finetuned from model : llm-jp/llm-jp-3-13b This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

---

Model Card: Instruction-Tuned Base Model

Model Overview

• Model Name: "llm-jp-3-13b-it"
• Description: このモデルは、日本語対応の大規模言語モデル「llm-jp-3-13b」を基盤としており、指示に応答する形式でのInstruction Tuningが施されています。
• Base Model: llm-jp-3-13b
• Fine-Tuning Objective: 指示文（instruction）に対して適切な応答（response）を生成する能力を高めることを目的とした微調整。

---

Datasets

• Training Dataset:
  • データセット名: ichikara-instruction-003-001-1.json
  • 総データ数: 約1700件
  • フォーマット例:

    {
      "text": "文章の要約を生成してください。",
      "output": "この文章の要約です。"
    }
    

  • フォーマット変換後: """### 指示 {} ステップバイステップで考えて。深呼吸して考えてください。

    回答

    {}"""

---

Training Configuration

• Hardware:
  • GPU: T4 24GB（1枚）
• Hyperparameters:
  • per_device_train_batch_size: 2
  • gradient_accumulation_steps: 4
  • num_train_epochs: 1
  • learning_rate: 2e-4
  • fp16: 使用
  • bf16: 使用（ハードウェアでサポートされる場合）
  • max_seq_length: 512
• Optimizer and Scheduler:
  • Optimizer: AdamW
  • Learning Rate Scheduler: Linear with warmup
  • Warmup Steps: 10

---

Fine-Tuning Process

1. データのロード:
   • ichikara-instruction-003-001-1.jsonをロードし、textとoutputを使用してプロンプト形式に変換。
2. モデル準備:
   • ベースモデル: llm-jp-3-13b。
   • LoRAアダプタを適用:
     • Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj。
     • LoRA Hyperparameters:
       • r=32
       • lora_alpha=32
       • lora_dropout=0.05
3. トレーニング実行:
   • 学習進行状況を100ステップごとに記録。

---

Usage Example

以下は、このモデルを使用して指示応答を生成する方法です。

from transformers import AutoTokenizer, AutoModelForCausalLM
# モデルとトークナイザーのロード
model_name = "momo0729/llm-jp-3-13b-it"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# 指示応答生成
instruction = "次の文章を要約してください。"
prompt = f"### 指示
    {} ステップバイステップで考えて。深呼吸して考えてください。
    ### 回答
    {}"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=128)
# 出力結果
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

---

License

• モデルおよびデータセットのライセンスに基づいて使用可能。

---

Acknowledgements

このプロジェクトでは以下を利用しています：

• Hugging Face Transformers
• Unsloth（効率的なLoRA微調整を実現）

---