llama3-8b-sft-3090

llama3-8b-sft-3090

このモデルは、RTX 3090 を用いて 4bit QLoRA による微調整（SFT） が正常に動作するかを確認するために作成した実験モデルです。

LoRA で学習後、merge_and_unload() による LoRA 統合済み（merged）モデル となっており、推論時に LoRA adapter の読み込みは不要です。

---

ベースモデル

• Base Model: meta-llama/Llama-3.1-8B-Instruct
• License: Llama 3.1 Community License
• Precision after merge: FP16 (safetensors, split into 4 shards)

---

学習データについて

train.jsonl に保存した、サンプル的な日本語 QA ペア 2件で学習しています。 本モデルは 性能を目的とせず、学習パイプラインの確認を主目的としています。

フォーマットは次のような JSONL です：

{"input": "太陽はどこから昇りますか？", "output": "東から昇ります。"}
{"input": "世界一高い山は？", "output": "エベレストです。"}

---

🛠️ ハイパーパラメータ

---

学習方法

• QLoRA (4bit) でベースモデルを読み込み
• PEFT (LoRA) を適用
• 2 epoch の SFT
• 終了後に merge_and_unload() で LoRA を統合
• 統合後は FP16 モデルとして保存

---

推論方法（Use in Transformers）

以下のコードで推論できます：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "Ryota2865/llama3-8b-sft-3090"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16
)

prompt = "太陽はどこから昇りますか？"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=100,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

---

注意

本モデルは 学習プロセスの確認を目的とした実験モデルです。 本番用途・業務用途には適していません。 特に翻訳・専門タスクに使用する場合は、 より大規模なデータセットでの追加学習が必要となります。

---

謝辞 / Acknowledgements

• Meta — Llama 3.1 ファミリーの提供
• HuggingFace — Transformers / PEFT / Hub
• bitsandbytes — 4bit QLoRA 実装