Downloads · 30 days
0
llm-jp-3-13b-finetune
Toshikawa/llm-jp-3-13b-finetune
llm-jp-3-13b-finetune is a machine learning model from Toshikawa. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
- 開発者: 個人開発者 - モデルタイプ: LLM (Large Language Model) - 使用言語: 日本語 - ライセンス: Apache 2.0 - ベースモデル: ELYZA-japanese-Llama-2-13b-instruct
Access
Public
Updated Dec 26, 2024
Repo size
250 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.safetensors250 MB · 98%
At a glance
- Access
- Public
- Created
- Dec 1, 2024
- Updated
- Dec 26, 2024
- SHA
- 8c6b9275
Model card
From the Hugging Face model README
Model Card for llm-jp-3-13b-finetune
モデルの基本情報
- 開発者: 個人開発者
- モデルタイプ: LLM (Large Language Model)
- 使用言語: 日本語
- ライセンス: Apache 2.0
- ベースモデル: ELYZA-japanese-Llama-2-13b-instruct
トレーニングの詳細
使用したデータセット
- ichikara-instruction データセット
- データ形式: JSONL
- データ数: 約8,000サンプル
トレーニング手順
- LoRAによるファインチューニング
- エポック数: 1
- バッチサイズ: 1
- 勾配蓄積ステップ: 8
ハイパーパラメータ
learning_rate: 4e-5
warmup_steps: 50
max_steps: -1
save_steps: 50
logging_steps: 50
学習環境
- Google Colaboratory Pro+
- GPU: NVIDIA A100 (40GB)
- VRAM使用量: 約22GB
評価結果
テストデータ
- ichikara-instruction テストセット
評価指標
- Training Loss
- 最終的な損失値: 1.92台
パフォーマンス結果
- 学習時間: 約3時間
- イテレーション速度: 0.59 it/s
技術仕様
モデルアーキテクチャ
- ベース: Llama-2アーキテクチャ
- パラメータ数: 13B
- LoRAランク: 8
計算インフラ
- フレームワーク: PyTorch
- 量子化: BF16
- メモリ最適化: gradient_checkpointing
ハードウェア/ソフトウェア要件
- 最小GPU要求: 24GB VRAM
- Python 3.10
- transformers
- peft
- accelerate
- bitsandbytes
制限事項と注意点
- 長文生成時にメモリ使用量が増加する可能性がある
- プロンプトの最適化が必要
- Created
- Dec 1, 2024
- Updated
- Dec 26, 2024