Downloads · 30 days
0
llm-jp-dolly15k-qa-ja-v1.0
yasunai/llm-jp-dolly15k-qa-ja-v1.0
llm-jp-dolly15k-qa-ja-v1.0 is a machine learning model from yasunai. Use it for the machine learning task on the model card, and read the license before you ship it in a product. It is set up for peft.
Access
Public
Updated Nov 29, 2024
Repo size
314 MB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.pt210 MB · 65%
At a glance
- Library
- peft
- Access
- Public
- Created
- Nov 29, 2024
- Updated
- Nov 29, 2024
- SHA
- c3b496d2
Base models
Model card
From the Hugging Face model README
LLM-jp Fine-tuned Model
日本語の質問応答タスク用にファインチューニングされたLLM-jpモデルです。
モデルの詳細
モデル概要
- 開発者: LLM-jp Community
- モデルタイプ: 言語モデル (LoRA)
- 言語: 日本語
- ライセンス: Apache 2.0
- ベースモデル: LLM-jp
- 用途: 質問応答、情報抽出、要約など
技術仕様
-
アーキテクチャ:
- LoRAランク: 16
- ターゲットモジュール: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
- 最大シーケンス長: 2048トークン
- 量子化: 4-bit
-
トレーニング設定:
- データセット: databricks-dolly-15k-ja
- バッチサイズ: 4
- 勾配累積ステップ: 4
- 学習率: 2e-4
- トレーニングステップ: 1000
使用方法
モデルは以下のような形式の入力を期待します：質問: [質問文] コンテキスト: # (オプション) [参考情報] 回答: [モデルの応答]
制限事項と推奨事項
- 日本語の質問応答に特化しています
- 長文の生成には適していない可能性があります
- 事実に基づかない回答を生成する可能性があります
- 機密情報や個人情報を含む質問は避けてください
Framework versions
- PEFT 0.13.2
- Library
- peft
- Created
- Nov 29, 2024
- Updated
- Nov 29, 2024