Downloads · 30 days
59
12% of all-time downloads
rinna-3.6b-tune-ep5
Jumtra/rinna-3.6b-tune-ep5
rinna-3.6b-tune-ep5 is a text generation model from Jumtra. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
このモデルは、MosaicMLのllm-foundryリポジトリを使用してrinna/japanese-gpt-neox-3.6bをファインチューニングしたモデルです。
All-time downloads
513
Public
Repo size
14.7 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin7.4 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- mit
- Model type
- gpt_neox
- Access
- Public
- Created
- Jun 25, 2023
- Updated
- Jul 3, 2023
- SHA
- 2b57851d
Model card
From the Hugging Face model README
rinna-3.6b
このモデルは、MosaicMLのllm-foundryリポジトリを使用してrinna/japanese-gpt-neox-3.6bをファインチューニングしたモデルです。
Model Date
June 28, 2023
Model License
MIT
評価
Jumtra/test_data_100QAを用いてモデルの正答率を評価した また、学習時のvalidateデータに対してのPerplexityを記載した。
| model name | 正答率 | Perplexity |
|---|---|---|
| Jumtra/rinna-3.6b-tune-ep5 | 40/100 | 8.105 |
| Jumtra/rinna-v1-tune-ep1 | 42/100 | 7.458 |
| Jumtra/rinna-v1-tune-ep3 | 41/100 | 7.034 |
| Jumtra/calm-7b-tune-ep4 | 40/100 | 9.766 |
| Jumtra/calm-v3-ep1 | 35/100 | 9.305 |
| Jumtra/calm-v3-ep3 | 37/100 | 13.276 |
以下のプロンプトを用いた
INSTRUCTION_KEY = "### 入力:"
RESPONSE_KEY = "### 回答:"
INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。"
JP_PROMPT_FOR_GENERATION_FORMAT = """{intro}
{instruction_key}
{instruction}
{response_key}
""".format(
intro=INTRO_BLURB,
instruction_key=INSTRUCTION_KEY,
instruction="{instruction}",
response_key=RESPONSE_KEY,
)
- Task
- Text Generation
- Library
- transformers
- Type
- gpt_neox
- License
- mit
- Languages
- ja
- Created
- Jun 25, 2023
- Updated
- Jul 3, 2023