Downloads · 30 days
56
41% of all-time downloads
rinna-v1-tune-ep3
Jumtra/rinna-v1-tune-ep3
rinna-v1-tune-ep3 is a text generation model from Jumtra. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as mit.
このモデルは、MosaicMLのllm-foundryリポジトリを使用してJumtra/rinna-3.6b-tune-ep5をファインチューニングしたモデルです。
All-time downloads
135
Public
Repo size
14.7 GB
Likes
0
Public
Repo makeup
Click a slice to open those files.
.bin7.4 GB · 100%
At a glance
- Task
- Text Generation
- Library
- transformers
- License
- mit
- Model type
- gpt_neox
- Access
- Public
- Created
- Jun 27, 2023
- Updated
- Jun 27, 2023
- SHA
- ea65466f
Model card
From the Hugging Face model README
rinna-3.6b
このモデルは、MosaicMLのllm-foundryリポジトリを使用してJumtra/rinna-3.6b-tune-ep5をファインチューニングしたモデルです。
Model Date
June 28, 2023
Model License
MIT
評価
Jumtra/test_data_100QAを用いてモデルの正答率を評価した また、学習時のvalidateデータに対してのPerplexityを記載した。
| model name | 正答率 | Perplexity |
|---|---|---|
| Jumtra/rinna-3.6b-tune-ep5 | 40/100 | 8.105 |
| Jumtra/rinna-v1-tune-ep1 | 42/100 | 7.458 |
| Jumtra/rinna-v1-tune-ep3 | 41/100 | 7.034 |
| Jumtra/calm-7b-tune-ep4 | 40/100 | 9.766 |
| Jumtra/calm-v3-ep1 | 35/100 | 9.305 |
| Jumtra/calm-v3-ep3 | 37/100 | 13.276 |
以下のプロンプトを用いた
INSTRUCTION_KEY = "### 入力:"
RESPONSE_KEY = "### 回答:"
INTRO_BLURB = "以下はタスクを説明する指示と文脈のある文章が含まれた入力です。要求を適切に満たす回答を生成しなさい。"
JP_PROMPT_FOR_GENERATION_FORMAT = """{intro}
{instruction_key}
{instruction}
{response_key}
""".format(
intro=INTRO_BLURB,
instruction_key=INSTRUCTION_KEY,
instruction="{instruction}",
response_key=RESPONSE_KEY,
)
- Task
- Text Generation
- Library
- transformers
- Type
- gpt_neox
- License
- mit
- Languages
- ja
- Created
- Jun 27, 2023
- Updated
- Jun 27, 2023