Japanese-Starling-ChatV-7B-GGUF

Japanese-Starling-ChatV-7B-GGUF

GGUF conversion of "<a href="https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B">Japanese-Starling-ChatV-7B</a>"

"Japanese-Starling-ChatV-7B" is a Japanese chat model built on top of "<a href="https://huggingface.co/NTQAI/chatntq-ja-7b-v1.0">chatntq-ja-7b-v1.0</a>", originally based on Mistral-7B-v0.1. I applied the chat vector acquired by subtracting the weights of Mistral-7B-v0.1 from the weights of "<a href="https://huggingface.co/Nexusflow/Starling-LM-7B-beta">Starling-LM-7B-beta</a>" to this model.

このモデルはchatntq-ja-7b-v1.0をベースにした7Bパラメータの日本語チャットモデルです。高性能の英語モデルであるStarling-LM-7B-betaの重みからMistral-7B-v0.1の重みを差し引くことで得たchat vectorを適用しています（<a href="https://note.com/bakushu/n/ne95340f04b41">ブログ記事</a>）。

Performance

<table> <tr> <th>Model<br>(Q8_0 quant)</th> <th><a href="https://huggingface.co/andrewcanis/c4ai-command-r-v01-GGUF">c4ai-command-r-v01-GGUF</a></th> <th>JA-Starling-ChatV-7B-GGUF (This model)</th> <th><a href="https://huggingface.co/TFMC/ChatNTQ-JA-7b-v1.0-GGUF">ChatNTQ-JA-7b-v1.0-GGUF</a></th> <th><a href="https://huggingface.co/mmnga/RakutenAI-7B-chat-gguf">RakutenAI-7B-chat-gguf</a></th> <th><a href="https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-instruct-gguf">ELYZA-japanese-Llama-2-7b-instruct-gguf</a></th> </tr> <tr> <td>Parameters</td> <td>35B</td> <td>7B(Mistral)</td> <td>7B(Mistral)</td> <td>7B(Mistral)</td> <td>7B(Llama-2)</td> </tr> <tr> <td>ELYZAtasks100<br>average score</td> <td>3.42</td> <td>3.42</td> <td>3.06</td> <td>2.82</td> <td>2.46</td> </tr> </table>

Scores on "<a href="https://huggingface.co/datasets/elyza/ELYZA-tasks-100">ELYZA-tasks-100</a>" benchmark for the instruction-tuned Japanese models evaluated by GPT-4-0125-preview. Please note that this is a simplified evaluation using the Q8 quantized models.

このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、GPT-4-0125-previewにより評価させたものです。Q8量子化モデルを用いた簡易的な評価であることにご留意ください。

Prompt Template

<pre><code>[INST] &lt;&lt;SYS&gt;&gt;\nあなたは役に立つアシスタントです。\n&lt;&lt;/SYS&gt;&gt;\n\n{prompt} [/INST]</code></pre>