jwenv-4b-poc-gguf

Jevのような動作をする分類モデル

llama.cppでの実行

llama.cppフォークのサーバーにJev互換APIを追加しているので、そのためのモデルとして使えます。
https://github.com/kishida/llama.cpp/blob/jev/docs/jev.md

ブラウザデモ

ブラウザローカルで試せます。モデルはjwenv-4b-poc-q4_k_m.ggufをダウンロードして読み込ませてください。
https://huggingface.co/spaces/kishida/jwenv-demo

テンプレート

次のようなテンプレートを渡します。A-Hの8選択肢まで対応。出力はそれぞれのトークンの確率。通常のサンプラーであれば最も確率の高い1文字が出力される。

<|im_start|>user
Context:
{context}

Answer the question with only the label of the best option (the character before the colon), nothing else.
Question: {question}
Options:
A: {選択肢1}
B: {選択肢２}
...<|im_end|>
<|im_start|>assistant
<think>

</think>