jaqmd-qe-gemma-4-e2b-it

jaqmd-qe-gemma-4-e2b-it

unsloth/gemma-4-E2B-it を LoRA で fine-tune した、日本語検索エンジン向け Query Expansion モデル。

入力クエリ (query) に対し、以下 3 種を含む JSON を出力する:

• lex: 語彙検索(BM25等)向けの語句・表記ゆれ配列
• vec: 意味検索(embedding)向けの言い換え1文
• hyde: HyDE 用の仮想文書

入出力フォーマット

入力はチャットテンプレートの user ターンにクエリをそのまま渡す (system prompt は使用していない)。出力はキー順 lex -> vec -> hyde 固定の compact JSON 文字列。

user:  木魚
model: {"lex":[...],"vec":"...","hyde":"..."}

注意 (thinking の無効化)

ベースモデルはデフォルトで thinking が有効だが、本モデルは thinking なし (JSON 直答) で学習している。推論時は明示的に無効化すること。

• transformers: apply_chat_template(..., enable_thinking=False)
• llama.cpp: --reasoning false を使うこと。 --chat-template-kwargs '{"enable_thinking":false}' は Gemma 4 の 同梱チャットテンプレートの既知の不具合(enable_thinking の分岐が 逆転している)により効かない/不安定なビルドがある。 --reasoning false はテンプレートのレンダリングに依存せず 推論パラメータ側で reasoning を止めるため、こちらを使う。

GGUF

gguf/ 以下に llama.cpp / Ollama 用の量子化済み GGUF を同梱。