wanabi_mini_12b_GGUF

wanabi_mini_12b_GGUF

wanabi_mini_12b_GGUF は、小説執筆支援に特化してファインチューニングされた日本語大規模言語モデルです。wanabi-24Bと同等の機能を有しながらより多くのユーザーが扱い易いモデルを用意しました。

このモデルは、mistralai/Mistral-Nemo-Base-2407 をベースとし、24B版よりもデータセットの規模は小さいものの、より高品質な日本語の小説関連テキストデータを用いて学習されています。アイデア出しから本文生成、文脈に沿った続きの生成、そしてアイデアの補間まで、小説執筆の様々なプロセスをサポートすることを目指しています。

• 提供形式: 現在、GGUF 形式のみ提供しています。VRAM 8GB以上のコンシューマGPUに適合する複数の量子化バージョンを用意。全て量子化モデルは特性のキャリブレーションデータを用いてimatrix量子化されています。
• 特徴: 24B版と比較して、より高品質なデータセットで学習されており、応答性や特定のタスクにおける精度向上が期待されます。

🚀 Project Wannabe との連携 (強く推奨)

このモデルは、専用のデスクトップアプリケーション Project Wannabe と連携して使用することを強く推奨します。Project Wannabe は、wanabi_mini_12b_GGUF の能力を最大限に引き出すための GUI を提供し、以下で説明する機能を直感的に利用できるように設計されています。

✨ 新機能 (wanabi-24B v1 との比較)

wanabi_mini_12b_GGUF は、24B版の主要機能に加え、以下の新機能が追加されています。

1. アイデア補間機能 (新):
   • 目的: Project Wannabe の「詳細情報」タブで、小説のアイデアに必要な全ての項目（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）が入力されている場合に、それらの情報を基により詳細で深掘りされたアイデアや展開のヒントを生成します。
   • 適用: アイデア生成 (IDEA) タスクにおいて、特定の条件を満たした際に起動します。

✨ 主な機能

wanabi-24B と同様の基本的な小説執筆支援機能を提供します。

1. オーサーズノート機能:

   • 目的: 次に起きる展開、行動、心情描写など、今後おおよそ1000文字以内に起こるような直近の内容を記述することで、続きの文章生成をより細かく誘導します。
   • 適用: 続き生成 (CONT) タスクのプロンプトに組み込まれます。

2. レーティング機能:

   • 目的: 生成内容のレーティング（general または r18）を指定します。
   • 適用: 全てのタスク (GEN, CONT, IDEA) の指示 (Instruction) の末尾に レーティング: {指定値} が付与されます。

3. セリフ量指定機能:

   • 目的: 生成される文章中のセリフの割合を「指定なし」「少ない」「やや少ない」「普通」「やや多い」「多い」から選択します。（現在のバージョンではまだ完全に反映されませんが、将来のバージョンでの対応を見据えた機能です。）
   • 適用: 「指定なし」以外が選択された場合、本文生成 (GEN) および続き生成 (CONT) タスクのプロンプトの入力 (Input) 部分（参考情報ブロック内）に # セリフ量: {指定値} が含まれます。

4. 本文生成 (GEN):

   • 指示に加え、任意で与えられるメタデータ（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）や セリフ量、レーティングに基づいて小説本文を生成します。

5. 続き生成 (CONT):

   • 与えられた本文の続きを、任意で与えられるメタデータ、セリフ量、レーティング、そして オーサーズノート を考慮しながら生成します。
   • プロンプト構造は wanabi-24B v0.1 と同様の改善された形式です。

6. アイデア生成 (IDEA):

   • 任意で与えられるメタデータの一部（または無し）と レーティング を基に、小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成します。
   • アイデア補間機能により、入力情報が豊富な場合はより詳細なアイデアが生成されます。

💻 学習の詳細

ベースモデル

• mistralai/Mistral-Nemo-Base-2407

学習フレームワーク

• LLaMA-Factory

学習手法

• 手法: Supervised Fine-tuning (SFT)
• 量子化・アダプター: LoRA
  • lora_rank: 128
  • lora_alpha: 256
  • lora_dropout: 0.05
  • lora_target: all (全ての線形層)
• 精度: bf16
• シーケンス長: 32768
• バッチサイズ: per_device_train_batch_size=1, gradient_accumulation_steps=24 (実効バッチサイズ 24)
• 最適化:
  • Optimizer: PagedAdamW (8-bit) (optim: paged_adamw_8bit)
  • Flash Attention 2: 有効 (flash_attn: fa2)
  • Unsloth Gradient Checkpointing: 有効 (use_unsloth_gc: true)
  • Liger Kernel: 有効 (enable_liger_kernel: true)
  • Weight Decay: 0.01 (weight_decay: 0.01)
• 学習率:
  • learning_rate: 4.0e-5
  • lr_scheduler_type: cosine_with_restarts
  • lr_scheduler_kwargs: {"num_cycles": 1}
  • warmup_ratio: 0.03
• その他:
  • num_train_epochs: 1

📝 プロンプト形式 (mistral_small テンプレート)

本モデルは LLaMA-Factory の mistral_small チャットテンプレート形式で学習されています。推論時も同様の形式を推奨します。Project Wannabe を使用する場合は、意識する必要はありません。 wanabi-24Bと基本的な形式は同じなため、詳細は省略します。

• 新機能:アイデア補間:

  Project Wannabe の「詳細情報」タブで、タイトル、キーワード、ジャンル、あらすじ、設定、プロットの全てが入力されている状態でアイデア生成を実行すると、モデルはこれらの豊富な情報を活用し、より詳細で具体的なアイデア（例えば、キャラクターの掘り下げ、サブプロットの提案、世界観の補足説明など）を生成しようと試みます。この機能は特別なプロンプト変更を必要とせず、入力情報の量と質に応じて自動的に働きが変化します。

⚠️ 制限事項と注意点

• 開発中のモデル: 本モデルは現在も開発途上であり、性能や安定性は今後のバージョンで向上する可能性があります。
• 偏り: 学習データの特性上、生成内容が特定のジャンル、表現、展開に偏る可能性があります。
• 不適切な内容: 学習データには多様なテキストが含まれるため、不快感を与える可能性のある文章が生成されることがあります。レーティング機能で制御を試みていますが、完全ではありません。
• 品質の限界: 生成される文章の多様性、一貫性、文脈への追従性には限界があります。
• 利用上の注意: 本モデルは研究および実験的な目的で提供されています。違法な目的や他者の権利を侵害する目的での使用は固く禁じます。
• 自己責任: 本モデルの使用によって生じたいかなる結果についても、開発者は一切の責任を負いません。