wanabi_24b_v2_GGUF

wanabiについて

wanabi-24B_v2 は、小説執筆支援に特化してファインチューニングされた日本語大規模言語モデルです。

このモデルは、mistralai/Mistral-Small-24B-Base-2501 をベースとし、日本語のweb小説を用いてProject Wannabeの推論形式で学習を行いました。アイデア出しから本文生成、文脈に沿った続きの生成まで、小説執筆の様々なプロセスをProject Wannabeを通してサポートすることを目指して開発をしています。。

v1から変更点

基本的な機能はv1と共通しています。v2では純粋な性能の向上を目指しました。

1. 長コンテキストへの対応

   • v1ではモデルのコンテキストを超える小説の続きを書く際にメタデータを含む指示文が失われるという問題がありました。Project Wannabeでは既に緩和策を実装しておりますが、データセット側でも対策の発動時と同じフォーマットで学習することで、長コンテキストでも安定した生成が可能となりました。

2. データセットの拡張

   • 約2万件のweb小説を用いてデータセットを構築しました。

3. 学習時のハイパーパラメータの調整

   • 学習方式の変更、学習対象の追加、過学習防止策の追加などv1よりも洗練された学習設定を採用しました。

🚀 Project Wannabe との連携 (強く推奨)

このモデルは、専用のデスクトップアプリケーション Project Wannabe と連携して使用することを強く推奨します。Project Wannabe は、wanabi-24B の能力を最大限に引き出すための GUI を提供し、以下で説明する機能を直感的に利用できるように設計されています。

✨ 主な機能

1. 本文生成 (GEN):

   • 指示に加え、任意で与えられるメタデータ（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）や セリフ量、レーティングに基づいて小説本文を生成します。
   • メタデータなしで自由に生成することも可能です。

2. 続き生成 (CONT):

   • 与えられた本文の続きを、任意で与えられるメタデータ、セリフ量、レーティング、そして新たに追加された オーサーズノート を考慮しながら生成します。

3. アイデア生成 (IDEA):

   • 任意で与えられるメタデータの一部（または無し）と レーティング を基に、完全な小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成します。
   • （セリフ量はこのタスクには影響しません。）

💻 学習の詳細

ベースモデル

• mistralai/Mistral-Small-24B-Base-2501

学習フレームワーク

• LLaMA-Factory

学習設定

<details><summary>学習設定を見る</summary>

# モデルとデータセット
model_name_or_path: unsloth/Mistral-Small-24B-Base-2501-bnb-4bit
dataset: narou_it_full                     
template: mistral_small                      


# 学習方法と出力先
stage: sft
do_train: true
finetuning_type: lora                
output_dir: saves//wanabi_24b_v2_qlora 

# QLoRA 設定
quantization_bit: 4
lora_target:
  - q_proj
  - v_proj
  - k_proj
  - o_proj
  - gate_proj
  - up_proj
  - down_proj
  - lm_head
  - embed_tokens
lora_rank: 256
lora_alpha: 16
lora_dropout: 0.05
use_rslora: True
seed: 250810
neftune_noise_alpha: 5.0
# シーケンス長とバッチサイズ 
cutoff_len: 24576
per_device_train_batch_size: 1        
gradient_accumulation_steps: 32       
per_device_eval_batch_size : 1
preprocessing_num_workers: 8
# 最適化と混合精度 
flash_attn: fa2                      
use_unsloth_gc: true                  
bf16: true

# 学習パラメータ
learning_rate: 1.5e-5                   
num_train_epochs: 1                  
lr_scheduler_type: cosine_with_restarts           
lr_scheduler_kwargs: {"num_cycles": 2}
warmup_ratio: 0.03                    
logging_steps: 1                     
save_steps: 125                       
save_total_limit: 20                 
optim: paged_ademamix_8bit
weight_decay: 0.01
max_grad_norm: 1.0
train_on_prompt: true

# (オプション) その他の最適化 (試す場合)
enable_liger_kernel: true

report_to: tensorboard

</details><br>

📝 プロンプト形式 (mistral_small テンプレート)

本モデルは LLaMA-Factory の mistral_small チャットテンプレート形式で学習されています。推論時も同様の形式を推奨します。Project Wannabe を使用する場合は、以下の形式を意識する必要はありません。

基本構造: <s>[INST]{Instruction}\n{Input}[/INST]{Output}</s>

• <s>, </s>: 開始・終了トークン
• [INST], [/INST]: ユーザー指示の開始・終了を示すタグ（タグと内容の間にスペースは入りません）
• {Instruction}: タスク指示（例: 「小説を生成してください。」） + レーティング
• {Input}: タスクに必要な入力情報（メタデータ、本文の一部など）。Instruction と Input の間は改行1つ (\n)。
• {Output}: モデルが生成すべき応答テキスト。

---

<details><summary>形式例をみる</summary>

形式例:

1. 本文生成 (GEN):

• 例 (メタデータ・セリフ量あり):

  <s>[INST]以下の情報に基づいて小説本文を生成してください。 レーティング: general
  # タイトル:
  星降る夜の魔法使い
  # キーワード:
  ファンタジー
  魔法学園
  # セリフ量: 多い[/INST]{生成される本文}</s>
  

• 例 (メタデータなし):

  <s>[INST]自由に小説を生成してください。 レーティング: general[/INST]{生成される本文}</s>
  

2. 続き生成 (CONT):

• 例 (参考情報・オーサーズノートあり):

  <s>[INST]参考情報と本文を踏まえ、最後の文章の自然な続きとなるように小説を生成してください。 レーティング: general
  【参考情報】
  ```
  # ジャンル:
  学園コメディ
  # セリフ量: 普通
  ```
  【本文】
  ```
  廊下を歩いていると、角から飛び出してきたクラスメイトとぶつかってしまった。彼女の手には大量のプリントがある。
  っ…まずい
  「わわっ、ごめんなさ――」
  ```
  【オーサーズノート】
  ```
  ぶつかった衝撃でプリントが宙を舞う。
  主人公は慌てて拾うのを手伝う。
  相手の女の子は少しドジな人気者。
  ```
  彼女は顔を赤らめて言った。
  「ごめんなさい」
  そう言いながら…[/INST]{生成される続きの本文}</s>
  

  (注: 【参考情報】と【本文】の順序は Project Wannabe の設定で変更可能です)

• 例 (本文主要部・末尾のみ):

  <s>[INST]本文を踏まえ、最後の文章の自然な続きとなるように小説を生成してください。 レーティング: r18
  【本文】
  ```
  暗い路地裏、壁に押し付けられ、彼の熱い吐息が耳にかかる。
  抵抗しようにも、力の差は歴然だった。
  ```
  「……やめ……」
  か細い声は、夜の闇に吸い込まれていく
  唇が、ゆっくりと近づいてきて――[/INST]{生成される続きの本文}</s>
  

3. アイデア生成 (IDEA):

• 例 (一部メタデータあり):

  <s>[INST]以下の情報に基づいて、完全な小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成してください。 レーティング: general
  # ジャンル:
  SF
  サイバーパンク[/INST]# タイトル:
  電脳都市の孤独な探偵
  
  # キーワード:
  サイバーパンク
  探偵
  アンドロイド
  巨大企業
  陰謀
  
  # ジャンル:
  SF
  サイバーパンク
  ハードボイルド
  
  # あらすじ:
  雨の降りしきる2077年のメガシティ。失意の探偵ジャックは、失踪したアンドロイド歌手の捜索依頼を受ける。調査を進めるうちに、彼は都市を裏で操る巨大企業の陰謀に巻き込まれていく。
  
  # 設定:
  舞台は超高度技術と格差社会が共存する未来都市。人々は脳インプラントでネットワークに常時接続されている。アンドロイドは人間と見分けがつかないほど進化している。
  
  # プロット:
  依頼受注 -> 情報収集と関係者への聞き込み -> 妨害と襲撃 -> 核心に迫る証拠の発見 -> 巨大企業との対決 -> 衝撃の結末</s>
  

• 例 (メタデータなし):

  <s>[INST]自由に小説のアイデア（タイトル、キーワード、ジャンル、あらすじ、設定、プロット）を生成してください。 レーティング: general[/INST]{生成されるアイデア一式}</s>
  

</details><br>

⚠️ 制限事項と注意点

• 偏り: 学習データの特性上、生成内容が特定のジャンル、表現、展開に偏る可能性があります。
• 不適切な内容: 学習データには多様なテキストが含まれるため、未成年者の閲覧に適さない、または不快感を与える可能性のある文章が生成されることがあります。レーティング機能で制御を試みていますが、完全ではありません。
• 品質の限界: 生成される文章の多様性、一貫性、文脈への追従性には限界があります。特に長い文章の生成では破綻する可能性があります。オーサーズノート機能などでの誘導をお試しください。
• 利用上の注意: 本モデルは研究および実験的な目的で提供されています。利用者は、適用される法律および規制を遵守する責任を負います。違法な目的や他者の権利を侵害する目的での使用は固く禁じます。
• 自己責任: 本モデルの使用によって生じたいかなる結果についても、開発者は一切の責任を負いません。全て自己責任においてご利用ください。