RWKV-24B-A2B-wakaba-2601-GGUF

OpenMOSE/RWKV-24B-A2B-wakaba-2601-GGUF

※このモデルの実行には、カスタムllama.cppが必要です。使用方法については、下記をお読みください。

<div align="center"> <img src="./wakaba-gguf.png" style="border-radius: 15px; width: 60%; height: 60%; object-fit: cover; box-shadow: 10px 10px 20px rgba(0, 0, 0, 0.5); border: 2px solid white;" alt="hxa07d" /> </div>

Model Overview

OpenMOSE/RWKV-24B-A2B-wakaba-2601-GGUF は、
高価なGPUを必要とせず、より多くの人がローカル環境で実用的なLLMを扱えることを目的として設計された
RWKVハイブリッド + Aggressive Sparse MoE モデルです。

近年、AIインフラ投資の急激な拡大により、GPUおよびメモリ価格は著しく高騰しています。
2023年には 24GB VRAM クラスのGPUに約13万円でアクセス可能でしたが、
現在では同等の環境を用意することは容易ではありません。

本モデルは、こうした状況を背景に、

「限られたメモリ・計算資源でも、実用レベルのLLM体験を提供する」

ことを設計目標としています。

---

Motivation

小規模モデル（2B / 4B クラス）は動作自体は可能ですが、
推論品質・指示追従性・会話安定性の面では、依然として制約があります。

特に 32GB メモリの iGPU PC 環境では、

• OS が約 16GB を占有
• 実質利用可能メモリは 16GB 前後
• iGPU のため TFLOPS にも強い制約（平均的には2TFLOPS前後)

という現実的な制限があります。

本モデルは、こうした 厳しいローカル環境を前提条件として受け入れた上で、

• 24B パラメータ規模
• Aggressive Sparse MoE（Active Experts = 6）
• 実効アクティブパラメータ ≒ 2B（A2B）

という設計により、
「小さく見えるが、実用的」なモデルを目指しています。

---

Architecture & Conversion Pipeline

本モデルは Qwen3-30B-A3B-Instruct-2507 をベースに、
以下の変換・最適化プロセスを経て構築されました。

Conversion Steps

1. RWKV hxa07D + NoPE Attention ハイブリッド化

   • Attention 層を最小限に抑え、線形時間 RWKV を主軸とする構成へ変換
   • アーキ解説はこちらです。(https://zenn.dev/openmose/articles/610b67f295c9ce)

2. Cerebras REAPによる MoE Pruning

   • キャリブレーションデータによって、MoE Expert を 約25%削減し、冗長性を圧縮

3. Active Experts の削減（8 → 6）

   • 推論時のアクティブパラメータをさらに低減

4. 教師モデルとの KL-Divergence による性能復元

   • 削減による性能劣化を最小限に抑制

---

Model Characteristics

• 非線形容量は意図的に削減されているため、
  純粋な知識タスクや長文暗記型ベンチマークは得意ではありません
• 一方で、
  • RAG（Retrieval-Augmented Generation）
  • 外部知識ベースとの併用
  • ツール・エージェント統合 などと組み合わせることで、実運用に耐える構成を目指しています

---

Model Specifications

---

セットアップ方法

1. レポジトリをクローンします。:

git clone https://github.com/OpenMOSE/llama.cpp
cd llama.cpp
git checkout hxa07d

プロジェクトをビルドします。(Linuxの例)

For CUDA (NVIDIA GPUs):

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

For ROCm (AMD GPUs):

GPUアーキテクチャに応じて、変更してください:

• AMD Radeon RX 79xx series → gfx1100
• AMD Instinct MI300 series → gfx942
• AMD Instinct MI100 → gfx908

HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)" \
cmake -S . -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1100 -DCMAKE_BUILD_TYPE=Release \
&& cmake --build build --config Release -- -j 16

Note: Replace gfx1100 with your GPU's architecture code

モデル動作コマンド

通常の推論:

./build/bin/llama-cli -m YOUR_MODEL_PATH --jinja -fa 1

KV量子化を有効にした推論:

./build/bin/llama-cli -m YOUR_MODEL_PATH --jinja -fa 1 -ctv q8_0 -ctk q8_0

VRAM削減モード１:

./build/bin/llama-cli -m YOUR_MODEL_PATH --jinja -fa 1 -ctv q8_0 -ctk q8_0 --override-tensor "time_mix_g1=CPU,time_mix_g2=CPU,time_mix_w1=CPU,time_mix_w2=CPU"

VRAM削減モード２:

./build/bin/llama-cli -m YOUR_MODE_PATH --jinja -fa 1 -c 4096 --n-cpu-moe 48

./build/bin/llama-server -m YOUR_MODE_PATH --jinja -fa 1 --port 4096 -np 1 -c 65536 --top-k 20 --top-p 0.3 --temp 0.6 --repeat-penalty 1.1 --n-cpu-moe 48

Important: To get better output quality, please test --top-k 20 --top-p 0.3 --temp 0.6 --repeat-penalty 1.1

Intended Use

• ローカル LLM 実行（iGPU / 低〜中級 GPU 環境）
• RAG + Chat / Agent ベースのアプリケーション
• 低メモリ環境での研究・検証用途
• RWKV / Hybrid Architecture の実験的検証

---

Limitations

• 大規模知識暗記タスクには不向き
• 教師モデル（30Bクラス）と同等性能を保証するものではありません
• 依然として「育成途中」のモデルです

---

Acknowledgements

本モデルは、Recursal AI, Featherless AI による
計算資源および技術的支援によって実現しました。
ここに深く感謝の意を表します。

---

Datasets

kldivを行う上で、データセットとしては、DCLM-10Bから長文ソートで、10%、Instructデータとして、Qwen3-235B-Instructの合成データを作成し使用しました。 データセットBiasによる弊害をさけるため、SFTは行っていません。

---

---

Closing Notes

モデル名の通り、本モデルはまだ 「若葉（wakaba）」 の段階です。
しかし、一つひとつ改善と検証を重ねながら、
「誰もが手の届く高性能AI」 を目指して育てていきます。

今後の成長を、ぜひ温かい目で見守っていただければ幸いです。

---

OpenMOSE — 2026