Downloads · 30 days
0
RWKV-x060-Jpn-6B
OpenMOSE/RWKV-x060-Jpn-6B
RWKV-x060-Jpn-6B is a machine learning model from OpenMOSE. Use it for the machine learning task on the model card, and read the license before you ship it in a product. The card lists the license as apache-2.0.
- モデル名: RWKV x060 6B JPN - アーキテクチャ: RWKV（Receptance Weighted Key Value） - 元モデル: x060 7B JPN - 言語: 日本語
Access
Public
Updated Sep 8, 2024
Repo size
12.2 GB
Likes
2
Public
Repo makeup
Click a slice to open those files.
.pth12.2 GB · 100%
At a glance
- License
- apache-2.0
- Access
- Public
- Created
- Sep 8, 2024
- Updated
- Sep 8, 2024
- SHA
- 41d9eee6
Model card
From the Hugging Face model README
RWKV x060 6B JPN モデルカード
モデル概要
- モデル名: RWKV x060 6B JPN
- アーキテクチャ: RWKV（Receptance Weighted Key Value）
- 元モデル: x060 7B JPN
- 言語: 日本語
モデル仕様
- パラメータ数: 約6B（60億）
- レイヤー数: 25層（元モデルの32層から7層プルーニング）
- 次元数: 4096次元
蒸留プロセス
- 蒸留データセット: 30,000ペアの蒸留データ
- 学習方法: 元モデルのLogitsからTop-k=100のみを採用
- 学習Epoch: 2
- トレーニング手法: 可変LoRA（Low-Rank Adaptation）
モデル構造詳細
- Embedding層: 凍結
- 出力層（Head）: 凍結
- Layer 0: フルパラメータ学習
- Layer 1-24: LoRA（Rank=128）による学習
特徴
- x060 7B JPNからの蒸留モデルであり、元のモデルの性能を維持しつつ、サイズを縮小
- プルーニングとLORAを組み合わせた効率的な学習手法を採用
- 日本語タスクに特化した調整
使用上の注意
- 日本語タスクに最適化されているため、他言語での性能は保証されません
- モデルの出力は人間の監督下で使用し、適切に検証することをお勧めします
ライセンス
[Apache2.0]
引用
[RWKV x060 7B JPN]
連絡先
[OpenMOSE]
- License
- apache-2.0
- Created
- Sep 8, 2024
- Updated
- Sep 8, 2024