Downloads · 30 days
19
18% of all-time downloads
kurogane/mamba2-micro-test2
mamba2-micro-test2 is a text generation model from kurogane. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
Mamba2アーキテクチャのモデルです。 context sizeは512です。
Downloads · 30 days
19
18% of all-time downloads
All-time downloads
104
Public
Parameters
286M
1.7 GB on disk
Likes
0
Public
Click a slice to open those files.
.pt1.1 GB · 66%
From the Hugging Face model README
Mamba2アーキテクチャのモデルです。 context sizeは512です。
hotchpotch/fineweb-2-edu-japaneseの1%のデータで10 epochs回しました。
Rakuten/RakutenAI-2.0-mini-instructを使用しました。 日本語対応LLMであり、vocab_sizeが48000と学習に使いやすそうだったからです。」