rinn-taiko2-90m-ja-base-v1

隣大河2 90m base ja v1

architecture:

• rwkv7(fla)

tarined by (日本語):

• rtx3060 * 2.5h * 6
  トレーニングコードは ./training_codesにあります。
  学習の際はflash-linear-attentionライブラリのインストールとtrust_remote_codeの有効化が必要です。
  ./training_codes以下のi2warp.pyはtrlでのsftの際に必要です。
  flash-linear-attentionライブラリの該当部分を置き換えて(flaのアップデートに合わせて適宜修正して)使用ください

tokenizer

ascii範囲、カタカナ、ひらがなをchar level、それ以外をbyte levelにした、独自トークナイザを使用しています。
語彙はascii範囲、ひらがな、カタカナ、256種のバイトトークン、bpeで追加された計1024+スペシャルトークン24
qwne3 chat format | special tokensを追加したものです。 ggufファイル単体での完全動作はしないため(mainstreamでのllama.cppでのgguf形式での推論はできるが、特殊なトークナイズ処理の都合上トークナイズ処理は別で実装する必要があります。)

sftなどの際は蓬莱3、隣大河、隣大河2を用途に合わせて選択することを推奨します。

dataset:

• OmniAICreator/Japanese-Wikipedia-202506
  use 150k rows 1 epoch * 6, = 900k row (512 seq)