ModernBERT_Japanese_MT_Bench_test

ModernBERT_Japanese_MT_Bench_test

これはテスト的なモデルです。

Nejumi LLMリーダーボード3で公開されているJapanese MT Benchのroleplay, humanities, writingの結果を勝手にModernBERTに学習させたモデルです。

今後、自力でJapanese MT Benchをし直して使えるモデルにしていきたい。

トレーニングの結果

トレーニングコードはChatGPTに書いてもらいました。自力で設計できるようになりたい…。

training用のノートブックでfine tuningしました。

Japanese MT Benchの010の結果を1/10して、01.0の回帰タスクとして学習させています。

やりすぎなのかもしれないし、どう改善したらいいんだろうか？

データセットの分布を見る限り、９の出力に偏りが多いので推測結果が高めに偏ってるのかもしれません。

testデータとの差

test用のnotebookのコードで出力しました。

予測できてる雰囲気だけど、低いやつをだいぶ予測ミスしてるから使い物にはならなそう。

License

各モデルの継承ライセンスに従う必要があるので、基本的に使用不可と考えてください。

そのため、CC-BY-NC-4.0とします。