Japanese-Novel-Reward-130m-v2

Japanese-Novel-Reward-130m-v2

このモデルはsbintuitions/modernbert-ja-130mをファインチューニングして作成された日本語小説の品質評価のためのRewardモデルです。

主に小説生成モデルの強化学習等の用途を想定しています。

入力の小説テキストに対するユーザーの評価を予測することにより、間接的にそのテキストの品質を評価出来ることを想定しています。ただし、テキストのクオリティ以外の様々なバイアス（ジャンル、文体など）の影響を受けている可能性があることに注意してご利用ください。

以前のバージョンからの変更点

以前のバージョンからの主な変更点は以下の通りです。

• データ側の改善
  • 学習データ量を10倍程度増量
  • ユーザの評価件数に基づく信頼度を導入
  • 不均衡データへの対応として、信頼度及びclass balanceによる重み付けを導入
• モデル側の改善
  • 回帰ヘッドをMSEからHuber Lossに変更
  • Ordinal Regression（CORAL）ヘッドを追加
  • 2ヘッドのスコアをensembleして利用

使い方

事前にtransformersやflash attention 2等をインストールしてください。

import torch
from transformers import pipeline

model_name = "Aratako/Japanese-Novel-Reward-130m-v2"

classifier = pipeline(
    "text-classification",
    model=model_name,
    tokenizer=model_name,
    max_length=8192,
    truncation=True,
    device_map="auto",
    torch_dtype=torch.float32,
    trust_remote_code=True,
)


# 以下の例文はo1-proの生成文章です。
text1 = """　地球から四光年先にある惑星シルヴァは、常に緑色のオーロラが大気を覆い尽くしている。大気組成はわずかに人類が呼吸できる水準に達しており、国際恒星探査チームは着陸後すぐに小規模な調査基地を設営した。まだ未知の生物や環境リスクが多く、常時防護服を着用することが義務付けられていたが、そこには他の惑星にはない神秘的な輝きがあった。

　しかし、シルヴァに到着して三週間が経過したある日、チームは周波数帯の異なる奇妙なシグナルを受信した。それは惑星の奥地から発せられているらしく、断続的に解析不可能な符号を繰り返している。始めは放電現象や地磁気の乱れと考えられたが、解析を続けるうちにそのパターンには高度な規則性があると判明した。シルヴァに原生生物がいるかは不明だったが、仮に知的生命体が存在するとすれば、このシグナルこそが最初の接触の証拠かもしれない。

　未知のシグナルを探索するため、調査チームの半数は基地に残り、他の半数が地上車両で発信源を目指すことになった。たどり着くのは容易ではない。惑星の自転と軌道は不安定で、オーロラの発生源である極地帯を通らなければならないからだ。そこは強烈な電子嵐が吹き荒れ、通信が途切れるリスクも大きい。

　出発してから三日目の夜、車両の通信装置に再びあの符号が流れ込んできた。しかも、これまでよりも鮮明で、かつ信号の強度が一定している。人類側の移動に合わせてシグナルが強まっているようにすら感じられた。まるで“何者か”がこちらを探り、導こうとしているかのようだった。

　五日目の夕刻、車両は目的地と思われる地点に到着した。そこには巨大な結晶柱が何本も地面から突き出し、緑色のオーロラを反射してきらめいている。やがて強烈な放電光が走り、車両のモニターに無数の文字列が流れ出した。その一つひとつが、これまで受信してきた符号の断片と一致することが判明する。
「解読できないか？」
　チームのエンジニアがすぐに端末に入力を開始する。すると、高度な数理アルゴリズムを経て、短い文章が浮かび上がった。
——ようこそ。我々はあなたたちを待っていた。——

　一同は息をのんだ。この惑星に知的生命体が存在する可能性が高いと確信した瞬間だった。恐る恐る結晶柱へ近づくと、表面に薄く光る膜のようなものが走っているのが見えた。誰もが初めて見る未知のテクノロジーに戸惑いと興奮を隠せない。
「これは、メッセージの投影装置かもしれない。地球でいうホログラムのような……」
　先ほどの一文に続き、さらに複雑な符号が走る。解読ソフトが再び動き、次々と浮かび上がる言葉に、人類は初めて“彼ら”の声を聞いた。
——この星はあらゆる音を、光として記録する。私たちはあなた方を歓迎する準備ができている。——

　その瞬間、結晶柱の周囲にあった無数のオーロラが渦を巻き始め、調査チームは鮮やかな光の嵐に包まれた。リーダーの胸には、畏怖と同時に奇妙な安心感が広がっていた。やがて通信が基地へ復旧されると、結晶柱の内部に広がる未知の世界をすべて記録すべく、全人類が新たな一歩を踏み出す準備を始めるのだった。"""

text2 = """　ぼくは宇宙船に乗っていた。理由はよくわからない。とにかく、ここは狭い部屋がひとつあるだけで、窓は黒くて何も見えない。宇宙を旅しているはずだけれど、景色は真っ暗だ。食料もカプセルみたいな固いものばかりだ。あんまりおいしくない。

　日常のほとんどは退屈だから、寝てばかりいる。ときどき目を覚ましてコントロールパネルを見るけど、赤や青のランプが意味もなく点滅しているだけで、何がどうなっているのかよくわからない。

　船内のコンピュータと会話しようとしても、返事は「異常ナシ。航行中デス」としか言わない。何か異常があったらどうなるか、想像するのも面倒だから、そのまままた寝る。たまに重力の調整がうまくいかず、少しふわっとするけど、すぐに元に戻る。それだけだ。

　ぼくは宇宙船で何をしているのか、本当によくわからない。たぶん地球に帰ることを目指しているんだろうけど、帰っても特別やることはないし、急ぐ理由も思いつかない。そういえば、いつ出発したのかも覚えていない。

　ときどき通信が入ることがあるけれど、大抵は雑音だけだ。何を言っているかもわからないし、聞き返す気力もない。音声ログを再生しても「ザザ…」というノイズが続くだけで、最後に小さな声が聞こえるような気がするけど、結局意味が分からないから気にしない。

　そんなわけで、今日はまた固いカプセル食をかじったあと、ぼくはベッドに倒れ込むようにして眠りについた。明日もまた同じ一日が続くと思うけれど、特に問題はない。どうせ闇しか見えない宇宙の中で、ぼくはただ一人だからだ。

　宇宙って、こんなにつまらないものだったんだなと思いながら、ぼくは船内のランプが点滅するのをぼんやり眺める。それでも船はどこかへ向かって動いているらしい。目標があるのかどうかはよくわからない。"""

print(classifier([text1, text2]))

出力

[{'label': 'LABEL_0', 'score': 8.103752136230469}, {'label': 'LABEL_0', 'score': 7.861827850341797}]

なお、推論時に表示されるThe model 'ModernBertForOrdinalAndRegression' is not supported for text-classification.という警告は無視してください。

学習のハイパーパラメータ

学習の主なハイパーパラメータは以下の通りです。

• learning_rate: 1e-5
• total_train_batch_size: 16
• optimizer: adamw_torch
• lr_scheduler_type: cosine_with_min_lr
• num_epochs: 3
• max_length: 8192
• lambda_reg: 0.075
• gamma: 0.025

学習ログ（WandB）

評価

1. validデータに対する評価

• MAE: 0.4509
• R2: 0.4205
• Pearsonr: 0.6575
• Spearmanr: 0.6462
• Pair(Δ≥1.0): 0.8847

1. testデータに対する評価指標

• MAE: 0.4401
• R2: 0.4260
• Pearsonr: 0.6625
• Spearmanr:0.6526
• Pair(Δ≥1.0): 0.8865

Pair(Δ≥1.0)は正解ラベルの差が1.0以上あるペアの大小関係を正しく予測できた割合です。

1. testデータに対する推論結果の分布

• 散布図
• 誤差の分布

ライセンス

MITライセンスの元公開します。