evex-3.5

evex-3.5

ある Discord サーバーの過去ログを主材料に、tokenizer からゼロで作った 18.9M パラメータの言語モデル。事前学習済みの重みは1つも使っていない。

evex-3（15.74M）から変えたのは 2 つだけ:

1. 語彙を 4096 → 12288 にした
2. 公開のなりきり掲示板で会話の土台を作ってから、このサーバーのログで仕上げた

同じ系統の兄弟 — evex-1 / evex-2（5.87M）/ evex-3（15.74M）。

⚠ 147人の話者が重みに入っている

<|s0|> から <|s146|> は実在の人ひとりひとりに対応する。 つまりこのモデルは特定の人になりきって書ける。

• 出力をその人が書いたものとして扱ってはいけない
• 学習データは同意を明示的に取っていない会話。ログそのものと Discord の user ID・表示名は公開していない（speakers.json は順位と発言数だけ）
• 外部データには話者トークンを一切使っていない。<|sN|> が指すのは このサーバーの人だけで、なりきり掲示板の投稿者ではない

二段で学習している

混合比だけで「このサーバーらしさ」を守ろうとすると、外部が数倍あるぶん永久に 薄まる。最後がこのサーバーなら分布は戻り、土台の恩恵だけ取れる。

外部データには相対の役 <|a|>..<|h|> しか使わない。 「会話とはこう進むもの」だけを外から教え、誰が誰かはこのサーバーだけが持つ。

二段は効いたのか（対照を回して確かめた）

同じコーパス・同じ語彙で、段2 をゼロからも回した。

**段1 からの方が全 epoch で上。**しかも段1 からの epoch 1 が対照の epoch 3 より 良いので、土台があると 3 分の 1 の学習で追い越せる。

効果（実測 / n=150）

このモデル自身の val を同じ尺度で測った値を地の値として並べる。

匿名の役 <|b|>（bot の既定経路）

名前持ち <|s0|>（なりきり）

両方の経路で噛み合いが大きく伸びた（+8pt / +10pt）。なりきり時は短くなったが、 噛み合いが 24% → 34% なので、中身の薄い長文が減って的を射た短文になった形。

**なりきり掲示板の口調は漏れていない。**地の文（（微笑み のような括弧）を 含む返答は 0.7% で、このサーバー自身の val（0.9%）を下回る。 元データは本文の 74% が地の文だったが、ビルド時に落としてある。

逐語コピーの数え方について

**20字以上の完全一致だけを数える。**閾値なしで測ると あ（学習に1877回） それはそ（114回）のような誰でも言う相槌が「丸写し」として数えられ、 なりきりが 25.3% と出る。中身を見ると 14 件すべてが 10 字以下で、 21字以上の一致は 0 件だった。短い相槌を返しやすい経路ほど高く出るだけの 指標になっていたので、下限を入れている。

数字

**val は evex-3（4.0741）と比べられない。**語彙が 3 倍になると 1 トークンあたりの 情報量が増えて loss は上がる。比べられるのは同じ語彙で回した対照との間だけ。

語彙 12288 を選んだ理由

evex-3 は「100回以上出る語 9,342 に対しマージ枠 3,670」で、英字は 2,663 語に対し トークン 641 しかなかった。出力に出ていた Cloberlop PHTHPAPAPA は、 この断片を組み立て損ねた形。

他の設定は全部いまの値が最善だった（総トークン数で比較）: coverage 0.9995 は +0.8%、coverage 1.0 は +5.8%、split_digits は +2.3%、 unigram は +1.4% で、いずれも悪化。珍しい文字に3トークン払う方が、 頻出語のマージ枠を失うより安い。

コーパス

外部は OmniAICreator/Japanese-Roleplay-Dialogues（Apache-2.0）。 なりきりチャット掲示板 4,324 スレッド / 606,492 投稿。 中の人の連絡（OOC）と地の文を落とし、露骨な表現を含む投稿を除いてある。

日本語の Discord データは公開されていない。discord を名前に含む 116 の データセットに language: ja は 0 件で、92GB の多言語ダンプ 2,863 ギルドを 抽出調査しても日本語が 5% を超えるものは 0 件だった。

使い方

transformers では動かない。素の PyTorch で読む。

import json, torch, sentencepiece as spm
from safetensors.torch import load_file
from huggingface_hub import snapshot_download

path = snapshot_download("tako080614/evex-3.5")
cfg = json.load(open(f"{path}/config.json"))
sp = spm.SentencePieceProcessor(model_file=f"{path}/tok.model")

state = load_file(f"{path}/model.safetensors")
state["head.weight"] = state["embed.weight"]      # tie_word_embeddings

# model.py は https://github.com/tako0614/sakana の scripts/llm/model.py
from model import Config, MicroLM
model = MicroLM(Config(**{k: cfg[k] for k in
    ["vocab_size", "n_layers", "d_model", "n_heads", "context", "dropout", "attn_dropout"]}))
model.load_state_dict(state)
model.eval()

prompt = "<|conv|><|a|>これバグってる？<|s0|>"
ids = torch.tensor([sp.encode(prompt, out_type=int)])
out = model.generate(ids, max_new_tokens=80, temperature=0.9, top_k=40,
                     stop_id=sp.piece_to_id("<|end|>"))
print(sp.decode(out[0].tolist())[len(prompt):])

プロンプトの形

<|conv|><|s0|>これバグってる？<|s3|><|re|><|s0|>どこで止まってる？<|s0|>
         ↑147人の誰か        ↑別の人  ↑<|s0|> への返信          ↑ここの続きを書かせる

• 話者は <|s0|>..<|s146|>（固有）と <|a|>..<|h|> / <|z|>（会話ごとの相対）
• 名前を持たない人だけに相対の役を振る。混ぜ方を学習と変えてはいけない
• 返信は <|re|> のあとに相手のトークンを置く。読む側は <|re|> と続く話者トークンを落としてから本文を取ること — 相手のトークンを「次の話者」と読むと本文が丸ごと落ちる
• <|end|> で会話が終わる。<url> <file> <mention> <channel> <time> は 正規化が作った記号で、損失から外してあるので自分では書かない

できること / できないこと

できる: このサーバーの口調、147人の読み分け、会話の交代、話を受けて返すこと

できない: 事実、計算、翻訳、指示に従うこと

18.9M しか無いので内容は当てにならない。狙えるのは「話を受けて、それらしい形で、 このサーバーの口調で返す」まで。

ライセンス

重みは MIT。学習データのうち外部ぶんは Japanese-Roleplay-Dialogues（Apache-2.0）、 残りは非公開の私的な会話。上の「147人の話者が重みに入っている」を必ず読むこと。