evex-5

evex-5

ある Discord サーバーのログだけからゼロから学習した日本語の会話モデル。 既存の重みからの派生ではなく、tokenizer も含めて全部このサーバーのために作ってある。

• パラメータ 25,763,264 (8 層 / d_model 384 / 6 head / context 1024)
• 語彙 12,288 (sentencepiece BPE / byte_fallback)
• decoder-only transformer (RoPE + RMSNorm + SwiGLU) / weight tying
• PLE (Per-Layer Embeddings, d_ple=64) — Gemma 3n と同じ、トークンごと・層ごとの補助ベクトル。行列積ではなく引き表なので、容量は +36% なのに 1 トークンあたりの計算量は +3% しか増えません (CPU 推論で行列積律速なモデルには効きます)
• QK-norm — q/k を RoPE の前に RMSNorm
• val loss 6.8934 (epoch 8)

⚠ プロンプトの形が独特です

**この節を読まずに使うと、まともな出力は出ません。**普通の instruct モデルでも chat template でもなく、記号だけで会話の構造を表す独自の形です。 <|conv|> から始めて <|end|> で終わる 1 行が 1 会話になります。

<|c2|><|conv|><|s0|>これバグってる？<|hi|><|s3|><|re|><|s0|>どこで止まってる？<|end|>

トークンの意味

組み立ての規則

1. **話者トークンと本文を交互に、区切り文字なしで繋げる。**空白も改行も入れません
2. 同じ人が続けて喋るときは、そのつどトークンを置きます (<|a|>今日ひま？<|a|>あ、やっぱいいや)
3. 返信は <話者><|re|><返信先>本文 の順。自分への返信には付けません
4. チャンネルは <|conv|> の前。学習データは 100% がこれで始まるので、省くと分布の外になります

続きを書かせたい人のトークンを末尾に置くと、その人の発言として続きます:

<|c2|><|conv|><|a|>日本の首都どこ<|hi|><|s0|>

使い方

model.py と tok.model がこのリポジトリに入っています。

import json
import torch
import sentencepiece as spm
from safetensors.torch import load_file
from model import Config, MicroLM      # このリポジトリの model.py

cfg = Config(**{k: v for k, v in json.load(open('config.json')).items()
             if k in Config.__dataclass_fields__})
model = MicroLM(cfg)
state = load_file('model.safetensors')
state['head.weight'] = state['embed.weight']   # weight tying。head は保存していない
model.load_state_dict(state)
model.eval()

sp = spm.SentencePieceProcessor(model_file='tok.model')
prompt = '<|c2|><|conv|><|a|>日本の首都どこ<|hi|><|s0|>'
ids = torch.tensor([sp.encode(prompt, out_type=int)])
got = model.generate(ids, max_new_tokens=80, temperature=0.9, top_k=40,
                     stop_id=sp.piece_to_id('<|end|>'))
print(sp.decode(got[0].tolist())[len(prompt):])

生成は <|end|> か、次の話者トークンが出たところで切ってください。

<|hi|> <|conv|> <|cN|> は生成から禁止してください。プロンプト側が置くもので、本文として出るものではありません (禁止しないと 草<|hi|> のように漏れます)。 切らずに流すと、他の人の発言まで作り続けます。

学習

多段で学習しています。外部データで日本語と会話の土台を作り、最後はこのサーバーのログだけで仕上げるという順序です。 混合比だけで比率を守ろうとすると、外部が数倍あるぶん永久に薄まります。

リアクションの付いた発言 (22,667 件) は段2 の学習データに重く混ぜています。それだけで追加学習する段を試したところ、話題の噛み合いが落ちたので入れていません。

話者トークンは発言数の多い順に 147 人ぶん (全発言の 96.6% を被覆)。 件数は 最多 55,964 / 最少 203 で、275 倍の開きがあります。 順位が小さいほどよく学習されています。

出典とライセンス

段1 に使った外部データ:

注意

• **話者トークン <|sN|> は匿名の順位で、userId は含まれていません。**ただし発言の癖は重みに入っているので、特定の順位で生成した文がその人の書き方に似ることはあります
• 表示名は tokenizer の語彙に残っています。tok.model はこのサーバーのログから学習しているので、会話の中でよく呼ばれる名前はBPE が 1 トークンにまとめます。実測で 147 人中 16 人 (上位20人では 7 人) の表示名がそのまま語彙にあり、列挙すれば読めます。<|sN|> の番号と名前の対応は含まれていませんが、「このサーバーによく居る人の呼び名」は分かります
• 学習元は特定のサーバーの雑談なので、俗語と内輪の話題に強く偏っています。汎用の日本語モデルではありません
• 出力の正しさは保証しません。事実確認の用途には使えません
• 有害表現の除去は学習データ側で機械的に掛けただけです。推論側の安全機構はありません