jmoji-t5-v4_focal_top50_20251224

Jmoji T5 - Japanese Text to Emoji Translation Model (Focal Loss)

日本語テキストから絵文字列を生成する翻訳モデルです。Focal Lossを適用し、精度最良（Jaccard 0.182）を達成しました。

Model Description

• Base Model: sonoisa/t5-base-japanese
• Parameters: 222M
• Task: Text-to-Emoji Translation（日本語文→絵文字列）
• Training Method: 知識蒸留（Qwen3-235B-A22Bを教師モデルとして使用）

Intended Use

SNS投稿やチャットメッセージに適切な絵文字を自動付与するタスクを想定しています。

from transformers import T5Tokenizer, T5ForConditionalGeneration

model_name = "AtefAndrus/jmoji-t5-v4_focal_top50_20251224"
tokenizer = T5Tokenizer.from_pretrained(model_name)
model = T5ForConditionalGeneration.from_pretrained(model_name)

text = "今日は楽しかった"
inputs = tokenizer(text, return_tensors="pt", max_length=128, truncation=True)

outputs = model.generate(
    **inputs,
    max_length=32,
    do_sample=True,
    temperature=0.7,
    top_k=50,
    top_p=0.95,
    repetition_penalty=1.2,  # 推奨: 過剰生成抑制
)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)  # 例: 😊 🎉 ✨

Training Details

Training Data

• Dataset: AtefAndrus/jmoji-dataset (v4)
• Samples Used: 1,337件（Top-50絵文字フィルタ適用後）
• Data Split: Train 80% / Val 10% / Test 10%

Training Configuration

Training Procedure

1. Wikipedia日本語版からテキストを抽出
2. Qwen3-235B-A22Bで絵文字を生成（教師ラベル）
3. Top-50頻出絵文字のみを含むサンプルでフィルタリング
4. Focal Lossを適用してファインチューニング

Evaluation Results

Comparison with Other Models

Limitations

• Mode Collapse: 特定絵文字（😊、📚、🎉等）への偏りが発生する場合があります
• 文脈理解: 教師モデル（Gold）と比較して意味的一致度に大きなギャップがあります
• 対象言語: 日本語のみ対応
• 絵文字範囲: Top-50頻出絵文字に限定された学習データを使用

Recommended Settings

過剰生成（同じ絵文字の繰り返し）を抑制するため、repetition_penalty=1.2の使用を推奨します。

Citation

@misc{jmoji2025,
  author = {AtefAndrus},
  title = {Jmoji: Japanese Text to Emoji Translation using Knowledge Distillation},
  year = {2025},
  publisher = {Hugging Face},
  url = {https://huggingface.co/AtefAndrus/jmoji-t5-v4_focal_top50_20251224}
}

Related Resources

• GitHub Repository: https://github.com/AtefAndrus/Jmoji
• Dataset: AtefAndrus/jmoji-dataset
• Balanced Model: AtefAndrus/jmoji-t5-v4_top50_20251224

License

MIT License