shakespeare-transformer

ewdlop/shakespeare-transformer

模型描述

這是一個基於 Transformer 架構的文本生成模型，使用莎士比亞文本進行訓練。

模型架構

• 模型類型: Encoder-Decoder Transformer
• 詞彙表大小: 5,000
• 模型維度: 256
• 注意力頭數: 8
• 編碼器層數: 4
• 解碼器層數: 4

訓練數據

使用莎士比亞文本進行訓練，包含 0 個句子

使用方法

import torch
from transformers import AutoModel

# 載入模型
model = AutoModel.from_pretrained("ewdlop/shakespeare-transformer")

# 進行推理（需要自定義推理代碼）
# 詳見倉庫中的使用示例

訓練細節

• 優化器: Adam
• 學習率調度: StepLR
• 訓練框架: PyTorch
• 任務類型: 文本生成（復述任務）

限制和偏見

• 模型在莎士比亞文本上訓練，可能會反映該時代的語言特點
• 適用於古典英文文本生成，現代文本效果可能有限