nanoGPT-kirin820-shakespeare-char

Shakespeare Char-Level GPT (nanoGPT)

这是一个使用 nanoGPT 从零训练的字符级 GPT 模型，训练数据为 Tiny Shakespeare。

重要： 这是一个字符级模型，不是 Hugging Face Transformers 原生兼容模型。

Model Details

• Model type: Decoder-only Transformer / GPT
• Training framework: nanoGPT
• Language: English
• License: MIT
• Training data: Tiny Shakespeare
• Tokenizer: Character-level
• Context length / block size: < 64 >
• Vocabulary size: < 65 >
• Parameters: < 10.65M >
• Checkpoint: ckpt.pt

Quick Start

1. 安装依赖

pip install -r requirements.txt

Training

• Framework: nanoGPT
• Dataset: Tiny Shakespeare
• Model config:
  • n_layer: < 6 >
  • n_head: < 6 >
  • n_embd: < 384 >
  • block_size: < 64 >
  • dropout: < 0.0 >
  • bias: < False >
• Device: < cpu >

Intended Use

• 研究、教学和文本生成实验
• 莎士比亚风格英文文本生成
• nanoGPT / 字符级语言模型的学习与复现

Limitations

• 这是字符级模型，生成结果可能出现拼写错误、重复、语法不自然等问题。
• 仅在莎士比亚文本上训练，领域和风格非常有限。
• 上下文长度受 block_size 限制。

License

本项目采用 MIT License。
训练数据 Tiny Shakespeare 请遵循其原始许可和来源说明。

Acknowledgements

• nanoGPT by Andrej Karpathy
• Tiny Shakespeare dataset