Downloads · 30 days
0
KakumuraArimura/own_gpt
own_gpt is a machine learning model from KakumuraArimura. Use it for the machine learning task on the model card, and read the license before you ship it in a product.
这是一个完整的本地训练中文GPT模型项目,包含从数据预处理、分词器训练、模型训练到性能评估的全流程实现。项目特别针对中文文本生成进行了优化,并实现了与DeepSeek等商业大模型的对比评估。
Downloads · 30 days
0
Access
Public
Updated Nov 16, 2025
Repo size
2.6 GB
Likes
1
Public
Click a slice to open those files.
.pth2.6 GB · 98%
From the Hugging Face model README
这是一个完整的本地训练中文GPT模型项目,包含从数据预处理、分词器训练、模型训练到性能评估的全流程实现。项目特别针对中文文本生成进行了优化,并实现了与DeepSeek等商业大模型的对比评估。
本项目训练过程分为三个关键阶段,每个阶段使用不同的数据集和训练策略:
Text/DSdata.txt - 包含大量中文文本语料train_final_optimized.py<END>data.txt - 包含结构化数据,每组数据以<END>结尾sft_train.pyText/hongloumeng.txt - 红楼梦Text/sanguoyanyi.txt - 三国演义Text/shuihuzhuan.txt - 水浒传Text/xiyouji.txt - 西游记train_final_optimized.py(加载预训练权重)own_gpt/
├── model_optimized.py # 内存优化的GPT模型实现
├── train_final_optimized.py # 优化的训练脚本(第一阶段、第三阶段)
├── sft_train.py # 停止标识符训练脚本(第二阶段)
├── test_final_optimized.py # 模型测试脚本
├── deepseek_local_comparison.py # DeepSeek对比评估
├── Tokenizer.py # 分词器训练和测试
├── model_comparison_evaluation.py # 模型比较评估
├── data.txt # 第二阶段训练数据(停止标识符)
├── tokenizer.model # 训练好的分词器模型
├── tokenizer.vocab # 分词器词汇表
├── saved_models/ # 保存的模型权重
│ ├── gpt_model_final_*.pth # 第一阶段训练模型
│ ├── gpt_model_enhanced_*.pth # 第二阶段增强停止模型
│ ├── training_curves_*.png # 训练曲线图
│ └── training_info_*.json # 训练信息
└── Text/ # 原始文本数据
├── DSdata.txt # 第一阶段训练数据(基础语料)
├── hongloumeng.txt # 第三阶段训练数据(红楼梦)
├── sanguoyanyi.txt # 第三阶段训练数据(三国演义)
├── shuihuzhuan.txt # 第三阶段训练数据(水浒传)
└── xiyouji.txt # 第三阶段训练数据(西游记)
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install sentencepiece matplotlib numpy pandas seaborn rouge-score bert-score nltk openai
python -c "import torch; print(f'PyTorch版本: {torch.__version__}, CUDA可用: {torch.cuda.is_available()}')"
# 使用DSdata.txt进行基础训练
python train_final_optimized.py
# 使用data.txt进行停止标识符训练
python sft_train.py
# 加载预训练模型,使用四大名著数据进行继续训练
python train_final_optimized.py --resume saved_models/gpt_model_enhanced_stop_20251003_200243.pth
# 测试模型生成效果
python test_final_optimized.py
# 进行模型对比评估
python deepseek_local_comparison.py





model_optimized.py)主要特性:
第一阶段训练 (train_final_optimized.py)
第二阶段训练 (sft_train.py)
超参数配置:
d_model = 512 # 模型维度
h = 8 # 注意力头数
Nx = 6 # Transformer层数
batch_size = 16 # 批次大小
max_seq_len = 2048 # 最大序列长度
Tokenizer.py)<END>, 关键词:, 诗词:test_final_optimized.py)deepseek_local_comparison.py)在多个评估指标上与DeepSeek表现相当,部分指标甚至更优:
from model_optimized import MemoryOptimizedBigramLM
import torch
import sentencepiece as spm
# 加载模型和分词器
model = MemoryOptimizedBigramLM(vocab_size=8000)
model.load_state_dict(torch.load("saved_models/gpt_model_enhanced_stop_20251003_200243.pth"))
sp = spm.SentencePieceProcessor()
sp.load("tokenizer.model")
# 生成文本
prompt = "关键词: 风 雾 寂寞"
context = torch.tensor([sp.encode(prompt)], dtype=torch.long)
generated = model.generate(context, max_new_tokens=200)
output = sp.decode(generated[0].tolist())
print(output)
# 优化生成参数
generated = model.generate(
context,
max_new_tokens=200,
temperature=0.8, # 控制随机性
top_k=50, # 限制候选词
repetition_penalty=1.3 # 减少重复
)
欢迎提交Issue和Pull Request来改进这个项目!
本项目采用MIT许可证。
最后更新:2025年11月10日