gpt2

GPT-2 (163M) — Trained from Scratch on TinyStories

Mô hình GPT-2 architecture (163M parameters) được train từ đầu (from scratch) bằng PyTorch thuần, trên dataset TinyStories. Đây là sản phẩm của dự án học tập LEARN-LLM.

---

🔢 Model Architecture

Note: Không dùng weight-tying giữa tok_emb và out_head nên 163M thay vì 124M của GPT-2 gốc.

---

🏋️ Training Details

---

📦 Files

---

🚀 Sử dụng

Load model

import torch
import tiktoken
import sys

# Clone repo để có model code
# git clone https://github.com/Tung003/LEARN-LLM.git

sys.path.insert(0, "LEARN-LLM/notebooks")
from chapter_3_models.artifacts.gpt_model import GPTModel
from chapter_3_models.artifacts.generate import generate_text_simple

# Download checkpoint từ HF
from huggingface_hub import hf_hub_download

ckpt_path = hf_hub_download(
    repo_id="TungChu/gpt2",
    filename="best_checkpoint.pth"
)

# Load model
checkpoint = torch.load(ckpt_path, map_location="cpu")
model = GPTModel(checkpoint["model_config"])
model.load_state_dict(checkpoint["model_state_dict"])
model.eval()

# Generate text
tokenizer = tiktoken.get_encoding("gpt2")
prompt = "Once upon a time"
tokens = tokenizer.encode(prompt)
idx = torch.tensor([tokens])

with torch.no_grad():
    out = generate_text_simple(model, idx, max_new_tokens=100, context_size=1024)

print(tokenizer.decode(out[0].tolist()))

---

📊 Training Results

---

🔗 Links

• 📂 Source code: github.com/Tung003/LEARN-LLM
• 📖 Dataset: roneneldan/TinyStories

---

📄 License

MIT License — Tự do sử dụng cho mục đích học tập và nghiên cứu.