llm-course-hw1

Модель на основе трансформера для генерации анекдотов на русском языке.

В моделе 79.5 миллионов параметров и 12 слоев.

В моделе в качестве позиционных эмбеддингов используются ALiBi

Контекст модели составляет 128 токенов.

Модель использует BPE-токенизатор с размеров словаря в 1024 токена

Качество при обучении:

Пример генерации:

Штирлиц впервые наступил в карьере с ним и дураком. Сидит на берегу - это когда я не могу найти с ним, и даже и встать.

Пример использования:

text = "Заходит в бар"
tokenizer = ByteLevelBPETokenizer.from_pretrained('Yegor25/llm-course-hw1')
model = TransformerForCausalLM.from_pretrained('Yegor25/llm-course-hw1').eval()
input_ids = torch.tensor(tokenizer.encode(text)[:-1], device=trainer.device)[None, :]
model_output = model.generate(
    input_ids, max_new_tokens=200, eos_token_id=tokenizer.eos_token_id, do_sample=True, top_k=10
)
tokenizer.decode(model_output[0].tolist())