alphagpt-photon

AlphaGPT-Photon

Сверхкомпактная русскоязычная языковая модель на архитектуре GPT2.

Технические характеристики

Использование

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Загрузка модели
model_name = "prostochel097/alphagpt-ultramini"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Генерация текста
prompt = "Привет"
inputs = tokenizer(prompt, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=20,
        temperature=0.8,
        do_sample=True,
        pad_token_id=tokenizer.pad_token_id,
        eos_token_id=tokenizer.eos_token_id
    )

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Сгенерировано: {generated_text}")