Downloads · 30 days
105
18% of all-time downloads
sonofstrange/SonofGPT-0-ULTRA
SonofGPT-0-ULTRA is a text generation model from sonofstrange. Use it when you need the model to write or continue text. The card lists the license as apache-2.0.
SonofGPT-0-ULTRA — официальная флагманская языковая модель нового поколения, разработанная sonofstrange специально для экосистемы сервера Xr9k Network (основатель Minixr9k).
Downloads · 30 days
105
18% of all-time downloads
All-time downloads
581
Public
Parameters
494M
3 GB on disk
Likes
2
Public
Click a slice to open those files.
.safetensors988 MB · 99%
From the Hugging Face model README
SonofGPT-0-ULTRA — официальная флагманская языковая модель нового поколения, разработанная sonofstrange специально для экосистемы сервера Xr9k Network (основатель Minixr9k).
Модель создана методом глубокого дообучения (LoRA SFT) на базе передовой архитектуры Qwen2.5-0.5B-Instruct (~490M параметров, < 1 млрд).
<think>.import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "sonofstrange/SonofGPT-0-ULTRA"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto"
)
query = "Какая удочка лучшая в InfiniFish и какой у неё мета-сетап?"
messages = [{"role": "user", "content": query}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=300,
do_sample=True,
temperature=0.3,
top_p=0.85,
repetition_penalty=1.1,
pad_token_id=tokenizer.pad_token_id
)
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)