AtomicGPT-T1

AtomicGPT T1

Beschreibung

Das AtomicGPT T1 ist unser erstes Denken-Modell! Der Denkprozess befindet sich zwischen <think> und </think>.
Der Vorteil ist, dass das KI-Modell bessere Antworten liefern kann, weil es sich vorher Gedanken macht! <br> Das "T" im Name steht für Think!

Das Training hat 40 Minuten gedauert mit 10 Epochen.
Das Dataset war nur 800KB groß und hat trotzdem erstaunlich gute Ergebnisse geliefert!

Für das Training wurde unser vorheriges Modell AtomicGPT 3.0 verwendet.
Deswegen kann das Modell mit ausreichend Wissen bereitgestellt werden!

AtomicGPT T1 ist ein kleines deutsches KI-Modell, das in der Lage ist, qualitativ hochwertige Antworten in deutscher Sprache zu liefern.
Das Modell ist noch nicht perfekt, aber in der Vergangenheit wurde es kontinuierlich mit verbessertem Wissen ausgestattet.

Vergleiche

---

Verwendung

Um das Modell zu verwenden, stelle sicher, dass der Prompt im folgenden Format gesendet wird:

<user>prompt<End><AI Assistent>

Wenn <End> erkannt wird, sollte die Generierung gestoppt werden.

from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
import torch

# Modell und Tokenizer laden
MODEL_PATH = "Atomic-Ai/AtomicGPT-T1"

tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(MODEL_PATH)

print("Spezielle Tokens:", tokenizer.additional_special_tokens)
print("Pad Token:", tokenizer.pad_token)
print("EOS Token:", tokenizer.eos_token)

device = 0 if torch.cuda.is_available() else -1
print(f"Verwende {'GPU' if device == 0 else 'CPU'} für Inferenz")

chatbot = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device=device
)

def generate_response(prompt):
    output = chatbot(
        prompt,
        max_new_tokens=1024,
        eos_token_id=50268,
        pad_token_id=tokenizer.pad_token_id,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        top_k=50,
        repetition_penalty=1.1
    )
    return output[0]['generated_text']

def format_chat(user_input):
    return f"<user>{user_input}<End><AI Assistent>"

def extract_assistant_response(full_text):
    try:
        parts = full_text.split("<AI Assistent>")
        if len(parts) > 1:
            response_part = parts[1]
            if "<End>" in response_part:
                return response_part.split("<End>")[0].strip()
            else:
                return response_part.strip()
        return "Fehler: Antwortformat ungültig"
    except Exception as e:
        return f"Fehler bei der Extraktion: {str(e)}"

def main():
    print("\n=== AtomicGPT Chat ===")
    print("Chat gestartet! Gib 'exit' ein, um zu beenden.")
    print("----------------------------------")
    
    while True:
        user_input = input("\nDu: ")
        if user_input.lower() in ['exit', 'quit', 'ende']:
            print("Chat beendet. Auf Wiedersehen!")
            break
            
        try:
            prompt = format_chat(user_input)
            full_response = generate_response(prompt)
            assistant_response = extract_assistant_response(full_response)
            print(f"\nAI Assistent: {assistant_response}")
        except Exception as e:
            print(f"\nFehler: {str(e)}")
            print("Versuche es mit einer anderen Eingabe.")

if __name__ == "__main__":
    main()

---

Unterstütze uns

Tritt unserer Community bei:
👉 Discord Server

---