CEREBORN-german

✅ Model Card for CEREBORN_german

3Step Version I just (14.03.25) added a new "3step Model" als GGUP that implements a 3 step reasoning, answer and remembering process for cereborn-german.

CEREBORN-german is a neat little model built on top of Phi 3.5 4B Instruct, fine-tuned via LoRA on an A100 using carefully curated data. We ended up adjusting about 5.5% of the parameters, hit a 0.76 loss on our eval set, and chugged through 1.2 billion tokens during training. This project came about because we needed a smaller language model that speaks German like a pro, responds quickly, and handles instruct tasks with ease. The model was fine-tuned by Thom Heinrich (Linguist & AI Guy @ Big4). If you want to reach out, feel free to connect on LinkedIn.

✅ Model Details

CEREBORN-german is primarily designed as a compact local model for generating conversational German responses. It also excels at understanding and classifying German texts (e.g., extracting entities, topics, relationships, and more). It’s part of the broader CEREBORN framework (www.cereborn.com) and is optimized for use with laitly (www.laitly.com) and chunkyDB (www.chunkydb.com).

As of 2025-03-10, those domains aren’t live just yet, but stay tuned!

✅ Examples

Here are some unedited examples:

❓ Was ist ein Quantencomputer?

❗ Ein Quantencomputer ist ein Computer, der die Prinzipien der Quantenmechanik verwendet, um Berechnungen durchzuführen. Während ein herkömmlicher Computer mit Bits arbeitet, die entweder einen binären Zustand von 0 oder 1 annehmen können, verwenden Quantencomputer Qubits, die Zustände von 0, 1 und alles dazwischen annehmen können. Diese Eigenschaft, bekannt als Superposition, ermöglicht es Quantencomputern, viele Berechnungen gleichzeitig durchzuführen und somit eine exponentielle Steigerung der Rechenleistung im Vergleich zu traditionellen Computern zu erreichen.

❓ Fasse die Geschichte von Goethes Faust in 5 Sätzen zusammen!

❗ Faust, ein Gelehrter, ist unzufrieden mit seinem Leben und schließt einen Pakt mit Mephistopheles, um die ultimative menschliche Erfahrung zu erlangen. Sie reisen zu verschiedenen Orten und erleben verschiedene Lebensstile, aber Faust ist immer noch unzufrieden. Faust wird von Mephistopheles dazu gebracht, eine Frau namens Gretchen zu lieben, und ihre Beziehung führt zu ihrem tragischen Ende. Faust erkennt, dass er seine Liebe zu Gretchen und die Konsequenzen seines Pakts nicht mehr ignorieren kann. In einem letzten Versuch, Erlösung zu finden, opfert sich Faust und wird in den Himmel aufgenommen.

❓ Schreibe einen kurzen Werbepost für ein orthopädisches Hundebett!

❗ Erlebe die ultimative Komfortzone für deinen pelzigen Freund mit unserem neu gestalteten orthopädischen Hundebett! Unsere innovative Konstruktion bietet eine maßgeschneiderte Unterstützung für deinen Hund, die seine natürliche Bewegung fördert und gleichzeitig Schmerzen lindert. Von der hochwertigen, atmungsaktiven Stoffauswahl bis hin zur maßgeschneiderten Form: Das orthopädische Hundebett ist darauf ausgelegt, deinem tierischen Begleiter das Leben zu erleichtern.

✅ Training results

✅ Environment

The model was trained entirely sustainable on hyperstack.

✅ Sources

CEREBORN-german is a fine-tuned version of microsoft/Phi-3.5-mini-instruct.