Downloads · 30 days
71
16% of all-time downloads
Jotschi/Mistral-7B-v0.1_german-news-titles-v1
Mistral-7B-v0.1_german-news-titles-v1 is a text generation model from Jotschi. Use it when you need the model to write or continue text. It is set up for transformers. The card lists the license as apache-2.0.
This model was finetuned using the german-news-titles dataset.
Downloads · 30 days
71
16% of all-time downloads
All-time downloads
434
Public
Parameters
7.2B
29 GB on disk
Likes
3
Public
Click a slice to open those files.
.safetensors14.5 GB · 100%
From the Hugging Face model README
This model was finetuned using the german-news-titles dataset.
Use the following prompt instruction that was used during the training process:
Erstelle einen 14 Wörter langen Titelvorschlag für folgenden Artikel:
Input:
"Die Vorbereitungen für das Frequency Festival, das von 14. bis 17. August in St. Pölten über die Bühne gehen wird, laufen auf Hochtouren. Das Rote Kreuz wird in Spitzenzeiten mit bis zu 120 Mitarbeitenden im Einsatz sein, die ÖBB bieten Sonderzüge an. Online seit heute, 9.00 Uhr Laut dem Veranstalter wird das Festival „wie geplant“ stattfinden, allerdings müssen Besucher und Besucherinnen mit längeren Wartezeiten aufgrund genauerer Kontrollen rechnen. Den Auftakt macht Ed Sheeran am 14. August, einem Zusatztag. An den folgenden Tagen werden an der Traisen u. a. Apache 207, The Offspring, RAF Camora, Peter Fox und Cro auftreten. Pro Tag werden um die 50.000 Besucher auf dem VAZ-Gelände in der niederösterreichischen Landeshauptstadt erwartet. Anders als in Vorjahren gibt es (laut Stand von Samstagfrüh) noch Viertagespässe und Tagestickets zu kaufen."
Outputs:
Titelvorschlag: Festival-Besucher: Von Stress zur Begeisterung
Titelvorschlag: Wie der Publikumseinstieg auf dem Festival Festival in St. Pölten gestiegen ist
Titelvorschlag: Fokus auf ökologische Verantwortung: Festivals in Österreich setzen auf nachhaltige Praktiken
Training sources: https://github.com/Jotschi/mistral-7b_german-news-titles
Hyperparams used to train this model:
| Parameter | Value |
|---|---|
| gradient_accumulation_steps | 2 |
| learning_rate | 2e-4 |
| epochs | 3 |
| lora_r | 64 |
| lora_alpha | 16 |
| max_seq_length | 256 |
Training template:
count=count_words(title)
prompt="Erstelle einen " + str(count) + " Wörter langen Titelvorschlag für folgenden Artikel:\n" + text
chat = [
{"role": "user", "content": prompt},
{"role": "assistant", "content": "Titelvorschlag: " + title},
]