timpal0l_-_Mistral-7B-v0.1-flashback-v2-instruct-4bits

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Mistral-7B-v0.1-flashback-v2-instruct - bnb 4bits

• Model creator: https://huggingface.co/timpal0l/
• Original model: https://huggingface.co/timpal0l/Mistral-7B-v0.1-flashback-v2-instruct/

Original model description:

language:

• sv
• en license: mit tags:
• pretrained
• flashback
• web
• conversational
• chat datasets:
• timpal0l/OpenHermes-2.5-sv
• teknium/OpenHermes-2.5 pipeline_tag: text-generation

---

🐈‍⬛ Mistral-7B-v0.1-flashback-v2-instruct

Mistral-7B-v0.1-flashback-v2-instruct is an instruct based version of the base model timpal0l/Mistral-7B-v0.1-flashback-v2. It has been finetuned on a the machine translated instruct dataset OpenHermes2.5.

How to use:

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    "timpal0l/Mistral-7B-v0.1-flashback-v2-instruct",
    device_map="auto"
)

text = """
Hur många ägg har jag? Jag hade 10 ägg, sen gav jag bort 5 ägg.
Sen fick jag 3 ägg av en kompis.
"""

generated = pipe(f"USER:{text}ASSISTANT:", max_length=512, temperature=0.6)
print(generated[0]["generated_text"].split("ASSISTANT: ")[1:][0])

Output:

Du har 8 ägg. Här är resonemanget:
1. Du börjar med 10 ägg
2. Du ger bort 5 ägg, vilket lämnar dig med 10 - 5 = 5 ägg
3. Sedan får du 3 ägg av en kompis, vilket gör att du har 5 + 3 = 8 ägg.