pansophic-1-preview-LLaMA3.1-8b-GPTQ

<img src="https://cdn-uploads.huggingface.co/production/uploads/6501bfe0493fd9c8c2e32402/lD6vkg6RxQKB8Da0JTWxi.jpeg" alt="Pansophic Logo" width="400" style="display:block; margin-left:auto; margin-right:auto;"/>

pansophic-1-preview 🇷🇴

pansophic-1-preview 🦝 is an 8-billion parameter large language model that was trained on a mix of English and Romanian instructions. The prompt format used is ChatML.

Model description

• Model type: An 8B parameter GPT-like model fine-tuned and aligned with APO-ZERO.
• Language(s) (NLP): Romanian and English
• License: llama3.1
• Finetuned from model: meta-llama

Performance

The model is compared on benchmarks created by the OpenLLMRo Community:

Input Format

The model is trained with the ChatML format:

<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant

The model is optimized for a diverse set of use cases:

System prompt:

<|im_start|>system
System prompt here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant

Context usage:

<|im_start|>context
Context here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant

Tools usage:

<|im_start|>tools
Tools here.<|im_end|>
<|im_start|>user
Your message here!<|im_end|>
<|im_start|>assistant

Model usage

Running the model

Here's how you can run the model using 🤗 Transformers:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model = AutoModelForCausalLM.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("pansophic/pansophic-1-preview-LLaMA3.1-8b", torch_dtype=torch.bfloat16)
streamer = TextStreamer(tokenizer)

message = "Ce faci?"
chat = [{"role": "user", "content": message}]

prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
inputs = tokenizer.encode(prompt, add_special_tokens=True, return_tensors="pt")
outputs = model.generate(input_ids=inputs.to("cuda"),
                         max_new_tokens=64000,
                         do_sample=True,
                         temperature=0.7,
                         repetition_penalty=1.1,
                         top_p=0.95,
                         use_cache=True,
                         streamer=streamer)

Tool usage

The model is optimized for agentic behavior when it has access to external tools. In the example below, we inform the model that it has access to a function that can generate images:

tools = """[{"name": "image_generation", "description": "Generează o imagine pe baza unui query.", "parameters": {"query": {"description": "Query-ul pe baza căruia să se genereze imaginea.", "type": "str"}}}]"""
query = "Generează o imagine cu un coldbrew, iar în fundal Turnul Eiffel."

chat = [{"role": "tools", "content": tools},
        {"role": "user", "content": message}]

The model’s response will be:

<tool_call> {"name": "image_generation", "arguments": {"query": "Un coldbrew în prim-plan, cu Turnul Eiffel în fundal"}} </tool_call>

And this is the generated image using FLUX model.

The start of the function call is denoted by the special token <tool_call>, and the </tool_call> token marks the end of the function call.

System prompt

The model is optimized to adhere strictly to system prompts:

system = "Foloseste doar emoji-uri atunci când răspunzi."
message = "Ești fericit?"

chat = [{"role": "system", "content": system},
        {"role": "user", "content": message}]

The model’s response will be:

😊🙌💖

Context usage

The model is optimized for context usage. The model generates special tokens to retrieve information from the context before formulating an answer, ensuring that the response is grounded in the appropriate context. The model will use special tokens to denote the information retrieval from the context.

context = """Document:0 
Title: Contextul Politic din România  
Text: În România, contextul politic este caracterizat de o dinamică complexă și adesea imprevizibilă. Partidele politice majore, precum Partidul Social Democrat (PSD) și Partidul Național Liberal (PNL), domină scena politică, dar nu fără provocări interne și externe. România se confruntă cu provocări legate de stabilitatea guvernului, polarizarea politică și tensiuni între diferitele ramuri ale puterii. Alegerile recente au evidențiat o creștere a sentimentului anti-establishment, cu partide noi și mișcări politice care câștigă teren. În plus, relațiile cu Uniunea Europeană și politicile economice rămân subiecte fierbinți, influențând deciziile politice și direcția strategică a țării. În general, climatul politic din România rămâne volatil, reflectând tranziția continuă a țării către o democrație matură și consolidată.

Document:1
Title: Influența lui Mihai Eminescu în România
Text:Mihai Eminescu, considerat cel mai mare poet național al României, a avut o influență profundă asupra culturii și conștiinței naționale românești. Opera sa, caracterizată printr-o profundă reflecție filosofică și o extraordinară bogăție lingvistică, a devenit un reper în literatura română, inspirând generații întregi de scriitori, intelectuali și oameni de cultură.

Eminescu nu a fost doar un poet romantic; el a fost și un jurnalist vehement, care a comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea. În articolele sale publicate în "Timpul", a criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea națională. Prin cuvântul său, Eminescu a militat pentru conservarea tradițiilor și a valorilor autentice românești, văzând în acestea fundația unei Românii puternice și independente.

În educația din România, operele lui Eminescu sunt parte integrantă a curriculei, fiind studiate în detaliu în școli și universități. Poezii precum "Luceafărul" sau "Scrisoarea III" sunt considerate capodopere ale literaturii universale, iar influența sa se resimte și astăzi în discursul cultural și naționalist românesc. În fiecare an, la 15 ianuarie, ziua de naștere a lui Eminescu, se celebrează "Ziua Culturii Naționale" în România, un omagiu adus moștenirii sale durabile.

Eminescu a devenit un simbol al sufletului românesc, iar lucrările sale rămân un testament al luptelor, viselor și aspirațiilor poporului român. Influența sa este atât de profundă încât numele său este asociat nu doar cu literatura, ci și cu identitatea culturală națională a României."""
---
message = "În ce ziar a scris Mihai Eminescu?"

chat = [{"role": "context", "content": context},
        {"role": "user", "content": message}]

The model’s response is:

<gather_info>
<document: 1>
- Mihai Eminescu a scris ca jurnalist în "Timpul"
- A comentat asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea
- A criticat corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea națională
</document>

Documente citate: 1
</gather_info>

Mihai Eminescu, cel mai mare poet național al României, a lăsat o amprentă indelebilă nu numai pe scena literară, ci și pe peisajul jurnalistic al epocii sale. În calitate de jurnalist, Eminescu a ales să-și exprime opinia și analizele în cadrul ziarului "Timpul". Acesta a fost forumul în care a abordat teme de actualitate, oferind o perspectivă unică asupra contextului politic și social al României de la sfârșitul secolului al XIX-lea.

Prin articolele sale, Eminescu a nu numai că a reflectat realitățile timpului său, ci a și exercitat o influență semnificativă asupra dezbaterilor publice. Criticând corupția politică, inegalitățile sociale și influențele externe care amenințau identitatea națională, el a demonstrat un angajament ferm față de valorile autentice românești și față de o Românie puternică și independentă.

Astăzi, opera lui Eminescu rămâne un punct de referință în literatura română și o sursă de inspirație pentru generații întregi de scriitori, intelectuali și oameni de cultură. Moștenirea sa literară, inclusiv articolele sale publicate în "Timpul", continue să fie studiate și apreciate în România, reflectând importanța sa continuă în viața culturală și națională a țării.

Limitations

While pansophic-1-preview 🇷🇴 is an advanced model, it may generate incorrect or nonsensical responses, especially in complex or highly nuanced scenarios. It should be used with caution in critical applications.

Acknowledgments

The OpenLLM-Ro team extends its gratitude to all contributors and users who provided valuable feedback during the model's development.

---

License

This model is licensed under the llama3.1 license.