expertai_-_LLaMAntino-3-SLIMER-IT-4bits

Quantization made by Richard Erkhov.

Github

Discord

Request more models

LLaMAntino-3-SLIMER-IT - bnb 4bits

• Model creator: https://huggingface.co/expertai/
• Original model: https://huggingface.co/expertai/LLaMAntino-3-SLIMER-IT/

Original model description:

language:

• it pipeline_tag: text-generation license: llama3 tags:
• facebook
• meta
• pythorch
• llama
• llama-3
• llamantino
• zero-shot NER
• NER base_model: swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA

---

SLIMER-IT: Show Less Instruct More Entity Recognition - Italian language

SLIMER-IT is an LLM specifically instructed for zero-shot NER on Italian language.

Github repository: https://github.com/andrewzamai/SLIMER_IT

Instructed on a reduced number of tags (PER, ORG, LOC), it is designed to tackle never-seen-before Named Entity tags by leveraging a prompt enriched with a DEFINITION and GUIDELINES for the NE to be extracted.

Built with Meta Llama 3, based on the Italian instruction-tuned version swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA

<!DOCTYPE html> <html> <head> <title>Instruction Tuning Prompt</title> <style> .container { border: none; padding: 5px; width: 300px; margin: 0 auto; font-family: Arial, sans-serif; font-size: 8px; border-radius: 10px; /* Rounded borders for container */ overflow: hidden; /* Ensure child elements respect container's rounded borders */ } .header { background-color: black; color: white; padding: 5px; text-align: center; font-weight: bold; font-size: 14px; border-top-left-radius: 10px; /* Rounded top-left corner */ border-top-right-radius: 10px; /* Rounded top-right corner */ } .content { padding: 5px; } .definition, .guidelines { padding: 5px; border-radius: 10px; /* Rounded borders for definition and guidelines */ } .definition { background-color: #ffa3f0; } .guidelines { background-color: #93e2fa; } .footer { background-color: black; color: white; padding: 10px; font-weight: bold; border-bottom-left-radius: 10px; border-bottom-right-radius: 10px; } </style> </head> <body> <div class="container"> <div class="header">Instruction Tuning Prompt</div> <div class="content"> <p>Ti viene fornito un input di testo (delimitato da tre virgolette) e un'istruzione.<br> Leggi il testo e rispondi all'istruzione alla fine.</p> <p>"""<br> {input di testo}<br> """</p> <p><b>Istruzione:</b> Estrai tutte le entità di tipo <b>ENTITÀ MITOLOGICA</b> dal testo che hai letto.</p> <p>Ti vengono fornite una <b>DEFINIZIONE</b> e alcune <b>LINEE GUIDA</b>.</p> <div class="definition"> <p><b>DEFINIZIONE:</b> <b>ENTITÀ MITOLOGICA</b> denota personaggi, divinità, creature o figure mitologiche provenienti da tradizioni religiose, miti, leggende o folklore.</p> </div> <div class="guidelines"> <p><b>LINEE GUIDA:</b> Assicurati di non etichettare come ENTITÀ MITOLOGICA personaggi storici o letterari reali. Ad esempio, 'Alessandro Magno' è un personaggio storico, non una figura mitologica. Inoltre, fai attenzione a distinguere nomi comuni o nomi di luoghi che possono riferirsi anche a figure mitologiche, come 'Diana', che può essere un nome proprio e il nome della dea romana della caccia.</p> </div> <p>Restituisci una lista JSON di istanze di questo tipo. Restituisci una lista vuota se non sono presenti istanze.</p> </div> <div class="footer"></div> </div> </body> </html> <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>JSON Template</title> <style> body { font-family: Arial, sans-serif; line-height: 1.6; padding: 20px; } .description { font-weight: bold; color: #333; margin-bottom: 10px; } .template { background-color: #f0f0f0; padding: 10px; border-radius: 5px; margin-bottom: 20px; } .highlight-orange { color: orange; font-weight: bold; } </style> </head> <body> <div class="description">JSON SLIMER-IT prompt</div> <div class="template"> <pre>{ "description": "SLIMER prompt for Italian", "prompt_input": "<|start_header_id|>system<|end_header_id|>\n\n Sei un utile assistente.<|eot_id|>\n<|start_header_id|>user<|end_header_id|>\n\nTi viene fornito un input di testo (delimitato da tre virgolette) e un'istruzione. \nLeggi il testo e rispondi all'istruzione alla fine.\n\"\"\"\n{<span class="highlight-orange">input</span>}\n\"\"\"\nIstruzione: Estrai tutte le entità di tipo {<span class="highlight-orange">NE_name</span>} dal testo che hai letto. Ti vengono fornite una DEFINIZIONE e alcune LINEE GUIDA.\nDEFINIZIONE: {<span class="highlight-orange">definition</span>}\nLINEE GUIDA: {<span class="highlight-orange">guidelines</span>}\nRestituisci una lista JSON di istanze di questo tipo. Restituisci una lista vuota se non sono presenti istanze.<|eot_id|>\n<|start_header_id|>assistant<|end_header_id|>\n\n" }</pre> </div> </body> </html>

from vllm import LLM, SamplingParams

vllm_model = LLM(model="expertai/SLIMER-IT")

sampling_params = SamplingParams(temperature=0, max_tokens=128)

prompts = [prompter.generate_prompt(instruction, input) for instruction, input in instruction_input_pairs]
responses = vllm_model.generate(prompts, sampling_params)

Citation

If you find SLIMER-IT useful in your research or work, please cite the following paper:

@misc{zamai2024slimeritzeroshotneritalian,
      title={SLIMER-IT: Zero-Shot NER on Italian Language}, 
      author={Andrew Zamai and Leonardo Rigutini and Marco Maggini and Andrea Zugarini},
      year={2024},
      eprint={2409.15933},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2409.15933}, 
}