EsDrac-v1-7B

<p align="center"> <img src="esdrac_banner.png" alt="EsDrac" width="100%"> </p>

EsDrac 🐉

The first language model that speaks Mallorcan. Es primer model de llenguatge que xerra mallorquí.

<p align="center"><i>Also available in <b>Español</b> and <b>Mallorquí</b> — see the expandable sections at the bottom.</i></p> <p align="center"> <a href="https://colab.research.google.com/github/marcmayol/EsDrac/blob/main/EsDrac_demo.ipynb"><img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open in Colab"></a> </p>

▶️ Try it free in Google Colab (badge above, T4 GPU) — or run it locally with the GGUF (Ollama · LM Studio · llama.cpp).

EsDrac is a 7B conversational model that genuinely speaks Mallorcan (mallorquí) — the Balearic variant of Catalan, with its characteristic salat article (es, sa, ses, so) — not just standard Catalan. It also handles English and Spanish fluently.

Built on Qwen2.5-7B-Instruct, uncensored and fine-tuned. The name comes from Es Drac de na Coca, the Mallorcan dragon legend.

📚 The Mallorcan instruction data used to teach it is openly released: natzx94/EsDrac-mallorqui.

Highlights

• 🗣️ Speaks Mallorcan — composes real sentences with the salat article, folktale (rondaia) openings and native vocabulary. As far as we know, the first model that does this.
• 🌍 Multilingual — English and Spanish are preserved, no catastrophic forgetting.
• 🤖 Agentic & tool use (reinforced) — strong native function-calling and multi-step reasoning (see below).
• ⚖️ Uncensored on Chinese politics — answers truthfully and in a balanced way on topics the base model tends to deflect (Tiananmen, Xinjiang, Tibet…), without refusing and without propaganda in either direction.

🤖 Agentic & tool use (a strong point)

A main focus of EsDrac was reinforcing agentic and function-calling ability, with dedicated ReAct-trajectory training (English, Spanish and Mallorcan). It can:

• Emit valid native <tool_call> JSON.
• Chain multiple tools across multi-step tasks and combine their results.
• Pick the right tool among several — and know when not to call one.
• Use a tool's result in a follow-up turn (multi-turn).
• Recover from tool errors instead of getting stuck.

On our own tool-calling and ReAct agent evaluations (with real tool execution), EsDrac performs on par with the base Qwen2.5-7B-Instruct, keeping full native agentic ability despite the Mallorcan specialization and the uncensoring.

Example

Q (mallorquí): Conta'm es començament d'una rondaia mallorquina.
A: Això era i no era, un al·lot que nomia Joanet, que vivia amb sa mare
   dins una caseta veïnat de sa mar…

   (EN: "Once upon a time, a lad named Joanet who lived with his mother
    in a little house by the sea…")

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "natzx94/EsDrac-v1-7B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

msgs = [{"role": "user", "content": "Explica'm en dues frases què és una illa, en mallorquí."}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
ins = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**ins, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0][ins["input_ids"].shape[1]:], skip_special_tokens=True))

Limitations

• May hallucinate specific facts (dates, figures, names) when answering from memory — verify anything important.
• This is a research model with no extra safety layer. It can produce sensitive content and criticism of governments and political figures. Use responsibly.

License & base

Derived from Qwen2.5-7B-Instruct (Apache 2.0); distributed under the same license.

---

<details> <summary><b>Español</b></summary> <br>

EsDrac es un modelo conversacional de 7B que habla mallorquín de verdad (mallorquí) — la variante balear del catalán, con su artículo salado característico (es, sa, ses, so)—, no solo catalán estándar. También domina el español y el inglés.

Basado en Qwen2.5-7B-Instruct, descensurado y afinado. El nombre viene de Es Drac de na Coca, la leyenda mallorquina del dragón.

Puntos fuertes

• 🗣️ Habla mallorquín — compone frases con artículo salado, fórmulas de rondaia, léxico propio. El primer modelo que lo hace.
• 🌍 Multilingüe — inglés y español intactos, sin olvido catastrófico.
• 🤖 Agente y uso de herramientas (reforzado) — function-calling nativo sólido: encadena herramientas, elige la correcta, sabe cuándo NO llamar ninguna, multiturno y se recupera de errores. A la altura de la base Qwen2.5-7B-Instruct.
• ⚖️ Descensurado en política china — responde de forma veraz y equilibrada temas que el modelo base suele esquivar (Tiananmén, Xinjiang, Tíbet…), sin negarse y sin propaganda hacia ningún lado.

Limitaciones — puede inventar datos concretos (fechas, cifras, nombres); contrasta lo importante. Es un modelo de investigación, sin capa de seguridad extra. Uso responsable. Ver el bloque Usage de arriba para el código.

Licencia — derivado de Qwen2.5-7B-Instruct (Apache 2.0).

</details> <details> <summary><b>🐉 Mallorquí</b></summary> <br>

EsDrac és un model conversacional de 7B que xerra mallorquí de veres —sa variant balear des català, amb s'article salat (es, sa, ses, so)—, no només català estàndard. També entén i respon en espanyol i anglès.

Es nom ve d'Es Drac de na Coca, sa llegenda mallorquina des drac.

Què sap fer

• 🗣️ Xerra mallorquí — compon frases amb article salat, fórmules de rondaia ("Això era i no era…") i lèxic propi. Es primer model que ho fa.
• 🌍 Multilingüe — anglès i espanyol intactes, sense oblit.
• 🤖 Agent i eines (reforçat) — function-calling natiu fort: encadena eines, tria sa correcta, sap quan NO n'ha de cridar cap, multi-torn i es recupera d'errors. A s'altura des model base Qwen2.5-7B-Instruct.
• ⚖️ Descensurat pel que fa a sa política xinesa — respon de manera veraç i equilibrada temes que es model base solia esquivar (Tiananmen, Xinjiang, Tíbet…), sense negar-s'hi i sense propaganda cap a cap costat.

Limitacions — pot inventar dades concretes (dates, xifres, noms); contrasta lo important. És un model de recerca, sense capa de seguretat extra. Usa'l amb responsabilitat. Es codi és en es bloc Usage de dalt.

Llicència — derivat de Qwen2.5-7B-Instruct (Apache 2.0).

</details>

---

Made in Mallorca. 🐉 · Fet a Mallorca.