Aitana-2B-S-LF

Aitana-2B-S-LF Model Card

Aitana-2B-S-LF is a generative instruct language model with a decoder-only architecture. This model is designed to rewrite text into an
easy to read version that complies with the UNE 153101 EX standard.

This model is a fine-tuned version of BSC-LT/salamandra-2b-instruct,adapted using BSC-LT/salamandraTA-2b-instruct chat-template.

This language model has been trained on news text, particularly from administrative and political websites. Consequently, it is expected to perform better on texts of this kind than on content from other domains. The training data consists primarily of text in Valencian and Spanish, so the model may not perform well with other languages.

Model description

• Developed by: Language Processing and Information Systems and Centro de Inteligencia Digital Provincia de Alicante.
• Language(s) (NLP): Spanish and Valencian
• License: This model is released under the Apache 2.0 license, a permissive open-source license.
• Finetuned from model: BSC-LT/salamandra-2b-instruct, chat-template BSC-LT/salamandraTA-2b-instruct

Training Details

Training Data

TO-DO

Training Hyperparameters

Training regime:

• epochs: 2
• learning_rate: 1e-5
• beta1: 0.9
• beta2: 0.99
• weight_decay: 0
• global_batch_size: 64
• micro_batch_size: 2
• log_interval: 5
• save_interval: 5
• lr_warmup_steps: 100
• max_seq_length: 2048

How to use

from transformers import AutoTokenizer, AutoModelForCausalLM

PROMPT_SYSTEM = """Adapta el siguiente texto a "lectura fácil" según la norma UNE 153101:2018 EX.
Texto a adaptar a lectura fácil: """

def build_prompt(input_text: str) -> str:
    return PROMPT_SYSTEM + "```\n" + input_text + "```" + "\n Texto adaptado a lectura fácil: "


model = AutoModelForCausalLM.from_pretrained("gplsi/Aitana-2B-S-LF")
tokenizer = AutoTokenizer.from_pretrained("gplsi/Aitana-2B-S-LF")


text = """
Luis Barcala, alcalde de Alicante, ha afirmado este domingo que “la Carrera del Mediterráneo abre un noviembre de grandes acontecimientos deportivos que cierra la maratón internacional Elche-Alicante”. El primer edil ha hecho estas declaraciones antes de dar la salida, junto al diputado de Deportes, Bernabé Cano, de una prueba que en sus 21,097 kilómetros ha unido la avenida de la Estación de Alicante con la playa Varadero, en Santa Pola. Cinco mil deportistas, de ellos 2.200 extranjeros provenientes de 45 países diferentes, se han inscrito en una prueba que ha cumplido su sexta edición.

El primer edil ha significado, al mismo tiempo, que “la apuesta por los acontecimientos deportivos se ha convertido en uno de los ejes fundamentales para la imagen exterior de Alicante. Y ligado a ellos, se percibe un incremento del turismo deportivo. Quienes llegan a Alicante a competir, no lo hacen solos. Vienen acompañados de familiares y amigos, con lo que la ocupación hotelera se incrementa”. Además de la carrera de este domingo, y el Challenger ATP Montemar de tenis -desde el 17 al 23 de noviembre-, Barcala ha recordado la I Maratón Internacional Elche-Alicante, del último domingo de este mes. Sin olvidar, tampoco, la Copa del Rey de balonmano que se disputará el primer fin de semana de junio de 2026. “Todos estos son acontecimientos que ponen a Alicante en el punto de vista de la actualidad deportiva”, ha finalizado Barcala.

La carrera ha partido desde las puertas del Palacio Provincial y el pelotón se ha dirigido hacia la línea de costa para pasar por lugares tan emblemáticos como el parque El Palmeral, las playas de Urbanova, Arenales del Sol y El Carabassí o el Faro de Santa Pola, hasta llegar a la playa Varadero. Una de las peculiaridades de la prueba, han explicado fuentes de la organización, es que se trata de la única prueba del mundo que discurre por tantas playas con banderas azules.
"""


mes = build_prompt(text)

msg = [
            {"role": "system", "content": ""},
            {"role": "user", "content": mes}
        ]

prompt = tokenizer.apply_chat_template(
            msg,
            tokenize=False,
            add_generation_prompt=True,
            date_string=date_string
        )


enc = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
        input_length = enc.shape[1]

        generate_kwargs = dict(
        input_ids=enc,
        max_new_tokens=892,
        repetition_penalty=1.2,
        early_stopping=True,
        num_beams=5,
        do_sample=False,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.eos_token_id    
        )

outputs = model.generate(**generate_kwargs)
text_generated = tokenizer.decode(outputs[0, input_length:], skip_special_tokens=True)

print(text_generated)
# OUPTUT MODEL
#La Carrera del Mediterráneo une Alicante y Santa Pola
#con bandera azul
#Este año la Carrera del Mediterráneo unió Alicante
#y Santa Pollá con bandera azul.
#Es la primera vez que esta carrera pasa por tanto litoral con bandera azul.
#En total participaron 5 mil personas divididas en grupos.
#El alcalde dijo que la competición deportiva ayuda mucho a mejorar
#la imagen turística de Alicante.
#También recordó otras competiciones deportivas
#que van a celebrarse durante todo el mes de noviembre.

Evaluation

Our objective was to evaluate the performance of the model through rewriting text in order to adapt it into clear language. In order to evaluate the model, we execute with our model the Subtask2 from CLEARS IberLEF Challenge.

We compare the results obtained with other solutions from the challenge and the Gold Solution defined by humans.

More details about the CLEARS IberLEF Challenge in Overview of CLEARS at IberLEF 2025: Challenge for Plain Language and Easy-to-Read Adaptation for Spanish texts

Technical Specifications

Model Architecture and Objective

The same as the base model.

Hardware and Software

For training, we used custom code developed on top of the PyTorch Lightning framework (Fabric Lightning), enabling model sharding across multiple GPUs through Fully Sharded Data Parallel (FSDP).

Compute Infraestructure

This model was trained on NVIDIA DGX systems equipped with A100 GPUs, which enabled efficient large-scale training. For this model, we used 4-A100 GPUs.

Funding

This work is funded by the Ministerio para la Transformación Digital y de la Función Pública - Funded by EU – NextGenerationEU within the framework of ILENIA-VIVES project with reference 2022/TL22/00215334.

Citation

If you use this model in your research or work, please cite it as follows:

@misc{gplsi-aitana-2b-s-lf,
  author       = {Galiano, Santiago and Sepúlveda-Torres, Robiert and Abreu Salas, José Ignacio and Botella Gil, Beatriz and García Cerdá, Raúl},
  title        = {Aitana-2B-S-LF: Clear text model for text in Spanish an Valencian},
  year         = {2025},
  howpublished = {\url{https://huggingface.co/gplsi/Aitana-2B-S-LF}},
  note         = {Accessed: 2025-11-11}
}