Llama-1B-base-GRPO-RAG-NEWS-SPANISH-v2

time.

[ 537/3804 2:49:22 < 17:14:14, 0.05 it/s, Epoch 0.28/2]

metrics (controlling sharp rises 'kl', 'loss' and 'grad_norm with 'bleu_reward_func').

note:

I observe that in inferences and tests the model adapts more to the user's commands
The responses are shorter depending on the 'prompt'
Responds better to Spanish and is more proficient in cryptocurrency news
knows more about interpreting what the user asks for in Spanish
the previous model 'NickyNicky/Llama-1B-base-GRPO-RAG-NEWS-SPANISH' towards inference of more tokens. The v2 model responds shorter but with what the user requests.
controlling sharp rises 'kl', 'loss' and 'grad_norm with 'bleu_reward_func'

code

import torch,gc



import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig

from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    HfArgumentParser,
    TrainingArguments,
    pipeline,
    logging,
    GenerationConfig,
    TextIteratorStreamer,
)

from transformers import StoppingCriteria, StoppingCriteriaList

model_name= "NickyNicky/Llama-1B-base-GRPO-RAG-NEWS-SPANISH"
# hf_token = ""

# path_final_checkpoint="Llama-1B-base-GRPO-miniThinky"
base_model = AutoModelForCausalLM.from_pretrained(model_name,
                                            #  quantization_config=bnb_config,
                                             device_map={"":0},
                                            #  token=hf_token,
                                             # attn_implementation="flash_attention_2",
                                             # torch_dtype=torch.bfloat16
                                             )

# max_seq_length=4048

base_tokenizer_0 = AutoTokenizer.from_pretrained(model_name,
                                          # token=access_token,
                                          # max_length=max_seq_length,
                                                )

prompt = "que se puede esperar del mercado?"

noticia="""Sin duda, 2022 fue uno de los peores años para los compradores de Bitcoin ( BTC ), principalmente porque el precio del activo cayó un 65%.
Aunque hubo algunas razones explícitas para la caída, como el desplome de LUNA-UST en mayo y la implosión de FTX en noviembre , la razón más importante fue la política de tapering y subida de tipos de interés de la Reserva Federal de Estados Unidos .
El precio de Bitcoin había caído un 50% desde su máximo hasta mínimos de 33.100 dólares antes del desplome de LUNA-UST, gracias a las subidas de tipos de la Reserva Federal.
La primera caída significativa del precio de Bitcoin se debió a la creciente incertidumbre del mercado en torno a los rumores de una posible subida de tipos en noviembre de 2021.
En enero de 2022, el mercado de valores ya había comenzado a mostrar grietas debido a la creciente presión de un inminente tapering, lo que también impactó negativamente en los precios de las criptomonedas .
Gráfico diario de BTC/USD.
Fuente: Tradingview Un año más tarde, el mercado de criptomonedas sigue enfrentándose al mismo problema, donde los vientos en contra de las subidas de tipos de la Fed han restringido los movimientos alcistas sustanciales.
Lo peor es que este régimen puede durar mucho más de lo que esperan los participantes en el mercado.
Pistas de la burbuja puntocom de los 90 La burbuja puntocom de 1999-2000 podría enseñar mucho a los inversores sobre el actual criptoinvierno, y sigue dibujando un panorama sombrío para 2023.
El Nasdaq Composite, con un alto componente tecnológico, se infló a niveles enormes a principios de la década de 2000 y esta burbuja estalló cuando la Reserva Federal comenzó a subir los tipos de interés en 1999 y 2000.
Al encarecerse el crédito, la cantidad de dinero fácil se redujo en el mercado, provocando que el Nasdaq cayera desde su máximo un 77%.
Gráfico del índice compuesto Nasdaq.
Fuente: Macrotrends El mercado de criptomonedas se enfrenta actualmente al mismo escenario.
El presidente de la Fed, Jerome Powell, está empeñado en frenar la inflación y esto significa que habrá tipos más altos durante algún tiempo.
El presidente de la Reserva Federal de Minneapolis, Neel Kashkari, escribió recientemente en una publicación que espera que las tasas terminales suban al 5,4% en junio de 2023 -actualmente, las tasas están en el rango de 4,25% a 4,50%.
En particular, en la época de la burbuja puntocom, la Fed dejó de subir los tipos en mayo de 2000, pero la caída del Nasdaq continuó durante los dos años siguientes.
Por lo tanto, podemos esperar que el mercado de criptomonedas siga cayendo al menos hasta que la Reserva Federal cambie de rumbo.
Existe el riesgo de que el actual mercado bajista se prolongue aún más si la economía estadounidense experimenta una recesión similar a la de 2001.
Señales crecientes de recesión Según un informe del analista del Instituto Mises Ryan McMaken, la masa monetaria M2 del dólar estadounidense se volvió negativa en noviembre de 2022 por primera vez en 28 años.
Es un indicador de una posible recesión, que suele 'ir precedida de una ralentización de las tasas de crecimiento de la oferta monetaria.' Según un informe del analista del Instituto Mises Ryan McMaken, la masa monetaria M2 del dólar estadounidense se volvió negativa en noviembre de 2022 por primera vez en 28 años.
Es un indicador de una posible recesión, que suele 'ir precedida de una ralentización de las tasas de crecimiento de la oferta monetaria.' Indicador de recesión potencial utilizando la masa monetaria M2 del USD.
Fuente: Instituto Mises El último informe del Institute of Supply Management también muestra que la actividad económica estadounidense se contrajo por segundo mes consecutivo en diciembre.
El índice de gestores de compras (PMI) se situó en el 48,3% en diciembre, y los valores inferiores al 50% significan contracción.
Sugiere que la demanda de productos manufacturados está disminuyendo, probablemente como consecuencia de la subida de los tipos de interés.
La recesión media en EE.UU.
desde 1857 duró 17 meses, y las seis recesiones desde 1980 duraron menos de diez meses.
Esta recesión comenzó técnicamente en agosto de 2022, con dos cuartas partes de crecimiento negativo del PIB.
Los promedios históricos muestran que la recesión actual puede durar hasta junio de 2023 a enero de 2024.
¿Pueden formarse condiciones favorables antes de 2024? El mercado de criptomonedas necesita que vuelva el reino del dinero fácil para construir una carrera alcista sostenible.
Sin embargo, basado en el plan actual de la Fed, esas condiciones se ven muy lejos en el futuro.
Sólo un evento de cisne negro que obligue al gobierno de EE.UU.
a recurrir a la flexibilización cuantitativa con tasas de interés bajas y estímulo económico como lo hizo durante la pandemia de COVID-19 puede encender otra carrera alcista.
Según el analista de mercado independiente Ben Lilly, podría estar formándose una burbuja en el sector de los préstamos al consumo, que ha crecido exponencialmente en la última década hasta alcanzar casi 1 billón de dólares.
La subida ha sido especialmente pronunciada en los dos últimos años, desde que el gobierno estadounidense dejó de girar cheques de estímulo.
Lilly infiere que el sector podría colapsarse si muchos prestatarios dejan de pagar sus créditos debido a la creciente tensión económica.
También señaló que 'hará falta un estímulo gubernamental para solucionarlo'.
El calendario del estallido de una burbuja es una de las cosas más difíciles de predecir.
Podría coincidir con el final de la recesión en algún momento a finales de 2023 o 2024.
Aún así, hasta que llegue la confirmación de un pivote de la Fed o la flexibilización cuantitativa, la mayoría de los inversores esperan que los mercados de criptomonedas se mantengan en una tendencia bajista.
Hasta la fecha, la capitalización total del mercado de criptomonedas ha disminuido un 75% desde su máximo de 3 billones de dólares.
El máximo de 2017 de alrededor de 750.000 millones de dólares es un nivel de soporte y resistencia crucial para el mercado.
Si este nivel se rompe, la capitalización total del mercado del sector podría caer por debajo de los 500.000 millones de dólares.
Gráfico de capitalización total del mercado de criptomonedas.
Fuente: TradingView Aunque podría haber repuntes temporales del mercado bajista , es probable que las presiones macroeconómicas socaven todos los movimientos positivos.
Los puntos de vista, pensamientos y opiniones expresados aquí pertenecen únicamente al autor y no reflejan ni representan necesariamente los puntos de vista y opiniones de Cointelegraph.
Este artículo no contiene consejos ni recomendaciones de inversión.
Cada movimiento de inversión y negociación implica un riesgo, los lectores deben realizar su propia investigación al tomar una decisión.""".replace(". ",".\n")

news=f"""**Noticia:**
{noticia}


**Inquietud:**
{prompt}"""

sys="""Eres un Agente que responde en español.
Ayuda al usuario resolviendo sus dudas acerca de la noticia."""
messages = [
    {"role": "system", "content": sys},
    {"role": "user", "content": news}
]

device = "cuda" # the device to load the model onto
text = base_tokenizer_0.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = base_tokenizer_0([text], return_tensors="pt").to(device)

generated_ids = base_model.generate(
    model_inputs.input_ids,
    max_new_tokens=1200,
    pad_token_id= base_tokenizer_0.eos_token_id,
)
generated_ids = [
    output_ids[:] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = base_tokenizer_0.batch_decode(generated_ids, skip_special_tokens=False)[0]
messages.append({"role": "assistant", "content": response})
print(response)

'''
<|begin_of_text|><|begin_of_text|><|start_header_id|>system<|end_header_id|>

Cutting Knowledge Date: December 2023
Today Date: 11 Feb 2025

Eres un Agente que responde en español.
Ayuda al usuario resolviendo sus dudas acerca de la noticia.<|eot_id|><|start_header_id|>user<|end_header_id|>

**Noticia:**
Sin duda, 2022 fue uno de los peores años para los compradores de Bitcoin ( BTC ), principalmente porque el precio del activo cayó un 65%.
Aunque hubo algunas razones explícitas para la caída, como el desplome de LUNA-UST en mayo y la implosión de FTX en noviembre, la razón más importante fue la política de tapering y subida de tipos de interés de la Reserva Federal de Estados Unidos.
El precio de Bitcoin había caído un 50% desde su máximo hasta mínimos de 33.100 dólares antes del desplome de LUNA-UST, gracias a las subidas de tipos de la Reserva Federal.
La primera caída significativa del precio de Bitcoin se debió a la creciente incertidumbre del mercado en torno a los rumores de una posible subida de tipos en noviembre de 2021.
En enero de 2022, el mercado de valores ya había comenzado a mostrar grietas debido a la creciente presión de un inminente tapering, lo que también impactó negativamente en los precios de las criptomonedas.
Gráfico diario de BTC/USD.
Fuente: Tradingview Un año más tarde, el mercado de criptomonedas sigue enfrentándose al mismo problema, donde los vientos en contra de las subidas de tipos de la Fed han restringido los movimientos alcistas sustanciales.
Lo peor es que este régimen puede durar mucho más de lo que esperan los participantes en el mercado.
Pistas de la burbuja puntocom de los 90 La burbuja puntocom de 1999-2000 podría enseñar mucho a los inversores sobre el actual criptoinvierno, y sigue dibujando un panorama sombrío para 2023.
El Nasdaq Composite, con un alto componente tecnológico, se infló a niveles enormes a principios de la década de 2000 y esta burbuja estalló cuando la Reserva Federal comenzó a subir los tipos de interés en 1999 y 2000.
Al encarecerse el crédito, la cantidad de dinero fácil se redujo en el mercado, provocando que el Nasdaq cayera desde su máximo un 77%.
Gráfico del índice compuesto Nasdaq.
Fuente: Macrotrends El mercado de criptomonedas se enfrenta actualmente al mismo escenario.
El presidente de la Fed, Jerome Powell, está empeñado en frenar la inflación y esto significa que habrá tipos más altos durante algún tiempo.
El presidente de la Reserva Federal de Minneapolis, Neel Kashkari, escribió recientemente en una publicación que espera que las tasas terminales suban al 5,4% en junio de 2023 -actualmente, las tasas están en el rango de 4,25% a 4,50%.
En particular, en la época de la burbuja puntocom, la Fed dejó de subir los tipos en mayo de 2000, pero la caída del Nasdaq continuó durante los dos años siguientes.
Por lo tanto, podemos esperar que el mercado de criptomonedas siga cayendo al menos hasta que la Reserva Federal cambie de rumbo.
Existe el riesgo de que el actual mercado bajista se prolongue aún más si la economía estadounidense experimenta una recesión similar a la de 2001.
Señales crecientes de recesión Según un informe del analista del Instituto Mises Ryan McMaken, la masa monetaria M2 del dólar estadounidense se volvió negativa en noviembre de 2022 por primera vez en 28 años.
Es un indicador de una posible recesión, que suele 'ir precedida de una ralentización de las tasas de crecimiento de la oferta monetaria.' Según un informe del analista del Instituto Mises Ryan McMaken, la masa monetaria M2 del dólar estadounidense se volvió negativa en noviembre de 2022 por primera vez en 28 años.
Es un indicador de una posible recesión, que suele 'ir precedida de una ralentización de las tasas de crecimiento de la oferta monetaria.' Indicador de recesión potencial utilizando la masa monetaria M2 del USD.
Fuente: Instituto Mises El último informe del Institute of Supply Management también muestra que la actividad económica estadounidense se contrajo por segundo mes consecutivo en diciembre.
El índice de gestores de compras (PMI) se situó en el 48,3% en diciembre, y los valores inferiores al 50% significan contracción.
Sugiere que la demanda de productos manufacturados está disminuyendo, probablemente como consecuencia de la subida de los tipos de interés.
La recesión media en EE.UU.
desde 1857 duró 17 meses, y las seis recesiones desde 1980 duraron menos de diez meses.
Esta recesión comenzó técnicamente en agosto de 2022, con dos cuartas partes de crecimiento negativo del PIB.
Los promedios históricos muestran que la recesión actual puede durar hasta junio de 2023 a enero de 2024.
¿Pueden formarse condiciones favorables antes de 2024? El mercado de criptomonedas necesita que vuelva el reino del dinero fácil para construir una carrera alcista sostenible.
Sin embargo, basado en el plan actual de la Fed, esas condiciones se ven muy lejos en el futuro.
Sólo un evento de cisne negro que obligue al gobierno de EE.UU.
a recurrir a la flexibilización cuantitativa con tasas de interés bajas y estímulo económico como lo hizo durante la pandemia de COVID-19 puede encender otra carrera alcista.
Según el analista de mercado independiente Ben Lilly, podría estar formándose una burbuja en el sector de los préstamos al consumo, que ha crecido exponencialmente en la última década hasta alcanzar casi 1 billón de dólares.
La subida ha sido especialmente pronunciada en los dos últimos años, desde que el gobierno estadounidense dejó de girar cheques de estímulo.
Lilly infiere que el sector podría colapsarse si muchos prestatarios dejan de pagar sus créditos debido a la creciente tensión económica.
También señaló que 'hará falta un estímulo gubernamental para solucionarlo'.
El calendario del estallido de una burbuja es una de las cosas más difíciles de predecir.
Podría coincidir con el final de la recesión en algún momento a finales de 2023 o 2024.
Aún así, hasta que llegue la confirmación de un pivote de la Fed o la flexibilización cuantitativa, la mayoría de los inversores esperan que los mercados de criptomonedas se mantengan en una tendencia bajista.
Hasta la fecha, la capitalización total del mercado de criptomonedas ha disminuido un 75% desde su máximo de 3 billones de dólares.
El máximo de 2017 de alrededor de 750.000 millones de dólares es un nivel de soporte y resistencia crucial para el mercado.
Si este nivel se rompe, la capitalización total del mercado del sector podría caer por debajo de los 500.000 millones de dólares.
Gráfico de capitalización total del mercado de criptomonedas.
Fuente: TradingView Aunque podría haber repuntes temporales del mercado bajista, es probable que las presiones macroeconómicas socaven todos los movimientos positivos.
Los puntos de vista, pensamientos y opiniones expresados aquí pertenecen únicamente al autor y no reflejan ni representan necesariamente los puntos de vista y opiniones de Cointelegraph.
Este artículo no contiene consejos ni recomendaciones de inversión.
Cada movimiento de inversión y negociación implica un riesgo, los lectores deben realizar su propia investigación al tomar una decisión.


**Inquietud:**
que se puede esperar del mercado?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Según la noticia, hay varias razones que podrían llevar al mercado de criptomonedas a seguir una tendencia bajista, incluyendo:

*   La política de tapering y subida de tipos de interés de la Reserva Federal de Estados Unidos.
*   La subida de tipos de la Reserva Federal de Minneapolis, Neel Kashkari, que podría frenar la inflación.
*   La recesión estadounidense, que podría durar hasta junio de 2023 a enero de 2024.
*   La posible burbuja puntocom de 1999-2000, que podría enseñar a los inversores sobre el mercado.
*   La creciente tensión económica y la posible subida de los tipos de interés.
*   La posible flexibilización cuantitativa de la Fed, que podría encender otra carrera alcista.
*   La subida de los préstamos al consumo en el sector, que podría colapsar si muchos prestatarios dejan de pagar sus créditos.
*   La posible confirmación de un pivote de la Fed o la flexibilización cuantitativa antes de la recesión.

En resumen, hay varias razones que podrían llevar al mercado de criptomonedas a seguir una tendencia bajista.<|eot_id|>
'''

<!-- https://wandb.ai/multimodal_master/huggingface/runs/3fl5oqaw/workspace?nw=nwusertrainllms -->