qwen3_5-9b-toolv2-final-gguf

---

    base_model: yukimnb62/qwen3_5-9b-toolv2-final
    tags:
    - gguf
    - llama.cpp
    - qwen
    - template-structured
    license: apache-2.0
    ---

    # yukimnb62/qwen3_5-9b-toolv2-final-gguf

    GGUF convertido desde el checkpoint merged `yukimnb62/qwen3_5-9b-toolv2-final` con `llama.cpp`.

    - Source merged model: `yukimnb62/qwen3_5-9b-toolv2-final`
    - Conversion outtype: `bf16`
    - Quantized variants: `Q8_0`, `Q4_K_M`

    ## Files

    - `qwen3_5-9b-toolv2-final-bf16.gguf`

• qwen3_5-9b-toolv2-final-q8_0.gguf

• qwen3_5-9b-toolv2-final-q4_k_m.gguf

    ## Uso sugerido con llama.cpp
  
    Este modelo viene de un entrenamiento donde el contrato de salida principal es un template XML propio.
    Si quieres respetar ese comportamiento, usa prompt plano y evita que tu cliente aplique un chat template por encima.
  
    Ejemplo con `llama-cli`:
  
    ```bash
    llama-cli -m qwen3_5-9b-toolv2-final-bf16.gguf -p "podrias decirme el contenido completo del archivo hola.txt?" -n 1024 --temp 0
    ```