Nyvex-Code-1.0-7b

🚀 Nyvex-Code-1.0 (7B)

Nyvex-Code-1.0-7b est un modèle d'intelligence artificielle de 7 milliards de paramètres spécialisé dans la génération de code, l'assistance à la programmation et la résolution de problèmes techniques. Il a été fine-tuné (LoRA) à partir du modèle de base Mistral-7B-v0.1.

Le modèle est particulièrement performant en Python tout en gardant des capacités conversationnelles avancées.

🌟 Usages prévus

• Génération de code : Création de fonctions, de scripts ou de classes à partir d'une description.
• Explication de code : Analyse et documentation de snippets complexes.
• Assistance technique (Chat) : Résolution de bugs, suggestions d'architectures et questions de programmation.

🛠️ Comment l'utiliser (Inférence)

Vous pouvez utiliser ce modèle directement avec la librairie transformers d'Hugging Face. Pour obtenir les meilleurs résultats, utilisez le format de prompt de type instruction :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "NathMen12/Nyvex-Code-1.0-7b"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Formatage de la question
instruction = "Écris une fonction Python qui calcule la suite de Fibonacci jusqu'à n."
prompt = f"### Instruction Code:\n{instruction}\n### Réponse Code:\n"

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📊 Détails de l'entraînement

Le modèle a été entraîné sur un échantillon optimisé de 20 000 exemples provenant d'un mélange de datasets :

1. The Stack Smol (Python) (35%) : Code source pur de haute qualité.
2. CodeParrot Clean (25%) : Snippets et fichiers de code variés.
3. CodeAlpaca-20k (15%) : Instructions et réponses de code.
4. OpenAssistant Guanaco (15%) : Conversations techniques générales.
5. Tiny Codes (10%) : Problèmes de programmation et solutions courtes.

Paramètres d'entraînement

• Méthode : PEFT / LoRA (r=16, alpha=32)
• Quantification : 8-bit (BitsAndBytes)
• Optimizer : AdamW 8-bit
• Learning Rate : 2e-4 (Cosine scheduler)
• Batch Size Effectif : 16 (2 GPUs x Batch 2 x Accumulation 4)
• Séquence maximale : 1024 tokens

🌐 Démonstration (Space)

Vous pouvez tester le modèle gratuitement via l'application Gradio sur un ZeroGPU Hugging Face Space : [Demontration sur ZeroGPU]