llama-omni2

🦙 LLaMA-Omni2 - Real-Time Voice Conversation System

Sistema de conversação por voz em tempo real com IA usando WebRTC, Whisper e modelos Gemma com aceleração GPU.

🚀 Features

• Conversação por voz em tempo real via WebRTC
• < 1.5 segundos de latência com aceleração GPU
• Whisper ASR para reconhecimento de fala
• Gemma 2/3 para geração de respostas
• Suporte CUDA GPU para 38x mais velocidade
• Otimizado para português

📋 Requisitos

• GPU NVIDIA com CUDA 12.x
• Ubuntu/Debian Linux
• Python 3.11+
• 10GB espaço em disco
• 6GB+ VRAM

🔧 Instalação Rápida

1. Clonar e Instalar

git clone https://huggingface.co/spaces/marcosremar2/llama-omni2
cd llama-omni2
chmod +x install.sh
./install.sh

2. Iniciar Servidor

chmod +x start.sh
./start.sh

3. Acessar Interface

Abrir navegador: http://localhost:8080

📊 Performance

• Whisper: ~33ms
• Gemma: ~1.17s
• Pipeline Total: <1.5s
• Speedup GPU: 38x vs CPU

🏗️ Arquitetura

Browser → WebRTC → Server → Whisper → Gemma → Response
         ↑                                      ↓
         └──────────── Audio Stream ───────────┘

📁 Estrutura do Projeto

llama-omni2/
├── core/           # Módulos principais do pipeline
├── static/         # Interface web
├── install.sh      # Script de instalação
├── start.sh        # Iniciar servidor com warmup
└── models/         # Modelos IA (baixados automaticamente)

⚠️ Notas Importantes

1. Primeira execução baixa ~4GB de modelos
2. Warmup é obrigatório para performance
3. Cold start leva ~30-60s (normal)
4. GPU requer CUDA toolkit

🔬 Tecnologias

• WebRTC: aiortc para comunicação P2P
• ASR: faster-whisper (OpenAI Whisper otimizado)
• LLM: llama-cpp-python com modelos Gemma GGUF
• GPU: CUDA 12.x para aceleração

📈 Benchmarks

📄 Licença

Apache 2.0

🔗 Links

• Documentação Completa
• Guia dos Scripts
• Status do Projeto

👥 Contribuições

Contribuições são bem-vindas! Por favor, abra uma issue ou PR.

---

Desenvolvido com ❤️ usando WebRTC, Whisper e Gemma