ppo-lunar-lander-v3-max322

Cartão do Modelo: PPO LunarLander-v3 – Pontuação Máxima: 322

Este modelo foi treinado com o algoritmo Proximal Policy Optimization (PPO) para controlar uma nave no ambiente LunarLander-v3, utilizando técnicas de aprendizado por reforço com currículo adaptativo, penalidades e variações de dificuldade. O objetivo foi alcançar máxima performance com estabilidade e generalização, atingindo uma pontuação recorde de 322 pontos.

Detalhes do Modelo

Descrição

Este agente foi treinado com:

• Seed adaptativa para melhorar a generalização.

• Penalidade por passo para aumentar a eficiência.

• Instabilidade física crescente para simular pousos mais desafiadores.

• Desenvolvido por: Raul Campos Nascimento

• Compartilhado por: rautopia

• Tipo de modelo: Agente de Aprendizado por Reforço (PPO)

• Idioma: Não se aplica (ambiente de simulação)

• Licença: MIT

• Baseado em: PPO da biblioteca Stable-Baselines3

Fontes

• Repositório: https://huggingface.co/rautopia/ppo-lunar-lander-v3-max322

Utilizações

Uso Direto

• Avaliação de desempenho no ambiente LunarLander-v3.
• Estudo e demonstração de estratégias de currículo adaptativo.
• Aplicações educacionais em inteligência artificial e controle.

Uso Inadequado

• Aplicações em ambientes do mundo real (modelo não treinado para isso).
• Decisões críticas ou sensíveis à segurança.

Riscos e Limitações

Este modelo é especializado no ambiente LunarLander-v3 e não deve ser aplicado fora desse contexto sem ajustes específicos.

Recomendações

Utilize o modelo para fins educacionais, de pesquisa ou experimentação. Evite aplicações que envolvam riscos reais.

Como Utilizar

from stable_baselines3 import PPO
import gymnasium as gym

modelo = PPO.load("ppo_lunar_adaptativo.zip")
ambiente = gym.make("LunarLander-v3", render_mode="human")

obs, _ = ambiente.reset()
terminado = False
while not terminado:
    acao, _ = modelo.predict(obs)
    obs, recompensa, terminado, truncado, _ = ambiente.step(acao)
    ambiente.render()

Detalhes do Treinamento

Ambiente de Dados

Ambiente LunarLander-v3 da biblioteca Gymnasium (simulador de pouso lunar com física 2D).

Procedimento

O modelo foi treinado por 12 milhões de timesteps, com adaptação automática de seed, dificuldade e penalidade baseada na média de recompensa.

Hiperparâmetros

• Algoritmo: PPO
• Timesteps: 12.000.000
• Taxa de aprendizado: 2.5e-4
• Tamanho do batch: 64
• Desconto gamma: 0.999
• Intervalo de clipagem: 0.2

Avaliação

Métricas

• Recompensa média: 274.70 ± 51.71
• Recompensa máxima: 322.00
• Pousos suaves: 50/50
• Tempo médio por episódio: 5.5 segundos

Resumo

O modelo demonstrou desempenho excelente e consistente, com 94% de sucesso em pousos controlados mesmo sob variações.

Impacto Ambiental

• Tipo de hardware: CPU doméstico
• Tempo de uso: Aproximadamente 9 horas
• Provedor de nuvem: Não aplicável
• Região: Brasil
• Emissões estimadas: Baixas

Especificações Técnicas

Arquitetura

• Rede: MLP com 2 camadas ocultas de 64 neurônios (policy e value)
• Objetivo: Maximizar a recompensa média por episódio com pousos estáveis

Infraestrutura

• Hardware: Computador pessoal com CPU
• Software: Stable-Baselines3, Gymnasium, Python 3.10

Citação

APA:

Campos Nascimento, R. (2025). PPO LunarLander-v3 com Currículo Adaptativo. Hugging Face. https://huggingface.co/rautopia/ppo-lunar-lander-v3-max322

Autor

Raul Campos Nascimento
📧 [email protected]