Reinforcement Learning Toolbox

 

Reinforcement Learning Toolbox

Diseño y entrenamiento de políticas con reinforcement learning

Versión de prueba gratuita
Consulte tarifas

¿Tiene preguntas? Comuníquese con ventas.

Reinforcement Learning Toolbox™ proporciona una app, funciones y un bloque de Simulink® para entrenar políticas usando algoritmos de reinforcement learning, tales como DQN, PPO, SAC y DDPG. Estas políticas se pueden emplear para implementar controladores y algoritmos de toma de decisiones para aplicaciones complejas, tales como asignación de recursos, robótica y sistemas autónomos.

Esta toolbox permite representar políticas y funciones de valores usando redes neuronales profundas o tablas de búsqueda, y entrenarlas a través de interacciones con entornos modelados en MATLAB® o Simulink. Puede evaluar los algoritmos de reinforcement learning monoagente o multiagente proporcionados en la toolbox o desarrollar los suyos propios. Puede experimentar con configuraciones de hiperparámetros, supervisar el progreso del entrenamiento y simular agentes entrenados de forma interactiva a través de la app o de forma programática. Para mejorar el rendimiento del entrenamiento, es posible ejecutar simulaciones en paralelo en varias CPU, GPU, clusters y en la nube (con Parallel Computing Toolbox™ y MATLAB Parallel Server™).

El formato ONNX™ permite importar políticas existentes a partir de marcos de Deep Learning como TensorFlow™ Keras y PyTorch (con Deep Learning Toolbox™). Puede generar código C, C++ y CUDA® optimizado para desplegar las políticas entrenadas en microcontroladores y GPU. Los ejemplos de referencia de esta toolbox le ayudarán a iniciar sus proyectos.

 

Más información:
¿Qué es Reinforcement Learning Toolbox?

E-book gratuito

Reinforcement learning con MATLAB y Simulink

Lea el e-book

Agentes de reinforcement learning

Cree y configure agentes de reinforcement learning para entrenar políticas en MATLAB y Simulink. Utilice los algoritmos de reinforcement learning integrados o desarrolle algoritmos personalizados.

Algoritmos de aprendizaje por refuerzo

Cree agentes con Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) y otros algoritmos integrados. Utilice plantillas para desarrollar agentes personalizados para entrenar políticas.

Entrenamiento de agentes de reinforcement learning
Agentes integrados
Creación de agentes personalizados
Cómo entrenar un robot bípedo para que camine
Varios algoritmos de entrenamiento, incluidos SARSA, SAC, DDPG y otros.

Algoritmos de entrenamiento disponibles en Reinforcement Learning Toolbox.

App Reinforcement Learning Designer

Diseñe, entrene y simule interactivamente agentes de reinforcement learning. Exporte agentes entrenados a MATLAB para su posterior uso y despliegue.

Reinforcement Learning Designer
Diseño y entrenamiento de un agente con la app Reinforcement Learning Designer
Creación y entrenamiento interactivos de agentes de reinforcement learning

Representación de funciones de valores y políticas con redes neuronales profundas

Para sistemas complejos con grandes espacios de estado-acción, defina políticas de redes neuronales profundas de forma programática, con capas de Deep Learning Toolbox, o de forma interactiva con Deep Network Designer. Si lo prefiere, puede utilizar la arquitectura de red predeterminada sugerida por la toolbox. Inicialice la política utilizando el aprendizaje por imitación para acelerar el entrenamiento. Importe y exporte modelos ONNX para permitir la interoperabilidad con otros marcos de Deep Learning.

Creación e importación de representaciones de redes neuronales profundas
Creación de un agente con Deep Network Designer
Inicialización de una red de actores DDPG con aprendizaje por imitación
Opciones para inicializar agentes de reinforcement learning
Creación, visualización y edición interactiva de redes de Deep Learning

Reinforcement learning monoagente y multiagente en Simulink

Cree y entrene agentes de reinforcement learning en Simulink con el bloque RL Agent. Entrene varios agentes simultáneamente (reinforcement learning multiagente) en Simulink utilizando varias instancias del bloque RL Agent.

Creación de un entorno de Simulink y entrenamiento de un agente
Bloque RL Agent de Simulink
Entrenamiento de varios agentes para cubrir todas las áreas de un entorno
Entrenamiento de varios agentes para controlar el seguimiento de trayectorias
Modelo de Simulink con un bloque RL Agent.

Bloque RL Agent de Simulink.

Modelado de entornos

Cree modelos de entorno de MATLAB y Simulink. Describa la dinámica del sistema y proporcione señales de observación y recompensa para el entrenamiento de agentes.

Entornos de Simulink y Simscape

Utilice Simulink y Simscape™ para crear un modelo de un entorno. Especifique las señales de observación, acción y recompensa en el modelo.

Creación de entornos de Simulink para reinforcement learning
Carga de entornos de Simulink predefinidos
Integración de funcionalidad de terceros en Simulink
Reinforcement learning para desarrollo de control de campo orientado (6:12)
Modelo de entorno de Simulink de un robot bípedo.

Modelo de entorno de Simulink de un robot bípedo.

Entornos de MATLAB

Utilice funciones y clases de MATLAB para modelar un entorno. Especifique las variables de observación, acción y recompensa en el archivo de MATLAB.

Creación de entornos de MATLAB para reinforcement learning
Carga de entornos de MATLAB predefinidos
Integración de funcionalidad de terceros en MATLAB
Reinforcement learning para trading (4:15)
Entorno de MATLAB para un cohete de 3 grados de libertad.

Entorno de MATLAB para un cohete de tres grados de libertad.

Aceleración del entrenamiento

Acelere el entrenamiento mediante el cálculo con GPU, en la nube y distribuido.

Cálculo distribuido y aceleración multinúcleo

Para acelerar el entrenamiento, ejecute simulaciones paralelas en equipos multinúcleo, recursos en la nube o clusters de cálculo usando Parallel Computing Toolbox y MATLAB Parallel Server.

Entrenamiento de agentes mediante cálculo paralelo
Opciones para entrenar agentes de reinforcement learning
Entrenamiento de un agente de CA para equilibrar un péndulo invertido en MATLAB usando el cálculo paralelo
Entrenamiento de un agente DQN para asistencia de mantenimiento de carril en Simulink usando el cálculo paralelo
Uso de múltiples workers para acelerar el entrenamiento mediante la ejecución de varias simulaciones en paralelo.

Aceleración del entrenamiento con cálculo paralelo.

Aceleración por GPU

Acelere el entrenamiento y la inferencia de redes neuronales profundas con las GPU NVIDIA® de alto rendimiento. Puede utilizar MATLAB con Parallel Computing Toolbox y la mayoría de las GPU NVIDIA habilitadas para CUDA con una capacidad de cálculo 3.0 o superior.

Entrenamiento de agentes con GPU
Opciones para las representaciones de un agente de reinforcement learning
Hardware de GPU.

Acelere el entrenamiento con varias GPU.

Generación y despliegue de código

Implemente políticas entrenadas en dispositivos embebidos o intégrelas en una amplia gama de entornos de producción.

Generación de código

Utilice GPU Coder™ para generar código CUDA optimizado a partir de código de MATLAB que represente redes entrenadas. Genere código C/C++ con MATLAB Coder™ para desplegar políticas.

Implementación de políticas de reinforcement learning
Pruebas en tiempo real: Despliegue de un agente de reinforcement learning para control de campo orientado (4:51)
Ventana de configuración de GPU Coder.

Generación de código CUDA con GPU Coder.

Soporte de MATLAB Compiler

Utilice MATLAB Compiler™ y MATLAB Compiler SDK™ para desplegar políticas entrenadas como aplicaciones independientes, librerías C/C++ compartidas, ensamblados Microsoft® .NET, clases de Java® y paquetes de Python®.

MATLAB Compiler para crear una aplicación independiente.

Empaquetado y uso compartido de políticas como programas independientes.

Ejemplos de referencia

Diseñe controladores y algoritmos de toma de decisiones para aplicaciones de robótica, conducción autónoma, calibración y planificación, entre otras.

Primeros pasos

Descubra cómo desarrollar políticas de reinforcement learning para problemas tales como invertir un péndulo simple, navegar en un entorno de grid-world, equilibrar un péndulo invertido, y resolver procesos de decisión genéricos de Markov.

Entrenamiento de un agente DQN para equilibrar un péndulo invertido
Entrenamiento de un agente de Q-Learning para solucionar problemas de grid-world
Entrenamiento de un agente de reinforcement learning en un entorno MDP
Reinforcement learning motiva a ingenieros de control de sistemas de propulsión (21:26)
Reinforcement learning para un péndulo invertido con datos de imagen

Conducción autónoma

Diseñe políticas de reinforcement learning para aplicaciones de conducción autónoma, tales como control de crucero adaptativo, asistencia de mantenimiento de carril y estacionamiento automático.

Entrenamiento de un agente DDPG para control de crucero adaptativo
Entrenamiento de un agente DQN para asistencia de mantenimiento de carril
Entrenamiento de un agente DDPG para control de seguimiento de trayectoria
Entrenamiento de un agente PPO para estacionamiento automático
Una perspectiva sobre cómo desplegar reinforcement learning para potenciar el diseño de control clásico

Robótica

Diseñe políticas de reinforcement learning para aplicaciones de robótica.

Locomoción de un robot cuadrúpedo con agentes DDPG
Deep reinforcement learning para robots que caminan (15:52)
Conferencia MATLAB 2019 sobre petróleo y gas: Flujos de trabajo de reinforcement learning para IA (21:38)
Cómo entrenar un robot con deep reinforcement learning (37:08)
Reinforcement learning para equilibrar una pelota usando un manipulador robótico

Ajuste, calibración y planificación

Diseñe políticas de reinforcement learning para aplicaciones de ajuste, calibración y planificación.

Planificación de un sistema de distribución de agua
Ajuste de un controlador PI con reinforcement learning
Sistema de distribución de agua con tres bombas, depósito y tanque.

Problema de asignación de recursos para la distribución de agua.

Recursos del producto:

Documentación Funciones Bloques Artículos técnicos Casos prácticos Requisitos del sistema Notas de la versión Vídeos y webinars Ejemplos
Serie de vídeos sobre reinforcement learning

Serie de vídeos sobre reinforcement learning

Aprenda más sobre reinforcement learning con esta serie de vídeos.

Vea los vídeos (7 vídeos)

Obtenga una versión de prueba gratuita

30 días de exploración a su alcance.

Descargue ahora

¿Listo para comprar?

Obtenga información sobre precios y explore productos relacionados.

Consulte tarifas Comuníquese con ventas

¿Es estudiante?

Es posible que su centro educativo ya ofrezca acceso a MATLAB, Simulink y otros productos complementarios mediante una infraestructura Campus-Wide License.

Obtenga MATLAB