Ejecutar en hardware objetivo

Detecte y elija un objeto utilizando algoritmos desplegados en una placa de cálculo integrada con Robotics System Toolbox™ Support Package for Kinova^® Gen3 Manipulators

Para completar el flujo de trabajo general como parte del diseño basado en modelos, Robotics System Toolbox Support Package for Kinova Gen3 Manipulators permite conectar y controlar el robot utilizando una placa de cálculo integrada independiente como NVIDIA^® Jetson™. Esta característica evita la necesidad de un enlace de comunicaciones constante entre el robot y un equipo host genérico (con MATLAB^®). Con despliegue integrado, puede diseñar varias tareas automatizadas relacionadas con inteligencia artificial, visión artificial y planificación de rutas, así como desplegar el algoritmo en la placa de cálculo para alcanzar una mayor eficiencia y precisión. La generación de código y el despliegue requieren ROS Toolbox.

Utilizar esta prestación del paquete de soporte permite desarrollar un algoritmo de detección de objetos para identificar la posición del objeto y su orientación desde una imagen, localizar el objeto en un espacio 3D, calcular la trayectoria deseada para que el manipulador robótico alcance el objeto desde su posición actual y ordenar al manipulador realizar el movimiento correspondiente.

Temas

Configure NVIDIA Jetson Board for Object Detection and Motion Planning
Initial configuration to deploy ROS node on NVIDIA Jetson
Object Detection and Motion Planning Application with Onboard Deployment
Choose the workflow for deploying motion planning applications to onboard computer
Detect Position and Orientation of a Rectangular Object Using OpenCV
Use OpenCV for proper object detection from vision module of robot
Joint Angle Control Versus Trajectory Control
Compare the control strategy that you need to adopt for robotic manipulators.

Ejemplos destacados

Simulate a Detect and Pick Algorithm Using OpenCV Interface and Rigid Body Tree Robot Model

Simulate an end-to-end rigid body tree workflow for a KINOVA® Gen3 robot to detect a rectangular object using OpenCV Interface, and then pick and move the object with inverse kinematics.

Abrir script en vivo

Design and Validate Object Detection and Motion Planning Algorithms Using Gazebo, OpenCV, and MATLAB

Design and validate complex application workflows for a robotic manipulator like the Kinova Gen3 7-DoF Ultralightweight Robot using Gazebo® physics simulator, OpenCV, Robotics Systems Toolbox™ and ROS Toolbox.

Abrir script en vivo

Read Current Joint Angle of KINOVA Gen3 and Publish to ROS Network

Deploy robotics algorithms developed in Simulink as a standalone ROS node to NVIDIA Jetson compute boards. The example includes ROS Subscribe block to get feedback from the robot and relay the same information over a new ROS topic using ROS Publish block.

Abrir modelo

Detect and Pick Object Using KINOVA Gen3 Robot Arm with Joint Angle Control and Trajectory Control

Deploy object detection and motion planning workflows developed in Simulink as a standalone ROS node to NVIDIA® Jetson™ compute boards. The KINOVA® Gen3 robot receives key vision sensor parameters, current robot state, and position and orientation of the object in the captured image using ROS network. The gathered data is further used to localize the object in world frame and the robot is commanded to reach the object and pick it.

Abrir modelo