跳到主要内容

RealSense 相机(ROS 2)

Marvin Pro、Luna 和 Skye 均配有 Intel RealSense RGB-D 相机。本指南介绍如何在 ROS 2 中启动 RealSense 相机,并查看图像、标定参数和坐标关系,可作为视觉开发的起点。

机器人RealSense 相机
Marvin ProD435(头部)
LunaD455C(头部,标配);D435(胸部,选配);D405GA(腕部,选配)
SkyeD435(头部,标配);D435(胸部,选配);D405GA(腕部,选配)

以下步骤同时适用于 D435 和 D455。同一 ROS 2 驱动也支持 D405,但其提供的数据流可能不同,请用 ros2 topic list 查看相机实际发布的话题。

准备工作​

以下命令在机器人的 Orin 或 Thor 上运行。用 ssh nvidia@6.6.7.100 登录,参见连接 Orin 或 Thor。命令基于 ROS 2 Humble。每打开一个新终端,先加载 ROS 2 环境:

source /opt/ros/humble/setup.bash

安装并启动相机节点​

  1. 安装 RealSense ROS 2 驱动:

    sudo apt install ros-humble-realsense2-camera
  2. 启动相机节点:

    ros2 launch realsense2_camera rs_launch.py

    保持该节点运行,另开一个终端执行以下命令。

查看话题与数据​

  1. 查看所有 ROS 2 话题,以及相机相关话题:

    ros2 topic list
    ros2 topic list | grep camera
  2. 分别打印一条 RGB 图像消息和一条深度图消息:

    ros2 topic echo /camera/camera/color/image_raw --once
    ros2 topic echo /camera/camera/depth/image_rect_raw --once

    图像消息包含全部像素值。加上 --no-arr 可只显示消息头和图像尺寸。

  3. 查看 RGB 图像和深度图的发布频率:

    ros2 topic hz /camera/camera/color/image_raw
    ros2 topic hz /camera/camera/depth/image_rect_raw
  4. 查看话题的发布者、订阅者和消息类型:

    ros2 topic info /camera/camera/color/image_raw
    ros2 topic info /camera/camera/depth/image_rect_raw
    ros2 topic type /camera/camera/color/image_raw
    ros2 topic type /camera/camera/depth/image_rect_raw

查看标定参数​

内容命令
RGB 相机内参ros2 topic echo /camera/camera/color/camera_info --once
深度相机内参ros2 topic echo /camera/camera/depth/camera_info --once
Depth 到 Color 外参ros2 topic echo /camera/camera/extrinsics/depth_to_color --once

camera_info 提供焦距、光心和畸变参数;外参给出深度相机与 RGB 相机的相对位置。

查看节点参数​

列出节点参数,再查看深度流和彩色流的配置(分辨率与帧率):

ros2 param list /camera/camera
ros2 param get /camera/camera depth_module.depth_profile
ros2 param get /camera/camera rgb_camera.color_profile

查看 TF 坐标关系​

ros2 run tf2_tools view_frames
ros2 topic echo /tf_static --once

view_frames 会监听 TF 树几秒钟,并在当前目录保存为 PDF 文件。/tf_static 显示相机各坐标系之间的静态变换。相机与机器人之间的坐标转换使用 TF。

查看设备与节点​

内容命令
已连接的 RealSense 设备(USB)rs-enumerate-devices
用 RealSense Viewer 查看实时画面realsense-viewer
当前运行的节点ros2 node list
相机节点的话题、服务和参数ros2 node info /camera/camera

rs-enumerate-devices 和 realsense-viewer 随 Intel RealSense SDK 工具提供。realsense-viewer 会打开窗口,请在连接到 Orin 或 Thor 的显示器上运行,或在 NoMachine 会话中运行。

常用数据话题​

数据话题后续开发用途
RGB 图像/camera/camera/color/image_raw目标检测、视觉算法输入
深度图/camera/camera/depth/image_rect_raw距离测量、3D 定位
RGB 相机参数/camera/camera/color/camera_info焦距、光心、畸变参数
深度相机参数/camera/camera/depth/camera_info焦距、光心、畸变参数
Depth→Color 外参/camera/camera/extrinsics/depth_to_color深度相机与 RGB 相机的相对位置
TF/tf、/tf_static相机与机器人坐标转换

话题名以 /camera/camera 开头,是因为启动文件默认的命名空间和相机名称都是 camera。如果启动时修改了 camera_namespace 或 camera_name,话题名也会随之改变。

已安装 Apex 时​

已安装 Apex 的机器人上,D435 由 Apex 相机组件使用独立配置文件 config/rgbd_cameras.yaml 启动,而不是 rs_launch.py;它不参与遥操作所用的四路拼接画面。

source /etc/apex/apex_ros_env.sh
ros2 launch gmsl_quadcam rgbd_cameras.launch.py

话题位于 /camera/d435/ 下,而不是 /camera/camera/:

/camera/d435/color/image_raw
/camera/d435/depth/image_rect_raw
/camera/d435/color/camera_info
/camera/d435/depth/camera_info

头部与腕部相机的拼接画面参见 Apex 相机服务。

常见问题​

问题检查项
ros2: command not found在该终端中执行 source /opt/ros/humble/setup.bash。
启动后没有相机话题执行 rs-enumerate-devices,确认相机已被识别。如果有其他程序正在使用相机,先将其停止。
通过 SSH 无法打开 realsense-viewer它需要显示器。请连接显示器或使用 NoMachine。

机器人其他相机的使用方法见启动与查看相机。