跳到主要内容

启动与查看相机

配有板载 AI 算力(NVIDIA Orin 或 Thor)的机器人(包括 Marvin Pro、Luna 和 Skye),头部和腕部相机运行在 Orin 或 Thor 上。每次上电后、遥操作或录制数据前,都需要先启动相机。

启动相机​

  1. 登录 Orin 或 Thor。出厂默认账号为 nvidia / nvidia(Thor 为 user / 1)。参见连接 Orin 或 Thor。

    ssh nvidia@6.6.7.100
  2. 启动相机。脚本所在目录因机型而异。

    Luna V3.0(配备 S56 双目相机):

    cd ~/s56+shw5g/cam_geac
    ./rb_camera.sh init

    其他机器人:

    cd /home/nvidia/cam_geac
    ./rb_camera.sh init
  3. 等待约 20 秒,待相机启动完成。

查看相机画面​

如需确认相机是否正常,可用 argus_camera 打开实时预览,并用 -d 选择相机:

argus_camera -d 0
-d相机
0、1头部相机
4、5腕部相机
需连接显示器才能看到画面

argus_camera 会在 Orin 或 Thor 自身的显示器上显示预览。如果通过 SSH 运行,可能会提示 EGL_KHR_stream not supported,说明没有可用于显示画面的屏幕:请为 Orin 或 Thor 连接外接显示器,并在该屏幕的终端中运行命令。

在 ROS 2 中使用 RealSense RGB-D 相机,参见RealSense 相机(ROS 2)。无法登录时,参见无法登录时。

argus_camera 报错 Failed to create CaptureSession​

如果 argus_camera 输出如下错误,并以 Segmentation fault 退出:

Error generated. .../Dispatcher.cpp, createSession:1490 Failed to create CaptureSession

通常是 Apex 相机服务仍占用相机。先停止该服务并重启 Argus 守护进程,再重新运行 argus_camera:

sudo systemctl stop apex-camera
sudo systemctl restart nvargus-daemon
argus_camera -d 0

检查完画面后,重新启动相机服务,让 Apex 恢复相机画面:

sudo systemctl start apex-camera

如果问题仍然存在,参见遥操作常见问题中的相机、Argus、H264 与 WebRTC。

Apex 相机服务(gmsl_quadcam)​

本节说明当前 gmsl_quadcam 四路相机组件的槽位配置、ROS 2 接口、WebRTC 视频和 MCAP 录像方法。不同交付版本的相机型号和设备编号可能不同,应以目标设备配置为准。

系统结构​

组件提供四个固定逻辑槽位:

槽位画面位置常见用途
head_left左上左头部相机
head_right右上右头部相机
wrist_left左下左腕相机
wrist_right右下右腕相机

四路输入经过 CUDA 处理后组成 2×2 Mosaic。每个槽位可独立设置相机型号、物理设备、旋转、画面适配、标定和深度;不使用的槽位设置为 source: "none"。

当前常见组合为头部 SH5、腕部 D405。SH5 使用 CSI/Argus,SH3 和 D405 使用 V4L2。设备编号取决于现场枚举结果,修改前先执行:

v4l2-ctl --list-devices
v4l2-ctl --list-formats-ext

启动与检查​

正常交付设备优先在 Apex 中启动 Camera。需要从终端启动已安装组件时执行:

source /etc/apex/apex_ros_env.sh
ros2 launch gmsl_quadcam quad_csi_quickview.launch.py

使用指定配置:

ros2 launch gmsl_quadcam quad_csi_quickview.launch.py \
params_file:=/absolute/path/to/quad_quickview.yaml

该 Launch 已包含 WebRTC 信令服务,不要再启动第二个占用相同端口的实例。

配置文件​

主配置通常位于:

/opt/kernelmind/apex/install/gmsl_quadcam/share/gmsl_quadcam/config/quad_quickview.yaml

相机型号默认参数位于同目录的 camera_profiles/。主配置保存 Profile 引用、物理接线和安装方向等部署差异,例如:

quad_csi_quickview:
ros__parameters:
camera_profiles:
sh5: "camera_profiles/sh5.yaml"
sh3: "camera_profiles/sh3.yaml"
d405: "camera_profiles/d405.yaml"

camera:
head_left:
profile: "sh5"
source: "csi://0"
flip_method: false
head_right:
profile: "sh5"
source: "csi://1"
flip_method: true
wrist_left:
profile: "d405"
source: "/dev/video5"
depth_source: "/dev/video4"
flip_method: false
wrist_right:
profile: "d405"
source: "/dev/video7"
depth_source: "/dev/video6"
flip_method: true

修改前先备份现场配置。有效彩色源和深度源不能重复,四个槽位名称必须存在,并且至少启用一路相机。

常用参数​

参数说明
profile引用 camera_profiles 中注册的相机型号
sourcecsi://N、/dev/videoN、/dev/gmslcamN 或 none
depth_sourceProfile 启用深度时使用的独立 V4L2 设备
fps单路相机启动和协商帧率,不等于 Mosaic 输出频率
flip_methodtrue 表示旋转 180°
fit_modecontain 保持比例并补黑边;stretch 拉伸填满
calibration.enabled是否对该槽位执行 CUDA 去畸变
depth.enabled是否启用 D405 配对深度设备
depth.publish_raw是否发布原始 16UC1 深度图

禁用槽位​

quad_csi_quickview:
ros__parameters:
camera:
head_right:
source: "none"

禁用后对应画面保持黑色并显示 CAM N DISABLED。四路不能全部设置为 none。

ROS 话题​

默认 mosaic.fps 为 30 Hz。单路彩色、去畸变、H.264、JPEG 和深度压缩 Topic 多数采用按订阅启停方式,实际频率不会高于有效输入和 Mosaic 配置,应在目标设备使用 ros2 topic hz 实测。

单路彩色图像​

Topic类型格式发布条件
/camera/left_eye/image_nv12sensor_msgs/msg/ImageNV12存在订阅者时导出
/camera/right_eye/image_nv12sensor_msgs/msg/ImageNV12存在订阅者时导出
/camera/left_wrist/image_nv12sensor_msgs/msg/ImageNV12存在订阅者时导出
/camera/right_wrist/image_nv12sensor_msgs/msg/ImageNV12存在订阅者时导出
/camera/left_eye/image_nv12_undistortedsensor_msgs/msg/ImageNV12该槽位启用标定且存在订阅者
/camera/right_eye/image_nv12_undistortedsensor_msgs/msg/ImageNV12该槽位启用标定且存在订阅者
/camera/left_wrist/image_nv12_undistortedsensor_msgs/msg/ImageNV12该槽位启用标定且存在订阅者
/camera/right_wrist/image_nv12_undistortedsensor_msgs/msg/ImageNV12该槽位启用标定且存在订阅者

Mosaic 主路径不依赖这些 ROS Image。只有订阅单路彩色 Topic 时才执行 NVMM 到 CPU 的导出。

Mosaic 与深度图像​

Topic类型CompressedImage.format发布条件 / 说明
/quad_tile/compressedsensor_msgs/msg/CompressedImageh264原始四路 Mosaic;有订阅者时启动编码器
/quad_tile/compressed_undistortedsensor_msgs/msg/CompressedImageh264按各槽位标定配置处理后的 Mosaic;有订阅者时发布 ROS 消息
/quad_tile/jpeg/compressedsensor_msgs/msg/CompressedImagejpeg处理后的 JPEG Mosaic;Reliable、KeepLast(1),默认 640×360、quality 55
/camera/<name>/depth/image_rawsensor_msgs/msg/Image16UC1depth.enabled=true 且 publish_raw=true
/camera/<name>/depth/image_raw/compressedsensor_msgs/msg/CompressedImageh264启用深度且存在订阅者时进行灰度映射和编码

/recorder/quad_tile/compressed_undistorted 只写入 MCAP,不作为普通 ROS Publisher 对外发布。

WebRTC​

默认信令地址为 ws://127.0.0.1:8554,房间号为 10、11、12。这些房间共享同一路处理后 Mosaic H.264 码流,而不是三个独立布局或编码器。

WebRTC 默认输出为 1920×1488,Mosaic 默认以 30 Hz 取最新帧。某个活跃槽位超过 500 ms 没有新帧时,画面会显示 STALE。

MCAP 录像​

录像服务:

/recorder/set_recording
marvin_msgs/srv/VideoCapture

开始录像:

ros2 service call /recorder/set_recording marvin_msgs/srv/VideoCapture \
"{start_stop: true, save_dir: ''}"

停止录像:

ros2 service call /recorder/set_recording marvin_msgs/srv/VideoCapture \
"{start_stop: false, save_dir: ''}"

save_dir 为空时使用配置中的 recorder.directory。默认目录为 /media/marvin/BAG_STORAGE/recorded_bags,录像内容为处理后 Mosaic H.264,存储格式为 MCAP。

RealSense D435​

D435 RGB-D 相机使用独立配置,不参与四路拼接画面。参见 RealSense 页面中的已安装 Apex 时。

快速检查与故障判断​

source /etc/apex/apex_ros_env.sh

ros2 node list
ros2 topic list | grep -Ei 'camera|image|compressed|quad'
ros2 topic info /quad_tile/compressed_undistorted -v
ros2 topic hz /quad_tile/compressed_undistorted
现象判断与处理
/quad_tile/compressed 没有数据先确认是否存在订阅者;无订阅者时不启动对应编码器属于正常行为
深度压缩 Topic 没有数据确认深度已启用且存在订阅者
CAM N DISABLED对应槽位的 source 为 none
CAM N STALE对应槽位超过 500 ms 没有新帧
WebRTC 显示不可用检查 Camera、唯一信令服务器实例、房间号以及 SDP/ICE 日志
持续出现 Capture 或 Argus 错误检查 GMSL 链路、传感器模式、线缆、设备编号和驱动

需要完整链路诊断时,参见 Skye/Luna 模块化通讯排查 或 Marvin Pro 模块化通讯排查。