基于深度视觉的AGV载具高精度位姿计算方法研究

广 告 | 点击 查 看

摘要：为解决AGV（Automated Guided Vehicle）在非结构化场景下对偏移托盘的精确定位与自主叉取问题，本文提出一种基于低成本深度相机传感器的视觉高精度位姿计算方法。该方法依赖于前序感知模块输出的托盘插孔像素坐标。首先，通过张正友标定法获取相机内参，并结合深度图像，将插孔的2D像素坐标映射到3D相机坐标系。继而，根据三个托盘支撑柱中心的3D空间坐标，构建坐标系转换和姿态计算，以实现对末端作业载具端面中心点相对于货叉上平面的高度进行精准测量，计算托盘相对于AGV的精确位置（X,Z）、偏航角（θ）和高度。实车实验表明，在1.2m至1.7m距离、±30°偏角、±600mm偏移的多种工况下，该系统最终叉取的位置误差能稳定在10mm以内，角度误差小于1°，显著提升了AGV末端作业的精度与成功率；对于各类不同高度的载具，其测量误差能够控制在±10毫米以内，有效解决了AGV在无固定高度智能物流应用场景中的关键问题。

关键词：AGV；托盘定位；位姿估计；深度视觉；路径规划；贝塞尔曲线

作者：张玉1 袁正1,2

1安徽合力股份有限公司

2合力工业车辆（上海）有限公司

题眼广 告 | 点击查看

一

引言

自动导引运输车（Automated Guided Vehicle,AGV）作为一类智能工业机器人，广泛应用于仓储物流中的装卸搬运作业[1-3]。其具备自动化任务调度、自主导航控制、路径动态规划以及实时安全避障等优势功能[4-5]。随着技术的持续演进，AGV系统进一步引入了末端作业精确定位、实时动态避障与路径智能优化等新技术[6]，

不断拓展其应用场景边界。其中，对AGV末端作业载具的精准定位尤为关键，需在复杂场景中实时检测载具的位置、偏航角及高度信息，从而实现AGV在高难度、非结构化场景中的可靠应用。

在AGV末端作业定位技术方面，现有研究多集中于标准化、结构化地面环境下的托盘识别问题，常采用深度视觉、激光雷达或毫米波雷达等传感器方案，能够在限定作业范围内实现对托盘的识别与定位[7]。基于传统方法的托盘位姿估计技术主要依赖特征提取与几何建模，通过分析图像或点云中的托盘形状特征来实现位姿估计[8-10]。随着深度相机与视觉成像技术的发展，基于视觉的托盘检测方法逐渐普及。该方法利用深度相机采集环境数据，并依据托盘的结构特征实现目标与背景的有效分离。例如，武文汉[11]采用TOF相机设计了仓储托盘相似度匹配算法，借助多相机系统检测AprilTag标签以实现托盘位姿定位，但该方法存在点云处理耗时较长、标签易损坏且维护复杂等问题；Bellomo等人[12]提出了激光雷达与视觉数据融合的算法，通过实时生成高连续性路径提升目标识别精度，不仅显著提高了识别准确率，也增强了系统在动态环境中的稳定性；Kato等人[13]构建了一种基于主动双目视觉传感器的三维姿态估计算法，该方法融合了点云预处理与自适应高斯加权特征提取等技术，能够在复杂多变场景下实现精准的托盘姿态估计；王明俊等人[14]则提出一种融合二维码标识、RGB-D数据与自适应位姿镇定算法的系统，有效提升了叉车AGV在自动运输过程中的检测精度、鲁棒性与搬运效率。

随着AGV叉车应用场景逐渐向混合、复杂的搬运环境拓展，其末端作业面临更高要求，尤其是在软包多层堆叠场景中，常出现位置偏移、姿态倾斜等不确定状态。现有方法多需预设堆叠高度或依赖辅助标签进行定位，作业时AGV按固定高度抬升取货，适应性有限，难以应对高度动态变化的实际场景。因此，实现托盘高度的实时精准测量，已成为推动多层堆叠智能物流系统落地的关键技术挑战。

为此，本文基于低成本深度相机，提出一种视觉高精度位姿计算方法，旨在解决托盘相对于AGV的精确定位与姿态估计问题。该方法首先通过张正友标定法获取相机内参，并依据深度图像信息将托盘插孔的二维像素坐标映射至三维相机坐标系。进而，根据三个托盘支撑柱中心在三维空间中的坐标，构建坐标系变换与姿态解算模型，最终实现末端作业载具端面中心点相对于货叉上平面的高度精确测量。

二

AGV末端作业流程

为解决多层堆叠末端作业应用场景，本文采用低成本深度相机作为传感器，安装于货叉的根部。如图1所示，采用低成本深度相机方案获取RGB图像和深度数据D数据，实现复杂场景下的多融合处理方案定位末端作业对象，形成统一的姿态计算和局部路径规划方法，控制车体运动完成复杂末端作业过程。

图1 末端作业对象识别、定位与路径规划系统流程

首先，在离线阶段完成模型的训练与数据准备工作，包括数据集的构建与标注、模型设计，并将训练完成的识别模型与分割模型分别部署至国产芯片RK3568的识别模块与分割模块中。同时，设计相机自动标定算法，预先完成相机安装后相对于车体的外参标定。

其次，当AGV叉车行驶至取货或放货作业的前置位置时，通过深度相机采集待操作托盘所在区域的RGB图像及深度数据；对RGB图像进行托盘识别与区域分割，提取图像中托盘支撑柱区域的中心点像素坐标。

最后，基于中心点像素坐标及其对应深度信息，计算托盘相对于相机光心水平面的高度；结合货叉与相机的相对安装高度，准确计算多层堆叠场景下托盘插孔中心相对于地面的实际高度；依据AGV车体叉尖的实时高度，动态计算货叉需举升或下降的位移量，从而在叉取货物过程中实时调整叉尖高度，完成货物拾取。该方法通过多模态数据融合与场景理解，实现对末端作业对象的精准定位，并结合姿态计算与局部路径规划形成统一控制策略，指导车体运动以完成复杂环境下的末端作业任务。

三

高精度位姿计算

1.相机外参标定

以车体中心为参照物，标定深度相机的外参，包含相机相对车体中心的水平偏移dx、高度偏移dy（又称h）、垂直偏移dz、俯仰角(pitch)、滚动角(roll)、偏航角(yaw)。相机外参表现为计算相机坐标与车体中心坐标系变换关系，即求解两个三维坐标系间的变换为刚体运动，另一种表示为外参用旋转矩阵R和平移矩阵T表示。

为保证无人叉车在取货点时能够采集到末端作业对象插孔区域的全部画面，深度相机尽可能安装于叉车叉尖中心和车体交点位置，高度也尽可能与叉尖同高。考虑不同AGV车体结构的差异，相机安装到AGV固定位置，需要进行相关参数标定，外参数标定是求解相机坐标系间变换关系的过程。包括相机相对车体中心的6个自由度变量。本文采用棋盘格标定装置，放置在货叉之间的车体中心位置，标定板平面与中心对齐并垂直于货叉。

考虑不同AGV车体结构的差异，相机安装到AGV固定位置，需要进行相关参数标定，包含以下步骤：

（1）构造棋盘格标定板，标定板放于车体货叉垂直，与车体中心位置系重合或者平行（平行时需要测量偏移量∆z，重合时为0）；

（2）采集棋盘格图像，根据图像处理方法完成棋盘格角点检测，得到多个棋盘格角点坐标（采集12个棋盘格角点，如图2所示）；考虑深度相机测量误差，每个点取周围包括自身9个点深度平均值作为当前棋盘格点的深度，并根据相机内参，转化为相机坐标系下的坐标；

图2 黑白棋盘标定板示意图

（3）选取棋盘格在同一高度的点A和B的坐标，通过深度信息计算两点在垂直地面方向的高度差∆H，结合A与B点测量物理距离L，即可计算相机滚动角(roll)，公式如下：

其中dA和dB分别表征已知A点和B点标定位置的像素深度值，通过相机深度信息获取；pxA和pxB分别表征已知A点和B点标定位置的水平方向的像素坐标。fx表征深度相机的水平像素焦距，Cx表征深度相机光心在像素坐标系中的坐标。

（4）选取棋盘格在同一垂直的点A和C的坐标，计算相机相对车体中心的俯仰角(pitch)、偏航角(yaw)，公式如下：

dA和dC分别表征已知A点和C点标定位置的像素深度值（标定位置和相机平面的距离），pxA和pxC分别表征已知A点和C点标定位置的水平方向的像素坐标，pyA和pyC分别表征已知A点和C点标定位置的垂直方向的像素坐标，fx和fy分别表征深度相机的水平和垂直方向的像素焦距，Cx和Cy分别表征深度相机光心在像素坐标系中的坐标。

（5）根据测定俯仰角(pitch)、滚动角(roll)、偏航角(yaw)，选取棋盘格中的任意一点计算水平偏移（dx）、相对高度h（dy）和dz，利用公式（4）～公式（6）。

为减少外参标定时存在的误差，重复以上步骤多次，通过求取平均值等方式得到最终外参。

2.载具位姿计算

深度相机中数据包含图像RGB数据和每个像素的深度数据。设P为三维空间内任意一点，在深度相机下的像素坐标为（u，v）其深度值为d。由于物体在图像中的坐标位置以像素为单位，需要将点P的相机坐标值转换为像素坐标值，这个过程采用小孔成像模型来描述。

在相机坐标系下，设P点三维空间坐标为(Xc，Yc，Zc)，

其中，u和v分别为P点在相机图像像素横坐标和纵坐标，d为P点在相机坐标系测量的深度值；fx和fy分别表征深度相机的水平和垂直方向的像素焦距，Cx和Cy分别表征深度相机光心在像素坐标系中的坐标。按照矩阵方法表示：

即为相机内参矩阵，是相机自身固有系数，论文直接使用相机厂家给定，也可以通过张正友标定方法进行标定获取。

在车体坐标下，设P点三维坐标为（XA，YA，ZA），则在相机坐标系和车体坐标系下P点的两个三维坐标系间的变换为刚体运动，用旋转矩阵和平移矩阵表示：

其中，R是3×3矩阵，表示车体坐标系相对于相机坐标系下选择矩阵；T是三维向量，表示车体坐标系相对于相机坐标系的平移关系；[R|T]表示车体与相机间的外参矩阵。

根据上一节中深度相机外参标定的6个参数，转化为旋转矩阵和平移矩阵，具体计算方法如下：

设相机相对车体中心的空间三个轴x，y，z的欧拉角分别为θx(roll)、θy(pitch)、θz(yaw)，采用内旋的方式沿着z-y-x的顺序旋转，正弦值、余弦值分别为sx、cx、sy、cy、sz、cz那么旋转矩阵为：

根据相机相对车体中心的水平偏移（dx）、相对高度h（dy）和垂直偏移（dz+∆z，∆z为标定板中心与车体中心距离，标定时测量得到），得到平移矩阵为

由公式（4）和（6）计算三维空间中P点的像素坐标和深度信息与车体坐标转化关系如下：

综合已知的相机内参K、相机相对车体中心的旋转矩阵R和平移矩阵T，将托盘中心点像素坐标O(u,v)及深度d，通过代入公式（17），得到该点在车体坐标系下的3D坐标，得到托盘腿中心点O在车体坐标下的坐标O(XA,YA, ZA)。

在实际工程场景，根据导航控制技术，AGV车体实时定位在世界坐标系下位姿信息，考虑车体行驶水平面情况，通常只考虑车体的二维平面的位置和航向角，即（x,y,θ）三个信息，即车体中心相对世界坐标的计算简单计算为二维平面的旋转和平移问题。当AGV车体到达取放货的前置点时，末端作业系统根据车体当前在世界坐标下的（x,y,θ），计算车体坐标下的托盘坐标O(XA,YA,ZA)中二维坐标O(XA,YA)在世界坐标下位置O(Xw,Yw)；ZA表示在车体坐标系下，托盘中心点相对地面高度，与世界坐标系的高度相同。

在相机坐标系下，托盘中心点相对于相机中心的高度（∆H）受相机俯仰角(pitch)、滚动角(roll)的影响，测量：

表1 末端作业AGV插入托盘目标检测结果

其中，d为托盘中间腿的中心O点深度值；pitch和roll分别为相机相对车体的俯仰角和标定滚动角，在安装标定时确定；px和py是托盘中间腿的中心O点的像素坐标，fx和fy分别表征深度相机的水平和垂直方向的像素焦距，Cx和Cy分别表征深度相机光心在像素坐。

四

实验测试

1.实验设置

实验平台选用国产低成本边缘计算终端RK3568，通过RKNN模型转换工具实现算法验证、测试和实测搭载。选用Eagle-M4深度相机，分辨率为960×540，帧率为15，深度数据测量有效范围为500mm至4500mm。如图3所示，为验证所提算法的适用性，本实验构建了贴合实际物流场景特征、具备高度不确定性与多偏转角度的托盘多层堆叠工况。

图3 无固定高度与多偏转角度堆叠实验场景

2.载具位姿计算

为验证末端作业中，所测量的托盘相对车体的位姿的精度，托盘中心与车体中心之间的距离设置1.2m、1.5m和1.7m三种位点，在每一个位点托盘偏转角度设置-30°、-20°、-10°、0°、10°、20°、30°共7种情形。如表2，在不同距离和托盘偏转角度的场景下，AGV末端作业系统通过多项实验测试。当AGV完成末端作业、货叉进入托盘后，测量货叉相对托盘中心点左右偏差以及货叉垂直进叉的角度误差。通过表2可以看出，基于深度学习与图像处理分割设计的托盘识别和定位方法，能够控制左右距离误差10mm之内，角度误差控制在1°之内，满足各类复杂AGV末端作业精度。

3.载具高度测量

考虑相机传感器本身随着距离增加，深度值测量误差也增大。考虑到相机的测量范围，实验选取标准托盘作为载具，在三种常用距离环境下进行测试，分别选取测试托盘中心与相机中心的距离为1.8m、2.4m和2.8m。

为排除其他误差干扰，实验将托载具于相机正前方进行测试，即载具无偏转角度、无左右偏移距离。载具高度在100mm至1500mm范围内，以100mm为间隔进行高度误差测量。考虑相机单帧数据测量存在较大误差，如图4所示，实验中分别通过单帧深度数据与融合10帧深度数据的分布对比进行验证。在图4中，d表示单帧深度数据高度测量误差情况；optimize d表示融合10帧深度数据的高度测量误差情况。

图4 单帧和多帧融合的载具高度测量误差

（1）单帧深度数据情况：当距离为2800mm时，高度测量误差较大，误差绝对值集中在12～20mm；当距离为2400mm（实际AGV末端作业常见距离）时，误差绝对值集中在10mm以内；当距离为1800mm时，误差绝对值集中在5mm以内。

（2）融合10帧深度数据：通过多帧数据融合优化后的试验，能够大大降低高度测量误差，从图4中可以看出各个距离段高度测量误差能够控制在5mm以内。

考虑到实际作业中托盘相对于车体中心存在位置偏移与旋转角度，实验选取常见AGV作业距离范围，即d=2400mm，并在该距离下对不同高度的托盘进行高度测量。由于相机安装于货叉根部中间位置，与车体中心线对齐，托盘相对车体中心线左右对称偏移。实验选取一侧偏移600mm、300mm和0mm三个位置点，在每个位置点进行托盘偏转角度为-30°、-20°、-10°、0°、10°、20°和30°的实验验证，测试结果如图5所示。

图5 各种偏移量和旋转角度载具的高度测量误差

从图5（a）可知，当载具相对车体中心的水平偏移距离为600mm时，旋转角度的绝对值越大，高度测量误差越大，最大误差在20mm之内；旋转角度在±10°和0°，测量高度误差较小。从图5（b）可知，当载具相对车体中心的水平偏移距离为300mm时，旋转角度的绝对值越大，高度测量误差越大，最大误差在15mm之内；旋转角度在±10°和0°，测量高度误差在10mm之内；从图5（c）可知，当载具相对车体中心的水平无偏移时，旋转角度的绝对值越大，高度测量误差越大，最大误差在15mm之内；旋转角度在±10°和0°，测量高度误差在5mm之内。

实际AGV作业场景上，AGV在末端作业的前置点，载具的水平偏移距离在300mm之内，旋转角度在±10°之内，从各项试验表面，测量误差能够控制在10mm之内，满足各项无固定载具的高度测量要求。

五

结论

本文针对非结构化场景下AGV对偏移托盘的定位与自主叉取问题，提出了一种基于低成本深度相机的视觉高精度位姿计算方法。实验结果表明，在1.2m至1.7m距离、±30°偏角及±600mm偏移等多种工况下，该系统叉取位置误差稳定在10mm以内，角度误差小于1°，能够适应不同高度的载具，测量误差控制在±10mm以内。该方法有效提升了AGV在复杂场景下的作业精度与成功率，解决了AGV在非标准库位下的叉取难题，为无固定高度智能物流应用提供了可行的技术解决方案，提升AGV在柔性化物流场景中的适应性具有重要价值。

参考文献:

[1] 陈凯,陈韦志.智能仓储认证引领物流行业高质量发展[J].质量与认证,2024, (05):30-31.

[2] 郝艳莉.面向“工业 4.0”智慧园区智能仓储物流建设的发展对策[J].电气时代,2022, (08):95-97.

[3] 张红琼,白国星.基于非线性模型预测控制的无人叉车路径跟踪[J].现代制造工程,2025,(04):45-52.

[4] 程乐平,李欢.智能仓储物流中机器人技术的应用与发展[J].信息系统工程, 2023, (07):43-46.

[5] 白斌.基于数字孪生智慧电表仓储系统设计与AGV路径规划的研究[D].浙江:杭州电子科技大学,2025.

[6] Qian Libing,XU Jinbao,XU Hongli,et al. A method for measuring the height of AGV end vehicle based on depth vision[J].High Technology Letters,2025,31(02):204-210.

[7] 吕盛强.基于视觉的叉车托盘定位与取放应用研究[D].成都:西华大学, 2022:13-29.

[8] de Morais M V B, dos Santos S D, Pires R. A computer vision system for pallets verification in quality control[J]. International Journal of Precision Engineering and Manufacturing, 2023, 24(7): 1221-1234.

[9] Shen K, Qiu Q, Wu Q, et al. Research on the development status of AGV parking robot based on patent analysis[C]//Journal of Physics: Conference Series. IOP Publishing, 2021, 1905(1): 012018.

[10] Mohamed, Alessio Capitanelli, Fulvio Mastrogiovanni, et al. Detection, localisation and tracking of pallets using machine learning techniques and 2D range data[J]. Neural Computing and Applications,2019,32(13).

[11] 武文汉.基于视觉的仓储托盘检测方法研究[D].上海交通大学,2018.

[12] Bellomo N, Marcuzzi E, Baglivo L, et al. Pallet pose estimation with LIDAR and vision for autonomous forklifts[J]. IFAC Proceedings Volumes, 2009, 42(4): 612-617.

[13] Kato T, Morisawa M. ICP-Based Pallet Tracking for Unloading on Inclined Surfaces by Autonomous Forklifts[C]//2024 IEEE/SICE International Symposium on System Integration (SII). IEEE, 2024: 1504-1510.

[14] 王明俊.基于视觉的仓储托盘检测与移动机器人自适应位姿镇定[D].浙江:杭州电子科技大学,2022.

———— 物流技术与应用融媒 ————

编辑、排版：王茜

本文内容源自

欢迎文末分享、点赞、在看！转载请联系后台。

广告宣传