基于VTK 可视化引擎技术的港口起重机数字孪生系统研究及应用*

张 氢 江伟哲 秦仙蓉 孙远韬

同济大学机械与能源工程学院 上海 201804

摘 要：随着自动化码头的兴起，数字孪生系统在港口起重机运行和管理具有越来越广泛的应用前景，类似于建筑BIM，各种信息整合在该平台中可以进行协同、交互式工作。针对港口起重机的动力学特征及其数字孪生系统的可视化问题，采用基于VTK 渲染引擎搭建了以孪生体物理特征实时三维可视化为主的起重机数字孪生平台，构建出系统平台架构。系统中建立的动力学模型根据Runge-Kutta 的单步计算特点，实时解算得到孪生体的动力学特征映射，并依靠高速渲染引擎对动力学特征进行实时三维可视化；同时，通过仿真测试手段对港口起重机数字孪生系统的有效性进行了验证，可为数字孪生在港口机械的应用提供理论依据和工程指导。

关键词：港口起重机；数字孪生；动力学；可视化；VTK；Runge-Kutta

中图分类号：U653.921 文献标识码：A 文章编号：1001-0785（2020）17-0069-06

0 引言

数字孪生(Digital Twin) 的概念由美国密歇根大学的Michael Grieves 教授与美国国家航空航天局专家JohnVickers 在2003 年首次提出。之后Gartner 公司连续数年将数字孪生列为十大战略性科技发展趋势[1-3]。数字孪生作为新兴的前沿技术，目前被广泛应用于制造业，其是通过现实世界中产品的运行数据到虚拟空间中的映射来实现物理实体和虚拟模型之间的动态联系，不仅可以利用仿真技术在虚拟世界中建立产品的映射，模拟产品的全生命周期，更重要的是通过对现实世界的感知来指导物理实体准确执行其生命过程。目前数字孪生这一技术被广泛应用于各个行业：航空航天[4-7]、智能制造车间[8-10]、船舶制造[11，12]、地铁运维[13，14]、机器人控制[15] 等领域。我国众多学者提出了数字孪生五维模型的概念[16]，探讨了数字孪生在十大领域中的应用。

数字孪生体作为物理实体的高维映射，包括几何模型和物理模型。几何模型从视觉上建立实体的可视化虚拟体，是几何形状的虚拟展现。几何模型的三维可视化是对物理实体的视觉检测，也是全生命周期下产品运行数据的直观表达，有助于用户把控产品的实时状态。物理模型包括动力学模型、有限元模型等物理分析模型，物理模型的准确建立可实现对实体物理特征的精准分析。动力学模型是描述物理实体最基本的物理模型，是宏观上对物理实体运行状态的准确映射，有助于分析产品的物理属性，指导其生命过程。

如前所述，由于数字孪生具有高保真性，要求孪生体的动力学特征与几何模型的可视化一致。因此，需要对动力学特征实时渲染，达到孪生体对物理实体的行为精准映射的效果，否则会出现信息传输滞后、特征映射紊乱的现象。针对这一亟待解决的问题，本文提出了基于VTK 技术融合动力学特征实时仿真渲染的数字孪生平台架构，并以岸边集装箱起重机（以下简称岸桥）的小车- 吊重系统为例进行验证，说明了方法的有效性。

1 基于VTK 技术的数字孪生平台架构

VTK（Visualization Toolkit）是以C++ 为内核，基于OpenGL 的三维可视化工具库，其包含约2 000 多个类，具有强大的图像处理功能，其作为跨平台、开源的图形编程函数库不仅封装了众多前沿的计算机图形学算法，还具备VTK 特有的内存管理机制，支持并行处理。VTK 的主要应用方向有三维计算机图形、图像处理及可视化。不同领域的研究人员( 如土木、机械、气象、医学) 将实验数据经过VTK 渲染为可视化仿真模型，不仅为科研人员的研究带来方便，更为研究成果带来直观、深刻、具有观赏性的展示方式。

VTK 可视化管线如图1 所示。在数据集的组织结构中，几何结构描述了数据对象的空间位置关系，拓扑结构描述了数据对象间的连接构成形式。当几何结构和拓扑结构的数据容量无法满足需求时，属性数据可以作为补充，包括标量、矢量和张量，如空间某一点的运动方向为矢量，某一点的温度为标量。在本文所建系统中，主要以STL 作为模型数据源。STL 是描述三维物体表面几何形状的文件格式，数据模型被表达为由三角面片构成的三维壳体，而STL 中存储了三角面片的法向量和面片的顶点数据，是可被VTK 识别的多边形数据。

图1 VTK 典型可视化管线

本文在Windows 平台下基于图形界面库Qt 与VTK，以C++ 面向对象的程序设计思想进行数字孪生平台软件的开发。如图2 所示，所开发的软件平台有模型管理界面、视图界面等，与面向对象的设计思想相匹配。模型管理界面可以设置零件是否显示、展示各构件的体积、调节透明度和颜色。三维可视化界面将模型管理系统中的模型对象解析为VTK渲染管线特定的类型，并将模型对象渲染至三维主界面中。数据可视化界面将动力学系统输出的状态参数进行解析，将其转化为时域下的运行曲线，显示在数据可视化界面中。开发了人机交互系统，可通过鼠标在屏幕上的坐标得到所交互的模型对象，通过键盘可控制起重机的各机构运动。

图2 用户界面

图3 所示为数字孪生平台（简化的），包括有三维可视化系统与动力学系统建模分析功能，二者协同作用。动力学系统是岸桥孪生体物理特征的驱动内核。孪生体物理特征的描述源于对物理实体的感知，动力学系统科学构建了物理实体的真实动力学模型，准确映射了岸桥实体的运行状态。三维可视化系统可以直观地监测物理实体的行为，不仅从视觉上描述了岸桥的外形特征，进行形态映射，还对岸桥的港口工作环境进行可视化，完成环境映射。

三维可视化系统与动力学系统是相辅相成的。动力学系统作为物理特征的驱动内核，高速解算每一时刻孪生体的动力学特征参数，完成动力学特征映射，实时的参数输出为可视化系统提供即时渲染条件。VTK 作为三维可视化系统的高速渲染引擎，将孪生体的物理特征实时渲染在可视化窗口中，孪生体的位姿跟随动力学特征参数的改变而变化。依靠VTK 的高速渲染能力，三维可视化系统将孪生体物理特征的映射结果进行实时的可视化表达。

图3 数字孪生平台主要架构

2 基于实时渲染的动力学系统建模

通常，岸桥通过小车、钢丝绳和吊具来吊运货物。小车- 吊重系统的动力学分析一般是通过系统各构件之间的几何关系以及小车运动或受力情况建立相应的状态描述方程。在本孪生系统的动力学模块中，主要计算小车- 吊重系统的实时运动状态，以Runge-Kutta 方法解算出所建立的小车- 吊重系统拉格朗日动力学方程，并将状态参数输出至三维可视化系统进行数据解析，实时更新模型对象的状态。

2.1 四自由度动力学模型

如图4 所示，将钢丝绳视为弹簧- 阻尼系统，起升钢丝绳和小车牵引钢丝绳的弹性系数与阻尼系数分别为k1、k2、c1、c2，小车和吊重的质量分别为M、m，左、右起升钢丝绳的长度分别为l1、l2，小车的位移为x，小车上左、右起升滑轮的间距为2b，吊具上左、右起升滑轮的间距为2w，吊重的高度为2r，小车的高度为2R，等效钢丝绳与竖直方向的夹角为α，吊重的倾角为θ。为方便计算，将l1 和l2 的吊点位置等效至吊具与小车的起升滑轮间距的中点，两中点的连线视为等效钢丝绳，其长度为l。整个系统有4 个自由度，分别为小车水平位移x、等效绳长l、等效钢丝绳偏摆角α 和吊重倾角θ。

图4 小车- 吊重系统动力学模型

在该系统中，根据拉格朗日动力学方程得式中：Δx 为当前牵引钢丝绳收放长度与小车位移差，Δx=x´-x；Δv 为当前时刻牵引钢丝绳收放速度与小车运行速度之差，Δv=x´-·x ，即牵引钢丝绳长度的变化速度。

2.2 实时渲染

在系统中，根据小车- 吊重系统各构件之间的几何关系建立系统的几何约束条件；再根据拉格朗日方程建立小车- 吊重的动力学模型。为模拟风载荷作用下起重机的真实工况，动力学模型系统中加入脉动风载荷的作用。脉动风载荷的时程模拟是基于Davenport 风谱与自回归模型(AR 模型) 的随机过程模拟方法，自回归模型计算量小、速度快，被广泛用于随机振动和时间序列分析中[17]。在包含了脉动风载荷时程模拟的小车- 吊重系统动力学模型中，采用四阶Runge-Kutta 方法对模型进行时域内的分步求解。

求得参数后，动力学系统与三维可视化系统进行协同工作，实现实时渲染，框架如图5 所示。

图5 动力学、三维可视化系统协同渲染

式（2）是Runge-Kutta 对式（1）在第个n 时刻的求解结果。将Vn 以浮点数形式存储，并将指向Vn 的指针发送至三维可视化系统中。三维可视化系统通过该指针获得Vn 中的参数，参数解析器将Vn 进行解析，实时更新各构件的模型参数。最后通过VTK 渲染引擎将模型实体的姿态进行更新，展示在终端界面中。实时渲染流程如图6 所示。

VTK 的渲染引擎提供高速渲染接口，其流畅的渲染管线支持对实体的位姿变化的渲染。三维可视化系统接收到输入参数后，对其进行快速解析，将参数映射为小车、钢丝绳、吊重的位姿，再通过渲染管线提供的实体位姿变化接口传入参数，最后依靠VTK 高速渲染引擎将实体的姿态实时渲染在用户终端，进行三维可视化展示。

图6 三维可视化系统实时渲染流程

3 数字孪生系统功能测试与应用

对本文所开发的港口起重机数字孪生系统进行功能测试。进入数字孪生系统后，通过鼠标交互在三维视窗中调节视角至适宜位置后，按下方向右键观察小车开始向右运动。此时动力学系统开始运行，计算每一帧小车-吊重系统的状态参数，并将状态参数发送到小车、钢丝绳和吊重的模型对象中，由三维可视化系统动态刷新模型对象。运行中的小车- 吊重系统如图7、图8 所示，渲染帧率可达30 fps。

图7 小车- 吊重系统运动形态1

图8 小车- 吊重系统运动形态2

在运行时，数据可视化系统将接收到的每一帧小车-吊重系统状态参数进行解析并存储至数据队列中，并进行实时绘制。如图9 所示，三维可视化与数据可视化同步显示小车- 吊重系统的运行状态。

图9 三维可视化与数据可视化同步显示

点击界面上方工具条中的司机视角按钮，三维可视化系统中会将相机移动到小车司机室的位置( 见图10)，并将二者绑定，使相机随司机室移动( 见图11)。

图10 司机视角1

图11 司机视角2

由图9 ～图11 可见，在VTK 高速渲染引擎的作用下，三维可视化系统直观而准确地表现了岸桥孪生体的动力学特征。在三维可视化系统与动力学系统的协同作用下，数字孪生平台稳定运行。

4 结论

1) 研究了VTK 的基本数据结构、可视化管线和STL 模型渲染技术，明确VTK 在数字孪生系统中的应用，为三维可视化系统提供渲染引擎。

2) 设计开发了以三维可视化系统和动力学系统为主的港口起重机数字孪生平台，包含模型管理系统、数据可视化系统和人机交互系统。

3) 研究了基于实时渲染的动力学系统，通过动力学系统与VTK 三维可视化系统的协同作用实现了岸桥动力学特征的实时映射。

4）通过对系统的测试，验证了动力学系统的实时渲染效果，为数字孪生在港口机械的应用提供参考。

参考文献

[1] Gartner.Gartner's Top10 Strategic Technology trendfor2019[EB/OL].[2018-10-15].https：//www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technologytrends- for-2019/.

[2] Gartner.Gartner's Top10 Strategic Technology trendfor2018[EB/OL].[2017-10-3].https：//www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technologytrends-for-2018/.

[3] Gartner.Gartner's Top10 Strategic Technology trendfor2017[EB/OL]. [2016-10-18].https：//www.gartner.com/smarterwithgartner/gartners-top-10-technology-trends-2017/.

[4] 陶飞，张萌，程江峰，等. 数字孪生车间——一种未来车间运行新模式[J].计算机集成制造系统，2017，23(1)：1-9.

[5] 北京世冠金洋科技发展有限公司. 航天飞行器数字孪生技术及仿真平台[J]. 军民两用技术与产品，2018(9)：26.

[6] 陈振，丁晓，唐健钧，等. 基于数字孪生的飞机装配车间生产管控模式探索[J]. 航空制造技术，2018，61(12)：46-50，58.

[7] 孙萌萌. 飞机总装配生产线数字孪生系统若干关键技术研究 [D]. 杭州：浙江大学，2019.

[8] Ding K，Chan F T S，Zhang X，et al.Defining a Digital Twin-based Cyber-Physical Production System for autonomousmanufacturing in smart shop floors[J]. International Journal of Production Research，2019：1-20.

[9] 丁凯，张旭东，周光辉，等. 基于数字孪生的多维多尺度智能制造空间及其建模方法[J]. 计算机集成制造系统，2019，25(6)：1 491-1 504.

[10] Havard V，Jeanne B，Lacomblez M，et al.Digital twin and virtual reality：a co-simulation environment for design and assessment of industrial workstations[J].Production & Manufacturing Research，2019.

[11] 李凯，钱浩，龚梦瑶，等. 基于数字孪生技术的数字化舰船及其应用探索[J]. 船舶，2018，29(6)：101-108.

[12] 徐鹏，陈卫彬，廖良闯，等. 基于数字孪生的船舶管加工数字化车间研究[J]. 舰船科学技术，2019，41(15)：139-144.

[13] 杨国伟，刘文泽，毕湘利. 基于云平台的地铁数字孪生运维系统构建[J]. 信息技术与信息化，2019(8)：90-92.

[14] 杨国伟，王菲，毕湘利，等. 数字孪生在地铁环控系统中的应用[J]. 科技与创新，2019(14)：33-35.

[15] 杨艳芳，贺焕，舒亮，等. 断路器柔性装配数字孪生机器人及其运动控制[J/OL]. 计算机集成制造系统：1-21，[2019-10-21].

[16] 陶飞，刘蔚然，张萌，等. 数字孪生五维模型及十大领域应用[J]. 计算机集成制造系统，2019，25(1)：1-18.

[17] 舒新玲，周岱. 风速时程AR 模型及其快速实现[J]. 空间结构，2003(4)：27-32，46.