LLM+运筹优化：工业级多机器人协同控制软件生成新范式

引言：当大语言模型走进真实工业产线

大语言模型驱动的代码生成技术，正在深刻重塑机器人控制软件的开发范式。曾经高度依赖人工的繁琐编程，如今只需简单的自然语言指令即可完成，开发效率实现了巨大的跃升。

然而，当我们将这项技术推向真实工业生产线时，一个关键问题凸显出来：面对工业场景对程序错误零容忍的严苛要求，现有大模型真的能克服幻觉，胜任复杂的多机器人协作任务吗？

在真实的工业车间中，制造任务往往具有极其严格的时序依赖和资源冲突限制。对于规划与代码生成系统而言，若仅依赖大模型纯粹的「黑盒」推理，极易产生逻辑幻觉，生成的规划和代码往往看似合理，却在底层执行时因为资源抢占或前置条件不满足等原因导致整个产线停滞。

为了解决这一痛点，由深圳大学、视比特机器人、卡尔顿大学与中科院工业人工智能研究所组成的联合研究团队提出了一种全新的框架——IMR-LLM。该方法首次将大模型的泛化理解能力与工业运筹学中的确定性算法融合，为工业多机器人任务规划与执行程序生成提供了系统性的解决方案，相关成果已被ICRA 2026接收。

图1: IMR-LLM 框架概览

• 论文标题：
• IMR-LLM: Industrial Multi-Robot Task Planning and Program Generation using Large Language Models
• 论文链接：
• https://arxiv.org/pdf/2603.02669
• 项目主页：
• https://xiangyusu611.github.io/imr-llm/
• 代码链接：
• https://github.com/XiangyuSu611/IMR-LLM-Code

现有范式的瓶颈：跨不过的物理与逻辑双重「硬约束」

在工业多机器人协作任务中，系统通常需要回答两个核心问题：“由哪台机器人在什么时间完成任务的哪一部分？”以及“具体该怎么做？”。这两个核心问题对应了算法的两项核心能力：高层任务规划和底层执行程序生成。

当前主流的基于大模型的方法通常试图让 LLM 直接输出规划结果和执行代码。研究团队发现，这种方法在面对复杂的工业约束时存在双重瓶颈：

• 复杂依赖与资源互斥导致的“逻辑崩盘”：工业制造不仅有着极其严格的工序时序依赖，还存在无法逾越的互斥约束（例如多台机器人竞争独占同一个加工机器）。面对这种复杂的资源抢占，纯靠大模型的“黑盒”推理极易产生逻辑幻觉，给出的调度规划往往看似合理，实则会引发死锁与产线停滞。
• “照猫画虎”导致代码难落地：在底层执行程序的生成上，现有方法多依赖少样本提示。这种方式极易让生成的程序“过拟合”于特定的输入示例，无法灵活适应不同生产线实际的硬件配置与物理状态，最终导致大模型写出的代码可执行性较低，难以真正在生产车间中部署。

简而言之，现有范式既无法在宏观上保证多机调度的安全与高效，也难以在微观上确保底层代码的精准执行。这表明，想要让大模型真正从“聪明的玩具”蜕变为工业产线上的“可靠指挥官”，就必须打破纯粹依赖语言大模型进行端到端生成的“黑盒”，引入严谨的结构化约束。

IMR-LLM 核心揭秘：大模型与结构化约束的「强强联合」

为了打破上述双重瓶颈，解答好“宏观如何调度”与“微观如何执行”这两个核心问题，研究团队提出了 IMR-LLM 框架。

图2: IMR-LLM 方法整体流程

该框架的核心想法是：不强迫大模型去强行求解复杂的数学调度，也不让它依赖有限示例去机械套用底层的控制代码；相反，应充分发挥大模型强大的语义理解与情境匹配能力，让它专注扮演高层约束的「翻译官」与底层执行的「导航员」。为此，IMR-LLM 将规划与执行彻底解耦，引入了两种强大的结构化约束工具：

1. 用析取图建模时序与资源限制

为了克服大模型自由生成规划所导致的逻辑缺陷，IMR-LLM引入了工业运筹学中的经典数学模型——析取图，作为高层调度的核心约束。在此阶段，大模型仅作为「翻译官」，从指令与场景描述中推理并提取出完整的操作工序集、机器人分配方案以及工件内部的执行先后顺序。这些具象化的要素随即被严谨地映射为析取图中的顶点与有向边。借助析取图的图结构，系统将所有复杂的工序先后顺序与多机器人资源竞争冲突进行了硬性物理约束。通过调用确定性算法对该图进行求解，系统从根本上遏制了大模型的“逻辑幻觉”，确保得到的高层任务规划无死锁且全局最优。

2. 用工序流程树规范代码生成流程

在获取宏观调度方案后，为避免传统少样本提示带来的“机械套用、难以落地”问题，研究团队引入了第二个核心约束工具——工序流程树。该树形结构将各类工序（如打磨、搬运、焊接）的标准化流程与分支逻辑进行了高度的结构化编码。在生成底层代码时，大模型在流程树的「导航」下，实际上是将开放式的代码生成转化为了严谨的“路径选择问题”。结合真实的物理环境状态，大模型只需在树中推断出一条从起点到终点的唯一分支，并将该分支上各节点预定义的代码片段进行拼接，即可获得特定场景下的执行函数。这种基于树状结构引导的生成方式，为大模型划定了安全的生成边界，确保最终输出的 Python 控制代码契合当前产线配置，具备较强的可执行性。

实验表现：在专属工业基准 IMR-Bench 上的大幅超越

为了系统性且公平地评估大模型在真实制造环境中的能力，研究者基于视比特 KunWu 平台，专门构建了挑战性的工业多机器人协作基准测试集——IMR-Bench 。该基准提取自真实的工业环境，共包含 23 个复杂的物理场景，并根据实际生产需求设计了 50 个制造任务。为了全面探测模型的极限，这些任务被划分为三个难度梯队：从基础的单机操作，到简单的多机协同，再到最多涉及 7 台机器人、多达 24 道工序混合并行的复杂协同任务。

图3: IMR-Bench数据集概览

在IMR-Bench的所有任务中，所提方法均展现了稳定的性能提升。研究团队将IMR-LLM 与现有基于大模型的基线方法（如 SMART-LLM、LaMMA 及 LiP-LLM 的变体）进行了综合对比。

图4: 与现有基线方法的对比

实验结果表明，得益于「析取图」的宏观约束与「工序流程树」的微观导航，IMR-LLM 在各项评估指标上均取得了显著的提升。尤其在面对“复杂多机器人任务”时，基线方法常因逻辑缺陷或代码执行失败导致其任务成功率（Success Rate, SR）出现明显下降。相比之下，IMR-LLM 凭借严谨的结构化约束，不仅保持了较高的调度效率（Scheduling Efficiency, SE），还有效保障了生成代码的可执行性（Executability, Exe），在最终的综合成功率上实现了对现有范式的超越。

模拟环境执行结果

为了验证 IMR-LLM 在真实物理环境中的部署能力，研究团队在一个包含 3 台真实机械臂的协作产线上进行了测试，该实验场景涵盖了视觉定位、工件抓取与多机协作搬运等典型的工业操作流程。

在真机测试中，研究团队向系统输入了自然语言任务指令及当前产线的环境状态描述。IMR-LLM 随后自动生成全局调度图，并精准匹配输出了对应的底层 Python 执行代码。为确保物理执行的安全，研究团队首先在仿真引擎中对生成的代码进行运行校验；在确认无死锁与碰撞风险后，将代码直接下发至物理机器人的底层控制器中执行。最终，顺利且准确地完成了既定的多机协同任务。这一完整的部署流程，客观验证了 IMR-LLM 框架在真实制造场景下从指令理解到机器人控制的可靠性。

真实环境部署代表性结果

总结与展望

IMR-LLM框架为大语言模型在严苛工业多机协作环境下的应用提供了一种切实可行的解题思路。研究团队通过将任务规划与底层代码生成彻底解耦，并分别引入“析取图”与“工序流程树”作为宏观与微观的结构化约束，成功弥合了大模型发散性推理与工业制造绝对正确性要求之间的鸿沟。IMR-Bench 与物理实机实验共同证明，该方法有效克服了传统端到端生成易引发的逻辑死锁与代码失效问题，显著提升了系统的综合任务成功率与调度效率。

然而，真实的工业生产环境往往伴随着不可预见的动态干扰与不确定性。目前的 IMR-LLM 框架主要侧重于静态场景下的前置规划与可靠执行。在未来的工作中，研究团队计划进一步探索底层执行反馈机制的引入。通过构建一个实时的“感知-推理-执行-纠错”闭环系统，团队期望增强IMR-LLM 在面对突发硬件故障或动态需求变化时的自适应能力，从而推动大模型在更复杂、更开放的工业具身智能场景中扎实落地。