北京
据悉，宾夕法尼亚大学工程学院的研究人员 在众多由人工智能掌控的机器人平台里发现了此前未被识别的安全漏洞 。
“我们的工作表明，当下，当大型语言模型与物理世界集成时，安全性还不够，”电气与系统工程系 UPS 基金会交通学教授乔治·帕帕斯在一份声明中说。
帕帕斯和他的团队开发了一种算法，名为RoboPAIR，“这是首个旨在破解 LLM 控制机器人的算法。” 而且与现有的提示工程针对聊天机器人的攻击手段不同，RoboPAIR 专门用于从 LLM 控制的机器人（如波士顿动力公司和 TRI 正在开发的双足平台）“引发有害的物理行为”。
据报道，RoboPAIR 在破解三个热门机器人研究平台时达到了 100%的成功率：四足的Unitree Go2、四轮的Clearpath Robotics Jackal和自动驾驶汽车的Dolphins LLM模拟器。该算法仅用短短几天就完全获取了这些系统的访问权限，并开始绕过安全护栏。一旦研究人员取得控制权，他们便能指挥这些平台做出危险举动，例如在通过路口时不停下来。
“我们的研究结果首次表明，越狱的大型语言模型的风险远远不止于文本生成，因为越狱的机器人在现实世界中造成物理损害有明显的可能性，” 研究人员写道.
宾夕法尼亚大学的研究人员正在与平台开发者合作，强化其系统以防进一步遭受入侵，但警告说这些安全问题具有系统性。
“这篇论文的研究结果十分明确地表明，采用安全第一的方法对于开启负责任的创新至关重要，”宾夕法尼亚大学的合著者维贾伊·库马尔告诉《独立报》。“在现实世界中部署支持人工智能的机器人之前，我们必须应对内在的脆弱性问题。”
“事实上，AI 红队行动，旨在检测 AI 系统潜在威胁和漏洞的一种安全措施，对于保障生成式 AI 系统至关重要，”该论文的第一作者亚历山大·罗比说道，“因为一旦你识别出弱点，那么你就可以测试甚至训练这些系统来避免它们。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
