【安全圈】恶意插件警报：ChatGPT用户或面临帐户劫持风险

关键词

ChatGPT

网络安全研究人员发现，可用于 OpenAI ChatGPT 的第三方插件可能会成为希望未经授权访问敏感数据的威胁行为者的新攻击面。

根据 Salt Labs 发表的新研究，直接在 ChatGPT 和生态系统中发现的安全漏洞可能允许攻击者在未经用户同意的情况下安装恶意插件并劫持 GitHub 等第三方网站上的帐户。

顾名思义，ChatGPT 插件是旨在运行在大型语言模型 （LLM） 之上的工具，旨在访问最新信息、运行计算或访问第三方服务。

此后，OpenAI 还推出了 GPT，这是针对特定用例量身定制的 ChatGPT 定制版本，同时减少了对第三方服务的依赖。自 2024 年 3 月 19 日起，ChatGPT 用户将无法再安装新插件或使用现有插件创建新对话。

Salt Labs 发现的漏洞之一是利用 OAuth 工作流程，利用 ChatGPT 不验证用户是否确实开始安装插件这一事实，诱骗用户安装任意插件。

这实际上可以允许威胁行为者拦截和泄露受害者共享的所有数据，这些数据可能包含专有信息。

这家网络安全公司还发现了 PluginLab 的问题，威胁行为者可能会将其武器化，以进行零点击帐户接管攻击，使他们能够控制 GitHub 等第三方网站上的组织帐户并访问其源代码存储库。

“[端点] 'auth.pluginlab[.]ai/oauth/authorized'不会对请求进行身份验证，这意味着攻击者可以插入另一个memberId（又名受害者）并获取代表受害者的代码，“安全研究员Aviad Carmel解释说。“有了这些代码，他就可以使用 ChatGPT 并访问受害者的 GitHub。”

可以通过查询端点“auth.pluginlab[.]ai/members/requestMagicEmailCode。没有证据表明任何用户数据已使用该漏洞受到损害。

在包括 Kesem AI 在内的多个插件中还发现了一个 OAuth 重定向操作错误，该错误可能允许攻击者通过向受害者发送特制链接来窃取与插件本身关联的帐户凭据。

几周前，Imperva 详细介绍了 ChatGPT 中的两个跨站点脚本 （XSS） 漏洞，这些漏洞可以被链接以夺取对任何帐户的控制权。

2023 年 12 月，安全研究员 Johann Rehberger 还演示了恶意行为者如何创建自定义 GPT，这些 GPT 可以对用户凭据进行网络钓鱼并将被盗数据传输到外部服务器。

对 AI 助手的新远程键盘记录攻击#

这些发现也是在本周发表的关于LLM侧信道攻击的新研究之后进行的，该研究使用令牌长度作为隐蔽手段，通过网络从AI助手中提取加密响应。

“LLMs以一系列令牌（类似于单词）的形式生成和发送响应，每个令牌在生成时从服务器传输到用户，”来自本古里安大学和进攻性人工智能研究实验室的一组学者说。

“虽然这个过程是加密的，但顺序令牌传输暴露了一个新的侧信道：令牌长度侧信道。尽管进行了加密，但数据包的大小可以揭示令牌的长度，从而可能允许网络上的攻击者推断出私人AI助手对话中共享的敏感和机密信息。

这是通过令牌推理攻击来实现的，该攻击旨在通过训练能够将令牌长度序列转换为其自然语言对应物（即明文）的 LLM 模型来破译加密流量中的响应。

换句话说，核心思想是拦截与 LLM 提供商的实时聊天响应，使用网络数据包标头推断每个令牌的长度，提取和解析文本段，并利用自定义 LLM 来推断响应。

实施攻击的两个关键先决条件是以流模式运行的 AI 聊天客户端和能够捕获客户端和 AI 聊天机器人之间的网络流量的对手。

为了抵消侧信道攻击的有效性，建议开发 AI 助手的公司应用随机填充来掩盖令牌的实际长度，以更大的组而不是单独传输令牌，并一次性发送完整的响应，而不是以逐个令牌的方式。

“在安全性与可用性和性能之间取得平衡是一项复杂的挑战，需要仔细考虑，”研究人员总结道。

安全圈

网罗圈内热点 专注网络安全

实时资讯一手掌握！

好看你就分享 有用就点个赞

支持「安全圈」就点个三连吧！