犯罪分子正利用AI进行情感编程开发恶意软件

随着从准开发者到六岁儿童都在使用情感编程技术，犯罪分子同样喜欢自动化编码工具也就不足为奇了。

Palo Alto Networks Unit 42高级咨询总监Kate Middagh在接受采访时表示："每个人都在问：情感编程是否被用于恶意软件？现在的答案很可能是肯定的。"

对于防护者来说，好消息是AI模型即使被要求编写勒索软件时也会犯错误，这意味着通过情感编程的攻击可能失败。

目前我们合作的组织中，只有大约一半对AI使用有任何限制

与任何新兴技术一样，AI辅助编程引入了许多安全漏洞，包括企业开发团队可能加速工作到安全团队无法匹配的速度。

还存在智能体和系统访问和泄露不应接触数据的风险，以及提示和内存注入攻击等风险。

犯罪分子或政府支持的黑客团队使用大语言模型编写恶意软件或策划整个攻击的风险也在增加，虽然这些仍需要人工参与，但最坏情况正越来越接近现实安全事件。

为帮助企业更好管理这些风险，Palo Alto Networks开发了名为"SHIELD"的情感编程框架，旨在在整个编程过程中设置安全控制。Middagh领导Unit 42的AI安全服务业务，她与同事共同撰写了关于SHIELD框架的博客文章。

"我们合作的组织中，只有大约一半对AI使用有任何限制，"她说。

恶意软件中的情感编程证据

Middagh和她的Palo Alto同事无法总是确定开发者是否使用情感编程平台创建恶意软件。一些代码通过包含水印来证明代码是由Cursor、Replit、Claude或其他AI工具生成的，这使识别变得容易。

她不会透露哪种工具最受犯罪分子欢迎，但确实指出他们正在使用"多种"产品，"考虑到情感编程平台的普遍流行度，你可以根据各平台的受欢迎程度进行推断。"

Palo Alto的网络风险咨询团队还看到了"环境中一系列不同模式"，这些模式表明使用编程平台开发恶意软件。其中一个强有力的证据是恶意软件开发者直接在代码中编写对大语言模型的API调用。

"在恶意软件本身中，有对OpenAI或其他平台的API调用，询问如何生成恶意软件，如何生成社会工程邮件使其听起来合法，"她解释说，这是"他们在恶意软件开发过程中使用这些大语言模型的直接和无可争议的证据。"

攻击者还将大语言模型用于Middagh称为"安全剧场"的目的。这是看起来能产生有效攻击的代码，但由于各种原因无效，包括未针对特定环境定制。"它具有有效攻击的外观，但如果你再深入挖掘一点，你会发现：'等等，这实际上没有意义。'"

这包括"悬空攻击策略"，其中大语言模型会生成规避技术。"但该规避技术与我们通常看到的现代恶意行为者不符，或者是从未在环境中实际实施的规避技术，只是对大语言模型API调用的副产品。"

在一起事件中，Unit 42记录了通过标准API发送给OpenAI GPT-3.5 Turbo的提示，要求模型"为数据提取工具生成简单的规避技术，仅返回技术名称，最多三个词，有助于避免检测。"提示包括这些示例："随机延迟、进程欺骗、内存混淆。"

按照指示，大语言模型返回了技术名称，但大语言模型只登录到受害者桌面，并未实施规避技术。"它只是为了展示和纯粹的日志记录而出现，"Middagh说。"可能有方法让这个工作，但从未在环境中适当实施。"

AI幻觉影响勒索软件

幻觉仍然是AI的常见缺陷，即使勒索软件开发者也感受到这种痛苦。

感染受害者机器后，勒索者会在桌面留下readme文件，通常命名为"readme.txt"，包含勒索记录和金钱要求。

"我们看到幻觉实例，大语言模型会将其称为'readme.txtt'，"Middagh说。"这是威胁行为者永远不会犯的错误，这就像勒索软件101。但我们现在看到的是他们行动太快，在验证或检查方面做得不多，这些事情就发生了。"

攻击者不是唯一使用缺乏人类情境意识、优先考虑功能而非安全的AI模型时犯错误的人。

大多数允许员工使用情感编程工具的组织也没有对这些工具进行正式风险评估，也没有监控输入和输出的安全控制。

SHIELD框架应对风险

"如果你是企业，有几种方法可以控制和解决情感编程的风险，"Middagh说。第一步涉及将最小权限和最小功能原则应用于AI工具，就像对人类用户一样，只授予完成工作所需的最小角色、职责和权限。

"每个人都对使用AI和让开发者更快工作感到兴奋，这种最小权限和最小功能模型完全被抛到一边，"Middagh说。

接下来，她建议限制使用一个员工可以使用的对话式大语言模型，并在防火墙处阻止所有其他AI编程工具。对于确实需要在环境中使用情感编程工具的组织，"前进的道路是SHIELD框架，"Middagh说。

Q&A

Q1：犯罪分子如何使用AI进行恶意软件开发？

A：犯罪分子在恶意软件代码中直接编写对大语言模型的API调用，询问如何生成恶意软件和社会工程邮件。他们使用多种AI编程平台，包括Cursor、Replit、Claude等工具来辅助开发恶意代码。

Q2：AI生成的恶意软件有什么缺陷？

A：AI模型会产生幻觉和错误，比如将勒索软件的readme文件错误命名为"readme.txtt"，或生成看似有效但实际无效的"安全剧场"代码。这些都是威胁行为者通常不会犯的基础错误。

Q3：企业如何防范AI辅助的网络攻击？

A：企业应该采用SHIELD框架，对AI工具应用最小权限和最小功能原则，限制使用单一对话式大语言模型，在防火墙处阻止其他AI编程工具，并建立监控输入输出的安全控制机制。