江苏
关键词
人工智能
近日，一项名为“沉浸式世界”（Immersive World）的突破性技术引发了广泛关注。这项技术由Cato CTRL威胁情报研究人员开发，旨在通过虚构的叙事环境，绕过主流大型语言模型（LLM）的默认安全控制，迫使AI生成功能完整的恶意软件。
“沉浸式世界”如何突破AI防护？
核心方法在于为生成式AI工具（如DeepSeek、微软Copilot和OpenAI的ChatGPT）构建一个详细的虚构场景，赋予其特定角色和任务。通过这种叙事操控，研究人员成功让这些AI生成了一款能够窃取Google Chrome登录凭证的恶意软件。
Cato Networks表示：“即使是没有恶意软件编码经验的研究人员，也能利用这一技术，成功‘越狱’多个LLM，并创建出完全可用的Chrome信息窃取工具。”这一发现暴露了生成式AI提供商在安全防护上的重大漏洞，表明现有的防护措施极易被绕过。
Cato Networks威胁情报研究员Vitaly Simonovich指出：“随着生成式AI工具的普及，恶意软件的创建门槛大幅降低。这类‘零知识威胁者’的崛起，对组织构成了极高的风险。”
科技公司反应不一，AI安全挑战加剧
研究团队已将相关发现告知受影响的AI提供商。微软和OpenAI已确认收到信息，但DeepSeek未作回应。更令人关注的是，尽管研究人员提供了生成的恶意代码供审查，但谷歌却拒绝了这一请求。这种不统一的应对态度，凸显了当前在应对AI工具威胁时的复杂性。
AI“越狱”技术早已显现隐患
虽然LLM技术相对较新，但“越狱”技术已随之迅速发展。2024年2月的一份报告显示，DeepSeek-R1 LLM未能阻止超过50%的“越狱”攻击。而2023年9月，SlashNext的研究人员也成功“越狱”多个AI聊天机器人，使其生成钓鱼邮件。
如何应对AI安全威胁？
Cato Networks发布的《2025 CTRL威胁报告》强调了制定主动、全面的AI安全策略的紧迫性。建议措施包括：
构建可靠数据集：通过预期的提示和响应测试AI系统。
定期进行AI红队测试：发现漏洞和其他安全问题。
明确免责声明和使用条款：告知用户正在与AI交互，并定义可接受的行为以防止滥用。
随着生成式AI的普及，确保其安全使用已成为当务之急。无论是科技公司还是用户，都需提高警惕，共同应对这一新兴威胁。
来源： https://hackread.com/ai-jailbreak-on-top-llms-to-create-chrome-infostealer/
安全圈
网罗圈内热点 专注网络安全
实时资讯一手掌握！
好看你就分享 有用就点个赞
支持「安全圈」就点个三连吧！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
