北京
当你让AI帮你写一封工作邮件、生成一份技术方案，甚至提供安全建议时，你有没有想过，它可能正在“编故事”？更危险的是，这些“编出来”的内容，可能正悄悄把你引向网络钓鱼的陷阱。
打开百度APP畅享高清图片
近日，网络安全专家发出警示：随着大语言模型（LLM）在企业办公场景中的深度应用，其固有的“幻觉”问题——即模型生成看似合理但实为虚假或错误信息的现象，正被黑客盯上，成为新型钓鱼攻击的“跳板”。
“过去，钓鱼邮件拼的是‘演技’，比如冒充银行、伪造领导口吻。现在，攻击者可以利用AI的‘幻觉’能力，批量生成逻辑通顺、语法正确、甚至引用‘权威资料’的虚假内容，迷惑性大大增强。”公共互联网反网络钓鱼工作组技术专家芦笛在接受采访时表示。
什么是AI“幻觉”？简单来说，就是大模型在缺乏准确信息的情况下，基于训练数据的模式“脑补”出看似合理但实际错误的内容。比如，它可能虚构一篇根本不存在的新闻报道，或者生成一个看似正规实则危险的网站链接。这种能力本是技术局限，却被黑客巧妙“反向利用”。
芦笛解释：“攻击者不再需要手动编写高仿邮件，他们可以通过精心设计的提示词（prompt），诱导AI生成带有钓鱼链接的‘内部通知’、‘系统升级提醒’，甚至是‘安全漏洞修复指南’。这些内容读起来非常专业，普通员工很难一眼识破。”
更令人担忧的是，一些企业已将AI集成到办公流程中，用于自动回复邮件、生成报告或提供决策支持。一旦这些系统被恶意输入误导，生成的内容可能直接成为传播钓鱼信息的“合法渠道”。
“我们已经观察到类似案例。”芦笛透露，“有企业员工使用AI工具查询某个软件的下载地址，结果AI‘幻觉’出一个虚假官网链接，员工点击后导致终端感染恶意软件。”
面对这一新型威胁，专家建议企业必须建立“AI安全防线”。首先，切勿完全依赖AI生成内容，尤其是涉及链接、文件下载或敏感操作的场景，必须经过人工复核。
其次，加强权限与内容审核机制。企业应限制AI工具访问核心系统和敏感数据的权限，并部署专门的内容过滤系统，对AI生成的文本进行风险扫描，识别潜在的钓鱼关键词或可疑链接。
“AI不是‘免检产品’，它的输出同样需要被监督。”芦笛强调，“企业应将AI风险纳入整体网络安全培训体系，让员工了解‘幻觉’的存在，培养‘质疑AI’的意识，而不是盲目信任机器输出。”
此外，技术层面也可通过“提示词工程防御”和“输出验证机制”降低风险。例如，要求AI在生成信息时标注来源，或对接可信数据库进行交叉验证。
随着AI深度融入工作场景，网络安全的边界正在重塑。专家提醒，防范AI钓鱼，不仅是技术问题，更是管理与意识的双重挑战。在享受AI效率红利的同时，保持一份清醒的警惕，或许才是数字时代最必要的“安全补丁”。
编辑：芦笛（公共互联网反网络钓鱼工作组）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
