众所周知,DeepSeek自发布DeepSeek-R1模型后,其热度一直不减,主要表现在诸多企业纷纷接入DeepSeek,这之中尤以国内企业为甚,颇有千行百业皆DeepSeek的感觉。尤其是电信、交通、金融等这些高风险行业的企业也在短时间内加入到了接入DeepSeek的行列,如此之快,如此之多,让我们不得不冷静下来重新审视和思考这背后的隐忧。
幻觉与安全漏洞并存,DeepSeek表里皆藏隐患
不可否认,国内企业皆DeepSeek让我们甚是欣喜,但随着DeepSeek不仅在中国,甚至是全球的走红,其表里的隐患也逐渐显露出来,并通过过多的幻觉和安全漏洞的形式表现出来,而这些无疑为国内皆DeepSeek的企业,在争做弄潮儿的同时,也敲响了警钟。
提及幻觉,近日,国外一视频网站博主通过设定,让DeepSeek和ChatGPT进行了一场国际象棋对弈,最终DeepSeek凭借所谓的“更新比赛规则”、“作弊”等手段赢下了ChatGPT而再次重燃业内对于DeepSeek的热度,尤其是国内,更是片面地认为,DeepSeek超越了ChatGPT。
俗话说:内行看门道,外行看热闹。对此有业内人士称,两个大模型在后期残局都出现了幻觉,包括并不限于凭空出现棋子、越过棋子移动、自己吃自己等,并不存在Deepseek主动欺骗对方的情况,什么“告知对方规则修改”更是子虚乌有。最终的结论是即使最先进的LLM还是存在明显幻觉,只是DeepSeek产生的幻觉比ChatGPT要多得多。而所谓的幻觉(hallucinations)是指在大型语言模型(LLM)中是指AI模型生成的与现实不符、完全虚构的信息或内容。从这个专业的角度看,我们认为反而是DeepSeek产生过多的幻觉在实际的应用中隐患更大。
说完了幻觉,咱们再看安全漏洞。“在DeepSeek应用于商业应用之前,企业可能需要三思而行,因为它未能通过6400项安全测试,表明该模型普遍缺乏防护”,这是AppSOC研究人员对DeepSeek-R1大型语言模型 (LLM) 的一个版本进行严格测试后得出的结论。
测试结果表明,该模型在多个关键领域都存在问题,包括越狱、即时注入、恶意软件生成、供应链和毒性等,失败率在19.2%到98%之间。
值得注意的是,失败率最高的两个领域是用户使用该模型生成恶意软件和病毒的能力,这既给攻击者带来了巨大机会,也给企业用户带来了重大威胁。测试表明,DeepSeek 有98.8%的时间(研究人员称之为“失败率”)创建恶意软件,有86.7%的时间生成病毒代码。
对此,AppSOC 联合创始人兼首席科学家Mali Gorantla表示,在安全指标方面如此惨淡的表现,意味着尽管开源且价格更实惠的DeepSeek有望成为GenAI的下一个重大突破,但不应考虑在企业中使用该模型的当前版本。
无独有偶,思科博客(Cisco Blogs)近期发布了一篇题为《Evaluating Security Risk in DeepSeek and Other Frontier ReasoningModels》的文章,介绍了RobustIntelligence (一家AI安全公司,现已被Cisco收购) 与宾夕法尼亚大学的AI安全研究人员的合作研究成果。
该研究团队使用了算法越狱技术(algorithmic jailbreaking techniques),并采用了HarmBench 数据集中的50个随机提示,对DeepSeek-R1模型进行了安全评估(注:HarmBench数据集是AI安全领域常用的基准测试数据集,用于评估模型在面对有害行为提示时的安全性能),结果发现,DeepSeek-R1模型的攻击成功率达到了100%。
这意味着在所有50个有害提示下,模型都未能阻止有害输出。而这与前述AppSOC报告中指出的DeepSeek-R1模型越狱失败率高达91%的结论高度吻合,有力地验证了DeepSeek-R1模型在越狱漏洞方面的严重缺陷。
究其原因,该研究认为,DeepSeek-R1模型缺乏强大的安全护栏 (robust guardrails),使其极易受到算法越狱和潜在的恶意利用。为此该研究报告呼吁AI开发领域迫切需要进行严格的安全评估,以确保效率和推理能力的突破不会以牺牲安全为代价,而这也与前述AppSOC报告中强调的AI安全重要性和企业部署AI需要优先考虑安全性的观点不谋而合。
又如Endor Labs,一家提供软件供应链安全解决方案的公司的名为《DeepSeek R1: What Security Teams Need to Know》的博客文章,虽然没有提供具体的测试数据,但其高度关注DeepSeekR1模型的安全风险,并建议企业进行 “仔细评估和持续监控”,这间接地印证了AppSOC和Robust Intelligence等机构提出的安全担忧,并进一步强调了企业在采用DeepSeek R1等模型时,必须将安全风险放在首位。
最后是HiddenLayer,一家专注于AI模型安全的公司发布的《DeepSh*t:Exposing the Security Risks of DeepSeek-R1》报告,直接点明了DeepSeek-R1模型的安全风险。
该报告虽然没有详细描述具体的测试方法,但列出了多种漏洞类别,例如提示注入 (Prompt Injection)、不安全输出处理(Insecure Output Handling)、模型拒绝服务(Model Denial of Service)、敏感信息泄露(Sensitive Information Disclosure)、过度代理(Excess Agency)、过度依赖(Overreliance)等。而这些漏洞类别与AppSOC报告中提到的越狱、提示注入、恶意软件生成、毒性、幻觉等风险维度,存在一定的概念重叠和关联性,揭示了DeepSeek-R1模型在多个安全维度上存在的漏洞,并成功进行了漏洞利用演示 (Successful Exploit)。虽然没有给出具体的失败率数值,但其报告的标题和内容都强烈暗示DeepSeek-R1模型存在严重的安全风险,与AppSOC的评估结果方向一致。
综上,在我们看来,Robust Intelligence (Cisco旗下安全公司)、宾夕法尼亚大学、HiddenLayer、Endor Labs等机构在AI安全或网络安全领域都具备一定的专业性和权威性。这些机构的独立研究和分析结果,增强了AppSOC报告的可信度。
隐患变现实,亡羊补牢为时已晚
如上述,DeepSeek确实存在过多的幻觉和安全漏洞隐患,那么问题来了,这些隐患一旦进入企业,落实到现实的应用中会带来怎样的后果呢?
以电信运营商为例,DeepSeek模型如果幻觉问题严重,在电信运营商的实际应用中,会产生多方面、多层次的负面影响和后果,涵盖客户服务、网络运维、营销推广、业务决策、内部运营等多个关键业务领域。这些负面影响不仅会降低运营效率、增加运营成本,更可能损害客户满意度、品牌声誉,甚至引发法律和监管风险。
例如在网络运维中,如果DeepSeek支持的网络运维系统幻觉性地预测某个基站即将发生严重故障,并建议立即进行停机检修。但实际上该基站运行正常,只是监控数据出现异常波动,运维团队按照幻觉信息执行了停机操作,反而造成了该区域的网络服务中断,影响了用户体验,并浪费了运维资源。
至于安全漏洞,由于DeepSeek在安全性测试中表现出极高的攻击成功率,它容易生成恶意代码和病毒。而电信运营商的核心系统如果受到这种攻击,可能会导致网络服务中断、用户数据泄漏,甚至整个通信网络的瘫痪。例如,黑客可能通过DeepSeek生成的恶意软件攻击电信网络的基站、核心交换机或用户终端设备,从而导致大规模的服务中断。
又如目前在国内新能源车企业竞相追逐的自动驾驶领域,DeepSeek模型的过多幻觉和安全漏洞可能带来极其严重的负面影响和后果,甚至直接威胁到乘客安全、道路安全和社会公共安全。
以DeepSeek的过多幻觉为例,如果DeepSeek被用于自动驾驶决策支持系统,其生成的幻觉和不准确的信息可能会导致系统出现错误决策。比如,模型可能生成错误的交通场景分析或错误的车道选择,从而导致自动驾驶汽车做出错误的操控决策,甚至发生交通事故。又如,幻觉可能导致模型错过或误判路面障碍物、交通信号等,极大影响自动驾驶的安全性。
需要说明的是,由于自动驾驶直接控制着车辆的行驶,任何感知或决策错误都可能迅速转化为现实世界的危险。
而在安全漏洞方面,以我们前述的DeepSeek模型安全漏洞中的越狱漏洞为例,攻击者可能利用DeepSeek模型驱动的自动驾驶系统的越狱漏洞,绕过安全机制,向系统发送恶意指令,远程控制车辆的驾驶行为,例如,在高速公路上被远程强制急刹车,可能导致后方车辆追尾,造成连环交通事故,造成生命和财产损失。
最后是金融领域。DeepSeek模型的过多幻觉和安全漏洞同样会带来显著的负面影响和后果,甚至可能导致金融机构的重大经济损失、声誉受损、客户信任危机,以及违反监管合规等。
以过度幻觉为例,金融公司可能使用DeepSeek来进行市场分析、投资决策支持、信用评估等任务。然而,由于 DeepSeek存在严重的幻觉问题,可能生成虚假或不准确的市场趋势预测和投资建议,导致错误的财务决策。例如模型可能错误地预测某个资产的价格波动,或错误评估某个公司的信用风险,导致企业在投资决策中损失巨大。
至于安全漏洞,以我们前述的DeepSeek提示注入攻击被利用为例,攻击者可以借此攻击金融机构内部使用的基于DeepSeek模型的交易、风控和清算系统等,操纵这些系统的运行,篡改交易数据,或者进行非法的交易操作。
需要说明的是,我们之所以以通信、交通(例如目前炙手可热的自动驾驶)、金融的应用场景为例,是因为它们均属于关系到国计民生的关键基础设施和服务,在大模型中被视为高风险行业或对象,这些无疑对于其自身的安全性提出了更高的要求。
防患于未然,DeepSeek与接入企业的双向奔赴
当然,我们并非就此认为DeepSeek不重视安全,只是我们很少看到公开的有关DeepSeek在安全方面有何举措的报告或者报道。所以我们只能秉承“他山之石可以攻玉”的心态,来看看别人家在安全方面是如何做的,以供业内了解。
我们先以闭源的OpenAI为例,其模型在上线前,有很大的团队专门围绕安全性测试做工作,每个版本上线之前,安全测试都要花费数百万美元。据称其最新的O3 mini版本的相关安全测试就花费了三百多万美元。
此外,还有很多第三方公司与OpenAI合作,包括诸多安全团队、帕洛阿尔托网络公司等业内知名的AI安全团队和企业。另外,OpenAI还会请很多第三方各领域的专家进行评测,由他们组成红队对系统进行攻击,以评价模型的可靠性和安全性。有兴趣的可以到其OpenAI Safety官网查看,其详细描述了OpenAI在安全方面的测试,涵盖了危险建模、风险评估、各种有毒数据的侵入等诸多方面,这里不再赘述。
再看与我们的DeepSeek同为开源的Meta,则是公开了其内部开发和发布AI模型的流程,旨在停止开发风险极高的AI系统,并提出了开源AI模型发布后的监控方法。该流程分为三个阶段:计划阶段、评估和缓解阶段以及决策阶段,确保在每个步骤中对风险进行有效监控和管理。Meta通过严格的治理方法,保障AI技术的安全性和可靠性,推动负责任的AI发展。
以评估和缓解阶段为例,在此阶段,Meta就会实施严格的安全测试程序,包括但不限于对抗样本攻击检测、数据泄露防护以及系统漏洞扫描等。通过对AI系统的全方位安全检查,Meta确保其具备足够的防御能力,抵御来自外部的各种威胁。例如,在一次针对自然语言处理模型的安全测试中,Meta发现某些特定输入可能会导致模型输出异常结果。针对这一问题,他们迅速调整了模型架构,并增加了额外的安全层,有效防止了类似情况的发生。而正是这种持续的安全监控机制,使得Meta的AI系统能够在复杂多变的网络环境中保持稳健运行。
相比上述OpenAI和Meta,鉴于目前DeepSeek较高的安全隐患,无论是现在还是将来,其都需要在技术、安全性、合规性等方面做出更大努力,并增加对模型的优化、测试、监控等技术和机制的持续投入才行。
除了DeepSeek自身外,作为接入DeepSeek的相关企业,也需要采取一系列的安全防护、数据保护、合规性和业务管理措施。从加强输入输出审查到数据加密保护,从安全性测试到合规审查,企业应当在各个环节中落实安全防护和管理责任。特别是在面对DeepSeek存在的幻觉问题和安全脆弱性时,需要细化安全措施,确保其服务的稳定性和用户数据的安全性,避免由模型的缺陷引发的安全漏洞、合规问题和业务决策失误。而这些都需要不菲的成本投入。
我们这里以接入DeepSeek的AWS和微软为例,它们通过使用安全防护工具、数据安全与隐私保护、模型安全评估与测试、合规性与责任AI、监控与应急响应等多种综合手段来保证接入DeepSeek的安全。
例如在使用安全防护工具方面,AWS提供了BedrockGuardrails工具,可以独立评估用户输入和模型输出,过滤不良内容。通过定义安全策略,可以控制用户与DeepSeek-R1模型的交互,防止生成有害内容;在模型安全评估与测试方面,部署前,Azure AI Foundry对DeepSeek-R1模型进行了红队测试和安全评估,以降低潜在风险;在监控与应急响应方面,通过云平台提供的监控工具,实时监控DeepSeek-R1模型的使用情况,及时发现异常行为,同时制定应急响应计划,以便在发生安全事件时能够迅速采取措施,减少损失。
总之,作为大模型的提供者和接入者,唯有在安全方面的双向奔赴才能做到防患于未然,才能最大化、持久化AI的使能。
写在最后:中国有句俗话:心急吃不了热豆腐。那么问题来了,针对目前国内企业皆DeepSeek的热潮,我们真的准备好了吗?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.