AIGC安全研究报告:97%的应用在部署内容安全机制下,仍会生成风险内容

（原标题：AIGC安全研究报告:97%的应用在部署内容安全机制下,仍会生成风险内容）

人工智能技术在推动科技向星辰大海探索的同时,也在挑战一系列颠覆现有认知之外的伦理、内容、数据安全问题,AIGC安全风险迫切需要对症解决。

6月9日,AIGC安全实验室、博特智能、创业黑马联合发布了首份《AIGC安全研究报告》(以下简称“安全报告”),从AIGC框架安全、内容安全、数据安全三大维度全面介绍了当前生成式人工智能带来的新型数据泄露、赋能网络攻击及内容滥用的风险问题。

随着人工智能技术的持续进化和AI大模型的迅速落地,AIGC(Al-Generated Content)技术得到深度应用,在提高生产效率,降低制作成本,同时满足不同客户个性化需求方面得到广泛认可和追捧,目前已在写作、视频、音乐、绘画等领域多点爆发。

生成式AI服务的大规模出现,同时也让数据真实性、内容合规性、漏洞病毒攻击,以及伦理问题遭到空前挑战。AIGC时代,我们该如何进行安全合规治理?

近日,高层会议也为AIGC安全治理指明了方向,由中央国家安全委员会审议通过了《加快建设国家安全风险监测预警体系的意见》、《关于全面加强国家安全教育的意见》等文件。会议强调,要提升网络数据人工智能安全治理水平、加快建设国家安全风险监测预警体系、推进国家安全法治建设、加强国家安全教育等方面工作。

在此期间,博特智能AIGC安全实验室对市面上9大领域主流AIGC应用进行了抽样评测(应用类型涵盖Al聊天、Al写作、Al绘画、Al图像、Al文案、Al设计、Al办公、Al音频和Al视频)。《安全报告》指出,此次评测结果发现97%的应用已经部署内容安全机制,能够对中文提示词和违规内容进行拦截过滤,但通过提示词调整(例如,采用英文提示词或其他描述方式),99%的AIGC应用仍然会生成违规内容。此外,评测数据显示传统的Al内容识别方式对AIGC内容识别率大幅度降低,尤其在Al写作内容的真实性和Al图像二次创作后的违规识别上表现更为突出。

此次评测依据国家网信办4月11日颁布的《生成式人工智能服务管理办法(征求意见稿)》,采用定量注入“负样本特征提示词”方式,对被测应用的内容安全机制是否健全和生成内容是否违规进行检测。违规内容包括:敏感信息、有害信息、不良信息和虚假信息4大类。

此次发布的《AIGC安全研究报告》也对AIGC数据泄露、数据污染、数据合成等10种技术攻击手段以及面临的多重安全风险进行了详细阐述。如模型算法攻击挑战;数据非法获取、敏感信息、数据泄露及恶意滥用等数据安全问题;AIGC可能带来数据伪造的风险;AIGC可能带来的“数据投毒”风险问题。

当前,生成式人工智能(AIGC)技术也在助推网络安全行业的发展。以ChatGPT 为代表的生成式人工智能(AIGC)技术快速演进迭代。从攻击者的角度来看,恶意攻击代码和钓鱼攻击变得“唾手可得”,大大降低了网络犯罪的门槛,同时加剧了数据泄露以及个人隐私泄露等问题。而从防御者的角度来看,生成式人工智能(AIGC)技术浪潮又加快了安全知识与经验的大规模复制速度,提升了安全代码生成、智能研判等领域的实现效率,且为数据安全防护的实现路径提供了新的解决思路。在“矛”与“盾”角逐中,对人工智能领域的安全规范化监管要求也迫在眉睫,从而催生了涵盖生成式人工智能(AIGC)内容鉴伪、安全评估与咨询服务等为代表的一系列AI安全治理相关的全新市场机遇。

值得关注的是,在AIGC领域专业的安全产品还非常少。今年3月,微软推出的Microsoft Security Copilot,也是目前市面上唯一一个生成式Al安全产品。

作为国内首个 AIGC 领域空间安全测绘研究实验室——博特智能 AIGC 安全实验室旨在为AIGC技术构建安全边界,立足于网络空间安全领域,通过开展创新性前沿研究,为互联网用户、技术开发者和监管部门提供安全监测情报与解决方案。

AIGC应用安全评测解决方案

以30万+违规线索库和提示词生成模型为基础,对AI应用回答的图片、文字、视频进行审核。检测范围包括涉政涉暴、涉敏感人物、涉黄、信息安全等内容,以及AI应用严谨的思维以及认知是否符合道德标准、遗漏的屏蔽词和屏蔽词的变形体、数据质量、数据来源和数据的准确性。

AIGC内容安全合规解决方案

AIGC内容风控解决方案是一种致力于处理AI赋能内容产生过程中的版权、内容审查和合规性难题的工具。无论是内容生成、社交媒体管理,还是音视频制作等多样化的应用场景,都能找到其应用之处。此方案能帮助AIGC产品开发商、服务提供方进行有效的内容审查,精细化管理训练数据,提升内容生成的透明度和解释性,并确保所有内容严格遵守各项法规,符合监管要求。通过AIGC内容风控,可以有效降低合规风险,提升内容质量,增强公众的信任度,使产品和服务更具价值。

《AIGC安全研究报告》更多研究内容,请到AIGC安全实验室官网进行全文下载。