专家解读｜从标识到鉴伪：AI生成合成内容治理的技术防线与社会共治

　　随着大模型等生成式人工智能技术的快速发展，生成内容质量显著提升、生成速度明显加快、适用场景大幅扩展，人工智能产业走深向实，逐步进入了规模化应用阶段。生成合成技术开始呈现工具化和普及化趋势，普通人都可以轻松地接触到各种生成合成工具。与此同时，各种安全问题也随之显现，譬如用AI生成虚假信息、AI换脸明星直播带货、AI实时换脸诈骗等违规甚至违法的事件频发。

　　为规范人工智能技术服务应用，维护国家安全和社会公共利益，国家互联网信息办公室会同多部门发布的《人工智能生成合成内容标识办法》（以下简称《标识办法》），秉持兼容并蓄的理念，通过技术手段管理技术问题，探索科学高效的治理手段。

　　 一、人工智能走深向实，安全治理进入“深水区”

　　近期随着人工智能应用技术里程碑式的突破，生成式人工智能应用呈现爆炸式增长，同时也出现了各类AI技术滥用现象频发。两会期间多名代表、委员提交议案和提案呼吁，要对AI生成内容进行规范和治理，人工智能安全治理已从危害探讨进入到实际执法的深水区。

　　一是生成合成内容质量显著提升，普通民众难以辨识真伪。当前大模型能够生成高真实感的文本、人像、场景、音频，普通民众不借助检测工具已经很难辨别内容真伪。二是生成合成数据规模快速增长，传统安全治理体系面临挑战。随着生成式人工智能技术在各个行业落地应用，生成合成内容的数据规模快速增长，对生成内容进行全面检测成本太高，需要技术和政策结合才能实现高效治理。三是生成合成内容适用场景大幅扩展，助长欺骗场景多样化。由于技术成熟程度的局限，以前的伪造内容主要针对人脸区域。随着生成技术的突破，已经可以实现高逼真的场景和动作生成，以及换脸变声视频的实时生成，各种新型的诈骗场景让民众防不胜防，急需出台相关的治理办法。

　　 二、《标识办法》开拓主动防御、全民共治的新局面

　　《标识办法》从内容标识的关键环节入手，以主动防御、行业自主的方式构建全流程的规范要求，有效应对炮制虚假信息等误用、滥用生成合成技术的行为。

　　一是制作平台主动标识。《标识办法》要求提供人工智能生成合成内容制作服务的服务提供者在其制作内容中添加不影响用户使用的隐式标识，并在可能导致公众混淆或者误认的生成合成内容的合理位置、区域添加显式标识。在生成合成内容制作源头进行提醒提示。二是传播平台主动检测。《标识办法》明确提供网络信息内容传播服务的服务提供者，主动核验待发布文件元数据中是否含有隐式标识，判断用户的声明内容，采用技术手段检测发布内容中是否包含显式标识或其他生成合成痕迹，并采取适当措施在发布内容周边添加显著的提示标识，在生成合成内容传播路径进行提醒提示。三是应用程序分发平台主动核验。《标识办法》第七条要求互联网应用程序分发平台在应用程序上架或上线时，核验提供人工智能生成合成服务应用程序的标识相关材料，在应用程序分发阶段落实标识管理要求。四是网民用户主动声明。《标识办法》第十条要求用户在发布信息内容时，主动声明发布内容的生成合成属性，并使用服务提供者提供的标识功能添加必要的内容标识，在生成合成内容的发布阶段进行规范要求。

　　 三、《标识办法》推动鉴伪技术与时俱进、对抗升级

　　《标识办法》提出了明确的标识管理要求，标识数据可为鉴伪模型提供丰富多样、来源广泛的高质量训练样本，从而推动鉴伪技术与时俱进地迭代升级，及时适应人工智能技术的高速发展进步。

　　一是加快数据层面的生态闭环。《标识办法》联动标识技术规范与鉴伪治理手段，一方面高质量的训练数据可以显著提高鉴伪模型的能力和效果，另一方面，多样化的带标业务场景可以全面验证鉴伪系统能力，从而实现数据层面“生成-标识-检测”的生态闭环，进一步推动基座化伪造检测能力的构建。二是促成多模态鉴伪的功能跃迁。《标识办法》明确了文本、图片、音频、视频等多种模态的标识方法，显著提升用户对各模态生成内容感知能力的同时，也为多模态鉴伪提供了视觉锚点，加速了高质量多模态数据集构建。通过多模态特征对齐、动态对抗训练等技术方法，进一步提高了多模态内容的鉴伪能力，增强鉴伪能力的泛化性和适用性。三是推动伪造溯源的技术突破。元数据隐式标识中的平台编码与内容编号构成溯源链路，支持通过元数据快速定位违规内容来源，助力伪造溯源技术的能力突破，从而实现更加精准地检测识别和技术应对。

　　 四、深度配套标识实施，建议加快鉴伪能力推广普及

　　面对人工智能生成合成技术不当应用导致的内容安全风险，《标识办法》构筑了全面深入的管理阵地。同时还应该配套打造与时俱进的鉴伪技术防线，融合运用管理手段和技术应对，协同推进行业自律和全民监督的社会治理体系。

　　一是构建基座化鉴伪底座模型，提升泛化适用性能。大模型生成技术迭代更新很快，平均两个月就会出现新的里程碑模型，提升针对新生伪造方法的泛化能力至关重要，需要摒弃“来一个打一枪”的事后思维，构建AI鉴伪底座模型，加强鉴伪模型的泛化适用性能，以大模型对抗大模型。二是研究精准化对抗鉴伪技术，防范恶意逃避风险。针对金融诈骗、虚假信息等强对抗、高风险犯罪，造假者会通过内容压缩、隐蔽投毒等各种手段逃避标识义务和伪造检测，这就需要在施加对抗意图和手段的条件下保证高精度专项检测能力，针对性地提升检测效果。三是降低对无害生成内容传播的影响，兼顾生成内容应用的发展与治理。从技术层面来说，正向应用和违法犯罪应用依赖的算法、模型本质上没有区别，因此需要从大量无害生成内容中精准识别有害伪造内容，保障无害内容正常传播的权利。四是打造全民化伪造检测工具，推动人人可用鉴伪。全民监督的社会共治，要加大科普力度，提高民众对生成式人工智能的认识，同时向民众提供易用的鉴伪服务，为普通用户在身份验证、信息鉴定等日常生活场景中及时发现伪造内容提供便利，形成全民共治管理效能，全面保障公民隐私和财产安全。

作者：曹娟　中国科学院计算技术研究所数字内容合成与伪造检测实验室主任，研究员

来源：“网信中国”微信公众号

▌版权声明：版权归原作者所有，仅供学习参考之用，如有异议，请联系本公众号内容核实后删除。谢谢！

▌咨询热线：010-62168489 QQ：4006570518

此文也许正是别人所需要的！谢谢分享