为人工智能上紧法律“安全带”——上海两会聚焦生成式AI风险呼吁构建防护网

《上海法治报》近期连续刊发的关于人工智能“幻觉”现象的报道，在正在召开的上海两会上激起回响。当AI技术发展步入“狂飙”车道，深度伪造、虚假信息、数据安全等新型风险已真切照进现实，而法律法规与治理手段的“追赶”却显得吃力。

如何填补这道“时差”，构筑起与发展相匹配的安全屏障，成为两会中备受关注的核心议题之一。代表呼吁，坚持发展与安全并重，加快构建具有前瞻性、系统性的人工智能全域治理体系。

AI深度伪造产业化、虚假信息规模化

市人大代表詹婷婷

当前，人工智能带来的风险已非理论探讨，而是具体、可感的社会安全挑战。市人大代表詹婷婷敏锐地指出：“AI最大的问题在于它的进步速度非常快，大家使用它的门槛会越来越低。”她所提及的“换脸、换声音”工具泛滥，正是风险扩散化的一个缩影。

她梳理了当前AI面临的三大现实挑战。首先，深度伪造技术滥用已形成黑色产业链。相关技术不再局限于技术极客的“玩具”，而是被犯罪集团用于实施高精度、产业化的诈骗。例如，利用AI克隆企业高管声音与形象，远程指令财务转账的案例，直接绕过了传统的生物识别与流程风控，暴露出金融安全体系的新脆弱点。

其次，AI生成内容正规模化污染信息生态。“只要不是人亲眼看到的信息，都有可能是AI制作出来的。”詹婷婷表示，AI的发展大幅降低了编造谣言、制造社会恐慌或传播违法不良信息的成本与门槛。

再者，数据安全与市场秩序遭遇跨界冲击。企业内部员工因便利而误用公共AI模型，可能导致客户数据、商业机密等核心资产无意中外泄。更值得警惕的是，已有迹象表明，不法分子可能通过“污染”训练语料或定向投放虚假信息，试图影响大模型的输出结果，进而干扰股市等金融市场。

法规更新步伐要追上技术迭代速度

面对汹涌而来的新型风险，现有的治理框架显露出明显的“时差”与乏力感。“法律法规的更新建立尚未跟上。”詹婷婷代表直言不讳，“国家级的原则性规定虽已出台，但在具体落地执行、针对本地化新型案例的快速响应和细则补充上，仍需加快步伐。例如，对于高仿真度深度伪造内容的法定鉴定标准、平台“技术措施”应达到的具体安全等级、跨境数据训练引发的版权归属等问题，都亟待更清晰、更具操作性的法律解释与规范。

在监管层面，“事后封堵”和“单点防御”的传统模式已难以招架。“AI风险的生成速度快、传播范围广、隐蔽性强，往往在造成实质性危害后才发现并处置，防范成本高昂且效果有限。”詹婷婷说。

在技术标准层面，尽管已有《人工智能生成合成内容标识办法》等要求，但水印技术的防篡改能力、不同平台标识的互认互通、以及对于故意规避或破坏标识行为的有效监测与惩戒，仍需一套更坚实、更统一的技术标准与实施指南作为支撑。

使用者须为AI输出“最后把关”

市人大代表吕琰

在寻求技术监管与法律完善的同时，代表们将目光投向了更本质的问题：在人工智能的应用链条中，责任的“罗盘”最终应指向何处？市人大代表吕琰强调，无论AI如何发展，其本质是工具，“AI更体现技术为人所赋能”。

吕琰表示：“我们使用AI助手帮助工作，最终需要人进行审核，人是责任主体，需要承担审核责任。”

因此，对于提供“换脸”、“拟声”等深度合成服务的应用平台，必须严格落实“实名制”和“全留痕”管理，确保任何一次调用都能追溯到真实使用者，从源头遏制滥用。对于金融机构，则需升级风控规则，在高风险交易场景中强制引入“多模态生物识别”与人工二次核验流程，将人的判断作为关键安全节点。通过构建一个“权责清晰、层层把关”的责任体系，防止技术滥用后陷入问责无门的困境。

从技术防御到社会“免疫”

詹婷婷代表呼吁，应联合在沪科研机构与头部企业，“共同建立一个整体的主动防御平台中心，所有的服务必须有水印并且不能去除。”她建议依托上海市数据交易所等资源优势，共建市级AI内容安全检测中心，打造集监测、预警、溯源于一体的技术“雷达站”。强制沪产AIGC服务接入数字水印，实现生成内容“来源可溯、风险可控”。同时，在张江等AI高地试点“AI安全沙盒”机制，对高风险AI产品实行风险分级与“穿透式”评估。

同时，完善法治规范，织密“全链条”责任网络。詹婷婷认为，需建立健全适应AI特点的监管规则，督促平台落实算法安全评估主体责任，探索建立训练数据“合规交易”机制。针对反复违规者，应建立“黑名单”制度，依法从严处置，大幅提高违法成本。通过清晰的规则，为产业发展划定“安全车道”。

“面对跨界风险，必须打破部门壁垒。”詹婷婷建议多部门牵头，建立“AI安全风险联合监测中心”，共享风险特征库，实现对利用AI操纵市场、传播谣言等复合型风险的快速识别与联动处置。这要求建立更高层级的协同指挥与数据共享机制。

在她看来，要将AI安全与伦理教育全面纳入市民数字素养提升工程，在全社会构建起抵御AI风险的“心理免疫力”。

记者 | 陈颖婷 王葳然

摄影 | 王湧 沈媛

编辑 | 张俊学