网易首页 > 网易号 > 正文 申请入驻

警惕人工智能数据污染:0.01%虚假文本可使有害输出增11.2%

0
分享至

IT之家 8 月 5 日消息,国家安全部微信公众号今日发文称,当前,人工智能已深度融入经济社会发展的方方面面,在深刻改变人类生产生活方式的同时,也成为关乎高质量发展和高水平安全的关键领域。然而,人工智能的训练数据存在良莠不齐的问题,其中不乏虚假信息、虚构内容和偏见性观点,造成数据源污染,给人工智能安全带来新的挑战。

文章称,人工智能的三大核心要素是算法、算力和数据,其中数据是训练 AI 模型的基础要素,也是 AI 应用的核心资源。

  • 提供 AI 模型的原料。海量数据为 AI 模型提供了充足的训练素材,使其得以学习数据的内在规律和模式,实现语义理解、智能决策和内容生成。同时,数据也驱动人工智能不断优化性能和精度,实现模型的迭代升级,以适应新需求。
  • 影响 AI 模型的性能。AI 模型对数据的数量、质量及多样性要求极高。充足的数据量是充分训练大规模模型的前提;高准确性、完整性和一致性的数据能有效避免误导模型;覆盖多个领域的多样化数据,则能提升模型应对实际复杂场景的能力。
  • 促进 AI 模型的应用。数据资源的日益丰富,加速了“人工智能 +”行动的落地,有力促进了人工智能与经济社会各领域的深度融合。这不仅培育和发展了新质生产力,更推动我国科技跨越式发展、产业优化升级、生产力整体跃升。

文章称,高质量的数据能够显著提升模型的准确性和可靠性,但数据一旦受到污染,则可能导致模型决策失误甚至 AI 系统失效,存在一定的安全隐患。

  • 投放有害内容。通过篡改、虚构和重复等“数据投毒”行为产生的污染数据,将干扰模型在训练阶段的参数调整,削弱模型性能、降低其准确性,甚至诱发有害输出。研究显示,当训练数据集中仅有 0.01% 的虚假文本时,模型输出的有害内容会增加 11.2%;即使是 0.001% 的虚假文本,其有害输出也会相应上升 7.2%。
  • 造成递归污染。受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。当前,互联网 AI 生成内容在数量上已远超人类生产的真实内容,大量低质量及非客观数据充斥其中,导致 AI 训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力。
  • 引发现实风险。数据污染还可能引发一系列现实风险,尤其在金融市场、公共安全和医疗健康等领域。在金融领域,不法分子利用 AI 炮制虚假信息,造成数据污染,可能引发股价异常波动,构成新型市场操纵风险;在公共安全领域,数据污染容易扰动公众认知、误导社会舆论,诱发社会恐慌情绪;在医疗健康领域,数据污染则可能致使模型生成错误诊疗建议,不仅危及患者生命安全,也加剧伪科学的传播。

IT之家注意到,文章最后提出应对方案:

  • 加强源头监管,防范污染生成。以《网络安全法》《数据安全法》《个人信息保护法》等法律法规为依据,建立 AI 数据分类分级保护制度,从根本上防范污染数据的产生,助力有效防范 AI 数据安全威胁。
  • 强化风险评估,保障数据流通。加强对人工智能数据安全风险的整体评估,确保数据在采集、存储、传输、使用、交换和备份等全生命周期环节安全。同步加快构建人工智能安全风险分类管理体系,不断提高数据安全综合保障能力。
  • 末端清洗修复,构建治理框架。定期依据法规标准清洗修复受污数据。依据相关法律法规及行业标准,制定数据清洗的具体规则。逐步构建模块化、可监测、可扩展的数据治理框架,实现持续管理与质量把控。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别再把自己裹成球了!科学家发现:这种“微冷”状态,正在悄悄延长你的寿命

别再把自己裹成球了!科学家发现:这种“微冷”状态,正在悄悄延长你的寿命

爱医斯坦
2026-11-18 11:06:04
八国联军侵华,7个国家瓜分中国,唯独一国反对,如今成超级大国

八国联军侵华,7个国家瓜分中国,唯独一国反对,如今成超级大国

文史达观
2025-03-08 06:45:05
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
APEC合影现场!普京与特朗普再度握手

APEC合影现场!普京与特朗普再度握手

看看新闻Knews
2026-11-19 12:35:07
东南亚手机市场雪崩,OPPO跌62%,仅苹果增长

东南亚手机市场雪崩,OPPO跌62%,仅苹果增长

上峰视点
2026-11-17 09:09:58
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
拒绝奥地利足协!德籍华裔球员想来中国踢球,明年能否加盟国安?

拒绝奥地利足协!德籍华裔球员想来中国踢球,明年能否加盟国安?

体坛鉴春秋
2026-11-19 19:24:07
广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

扬子晚报
2026-11-19 21:43:12
直击:马斯克乘车离开酒店或前往APEC系列活动现场

直击:马斯克乘车离开酒店或前往APEC系列活动现场

界面新闻
2026-11-19 11:07:25
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

起点人文
2026-11-19 18:49:04
APEC会议场馆成热门打卡点,深圳市民心愿甜蜜又实在:把车厘子价格“打”下来

APEC会议场馆成热门打卡点,深圳市民心愿甜蜜又实在:把车厘子价格“打”下来

极目新闻
2026-11-19 21:23:40
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
太可惜!亚运村这家8年老店关了!

太可惜!亚运村这家8年老店关了!

亚奥在线
2026-11-19 16:08:37
特朗普下榻酒店最低房价800,这波操作我看傻了

特朗普下榻酒店最低房价800,这波操作我看傻了

风起见你
2026-11-19 23:18:08
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

环球网资讯
2026-11-19 10:01:08
果然!中国男篮筛掉5人,赵睿崔永熙离队,赵继伟队长,周琦压阵

果然!中国男篮筛掉5人,赵睿崔永熙离队,赵继伟队长,周琦压阵

萌兰聊个球
2026-11-19 22:16:18
俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

扶苏聊历史
2026-11-19 18:17:35
塔图姆把球扔向裁判吃T,凯尔特人最后一攻没了

塔图姆把球扔向裁判吃T,凯尔特人最后一攻没了

晚风知我意21
2026-11-19 23:39:37
2026-11-19 23:59:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380322文章数 607745关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
本地
艺术
亲子
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版