网易首页 > 网易号 > 正文 申请入驻

数据也能“投毒”?人工智能正引发安全新威胁

0
分享至

一方面,人工智能助力数据安全防护。运用机器学习等人工智能技术,能够实现数据的识别保护,数据安全溯源等功能,也提升了数据安全的防护能力。

但另一方面,人工智能也会带来数据安全问题,在加速传统数据安全问题的同时,人工智能大规模的运用使得过度采集数据安全问题进一步加剧,甚至产生“数据投毒”等新型数据安全问题。

新技术安全问题再受热议。在7月9日举行的世界人工智能大会上,国家工业信息安全发展研究中心副主任何小龙在“人工智能数据安全及监管机制研究”主题演讲中,指出人工智能在数据安全中不可忽视的一面。

AI引发过度采集等传统问题

何小龙指出,人工智能加剧传统数据安全问题,这主要表现在:

一是过度采集问题。目前各类人脸识别的系统、智能音响设备、手机App随处可见,都在广泛采集用户的人脸、声纹等具有强个人属性的生物特征信息及行为轨迹等数据,一旦泄露将威胁个人隐私。

今年央视315晚会就曝光了多家知名商店安装人脸识别摄像头,严重侵害了消费者隐私。

二是数据窃取问题。利用图像识别和光学字符识别等技术,可以轻松破解图片、字符等验证码,从而获取系统数据。

例如,2018年10月,苹果App Store爆出大规模的“免密”盗刷事件,不法分子利用图像识别技术开发“打码平台”,自动识别图片验证码,验证码识别正确率达95%以上。

三是逆向还原问题。利用数据关联和算法演绎等技术,能够通过公共访问接口的逆向,还原出核心的一些算法和训练的数据,造成个人信息和商业秘密的泄露。

据有关报道,目前主流自然语言模型均存在着泄露训练数据的可能性。

四是开源框架的风险。当前人工智能应用都是基于Tensorflow这种开源架构,由于缺乏安全审查机制的原因,开源架构可能会存在严重的安全漏洞。

“比如在一项目针对主流开源架构的安全测试,我们在测试过程中,短短时间内发现了24个安全问题,其中包括2个严重危险漏洞和8个高危漏洞。”何小龙说。

引发“数据投毒”等新型挑战

AI也带来了新型数据安全的问题。何小龙指出,人工智能的算法对数据具有较强的依赖性,可能会带来“数据投毒”等类似新型的数据安全挑战。

何为“数据投毒”?即在训练数据其中加入了伪装数据或者恶意样本,破坏数据完整性,造成算法模型结果的错误。

“比如说原来微软的一个聊天机器人Tay因发布歧视性和攻击性言论而被关闭,主要原因就是在对话数据集里面被恶意增加了不当的数据。”何小龙说。

其次,则是样本偏差问题。基于基础数据集多样性和代表性不足,会导致人工智能的算法隐藏的特定性的社会价值的倾向或偏见,输出不公平结果。何小龙举例说,美国NIST研究表明,近200种人脸识别算法对非白人面孔识别相对来说较差,其错误匹配率甚至相差一百倍。

还有就是对抗样本的问题。对抗样本攻击是指向人工智能模型输入干扰数据,利用人工智能模型的信息反馈机制发起攻击,导致模型算法在正常运转中输出一个错误的结果,进而影响人工智能模型决策结果,采用对抗性攻击干扰运行数据,将导致模型识别错误。

今年1月份,瑞莱智慧公司在测试中,通过佩戴含有对抗样本图案的眼镜,破解了19款常见Android手机的人脸识别解锁系统。

最后就是深度伪造问题,即通过机器学习模型将图片或者视频合并叠加,可以生成虚假文件,实现了换脸和换音。

建议:开展可信AI前沿算法攻关

针对AI引发的新威胁,全球主要国家高度重视人工智能数据安全监管。

目前,美国推出积极的战略规划,推动了整合落实数据安全的管理要求,通过围绕各个场景的立法和在州层面上的立法,对人脸识别、自动驾驶、深度伪造等人工智能领域的数据进行安全监管,比如在人脸识别场景上,美国加州、华盛顿州等已经通过当地的立法来保护。

欧盟也高度重视数据安全治理,在GDPR《通用数据保护条例》基础上,今年4月份发布全球首个《人工智能法》提案,对人工智能数据的要求,其中规定存在高风险的人工智能技术,在投放市场之前必须要理清相关的数据安全保护的要求。

我国也在积极应对人工智能数据安全挑战,从顶层设计来看,最新颁布的《数据安全法》,将于9月1日要开始正式实施,它为规范数据处理活动,保障数据安全提供法律依据。

此外,相关部门面对人工智能的重要领域也提出了详细的管理规定和管理框架,提出了针对性的数据管理的要求。

如今年3月份,中国人民银行印发《人工智能算法金融应用评价规范》;2021年4月,工业和信息化部《智能网联汽车生产企业及产品准入管理指南(试行)》,对各个领域数据安全的保护提出了相关的要求。

在对策研究方面,何小龙建议,第一,我国需要建立和完善人工智能数据安全监管架构的,一方面加强法律体系,研究出台现有的法律配套实施细则,加快开展人工智能识别、自动驾驶、服务机器人等重点领域的立法研究。

第二,依据应用场景、影响范围和可能危害,加快构建人工智能安全风险分类管理体系,加强对高风险领域的监管。

第三,推动开展可信人工智能前沿算法攻关,围绕人工智能在不同场景应用,制定相关行业规范和技术标准。

第四,提升各利益相关方安全保护意识,加强在技术、生态、产业等方面的国际交流与合作,进一步完善全球人工智能治理体系,推动人工智能的技术能够健康发展。

【记者】郜小平

【作者】 郜小平

【来源】 南方报业传媒集团南方+客户端

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
60岁老农上山砍柴,发现5年前失联儿子的汽车,打开车门后愣住了

60岁老农上山砍柴,发现5年前失联儿子的汽车,打开车门后愣住了

千秋文化
2026-07-16 19:54:44
米体:劳塔罗世界杯决赛尚未登场,斯卡洛尼似乎因战术弃用

米体:劳塔罗世界杯决赛尚未登场,斯卡洛尼似乎因战术弃用

懂球帝
2026-07-20 05:24:27
艾滋病全球防线突然溃败:不是病毒变强了,是有钱人不再害怕了

艾滋病全球防线突然溃败:不是病毒变强了,是有钱人不再害怕了

过期少女致幻录
2026-07-14 00:41:11
丰田新车正式上市,14.37万!

丰田新车正式上市,14.37万!

科技堡垒
2026-07-19 11:35:12
专家预测2026年世界杯决赛西班牙对阵阿根廷赛果

专家预测2026年世界杯决赛西班牙对阵阿根廷赛果

画夕
2026-07-19 14:16:07
房山新市郊铁路开通被吐槽是鸡肋,对比自驾公交地铁差距有多大?

房山新市郊铁路开通被吐槽是鸡肋,对比自驾公交地铁差距有多大?

据说说娱乐
2026-07-20 01:39:10
疯狂的6-4!姆巴佩超越梅西,加冕世界杯射手王,最新金靴榜出炉

疯狂的6-4!姆巴佩超越梅西,加冕世界杯射手王,最新金靴榜出炉

球场没跑道
2026-07-19 07:09:06
“国家队”出手!两大央企宣布大规模增持A股

“国家队”出手!两大央企宣布大规模增持A股

新浪财经
2026-07-19 23:07:32
西南地区及长江中下游有较强降雨

西南地区及长江中下游有较强降雨

人民网
2026-07-19 15:40:36
保姆擅自开吃雇主榴莲被说两句,满脸委屈:我以为买来一起吃的!网友炸锅:这自觉性活该被辞!

保姆擅自开吃雇主榴莲被说两句,满脸委屈:我以为买来一起吃的!网友炸锅:这自觉性活该被辞!

一丝不苟的法律人
2026-07-14 12:22:27
昔日首富牟其中服刑十八年,出狱无亲人相伴,唯有小姨子长久守候

昔日首富牟其中服刑十八年,出狱无亲人相伴,唯有小姨子长久守候

磊子讲史
2026-07-06 18:10:46
中国这次没上桌。波兰320公里高铁招标

中国这次没上桌。波兰320公里高铁招标

叶葉夜
2026-07-19 07:59:42
NBA惊现“物理外挂”?状元弗拉格身高暴涨至2米11,本人亲自点赞确认

NBA惊现“物理外挂”?状元弗拉格身高暴涨至2米11,本人亲自点赞确认

林子说事
2026-07-19 18:48:07
一点进步都没有!昔日五星高中生夏联期间在火箭的表现惨不忍睹?

一点进步都没有!昔日五星高中生夏联期间在火箭的表现惨不忍睹?

稻谷与小麦
2026-07-20 02:01:36
前印度队主帅:梅西不是史上最佳,阿根廷靠全队给他擦屁股

前印度队主帅:梅西不是史上最佳,阿根廷靠全队给他擦屁股

篮坛第一线
2026-07-20 02:10:20
官宣!文班亚马联手戈贝尔!首秀大战约基奇

官宣!文班亚马联手戈贝尔!首秀大战约基奇

篮球教学论坛
2026-07-19 20:39:03
红线刚划下就被突破,伊朗导弹砸向沙特,巴基斯坦面临两难抉择

红线刚划下就被突破,伊朗导弹砸向沙特,巴基斯坦面临两难抉择

近史博览
2026-07-20 00:35:59
40℃高温120码连开3小时,油车随便造 电车扛不扛得住?实测说真话

40℃高温120码连开3小时,油车随便造 电车扛不扛得住?实测说真话

阿芒娱乐说
2026-07-19 04:28:48
陈皮巧搭四种家常水!从夏喝到三伏,祛湿养肺全身更舒坦

陈皮巧搭四种家常水!从夏喝到三伏,祛湿养肺全身更舒坦

白米饭怎么吃
2026-07-16 10:30:53
北京某退休人员养老金曝光:工龄38.19年,个人账户223651元

北京某退休人员养老金曝光:工龄38.19年,个人账户223651元

起喜电影
2026-07-20 00:54:43
2026-07-20 06:03:00
南方Plus incentive-icons
南方Plus
南方报业南方+客户端官方账号
402170文章数 339798关注度
往期回顾 全部

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

头条要闻

网友称草原有人驱赶分食马匹尸体的秃鹫 官方回应

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

王侃因病逝世 两年前与父亲牛犇同台

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

被追尾还能自动加速逃生?华为乾崑智驾ADS 5.0 OTA时间表发布,只有这台车不用等!

态度原创

家居
手机
亲子
旅游
房产

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

小米18入网,Pro系列先发!

亲子要闻

专家:家长应关注儿童乙肝表面抗体水平变化,必要时加强接种

旅游要闻

高黎贡山脚下天然溶洞,兼具美景民俗与避暑休闲,短途旅行首选!

房产要闻

突然出手!千亩城更+一线江景,世嘉亮出超级四代宅!

无障碍浏览 进入关怀版