网易首页 > 网易号 > 正文 申请入驻

AI失控会导致人类灭亡吗?治理不能只在代码里找答案

0
分享至


当机器开始思考,人类如何与之相处?当算法参与决策,安全如何保障?

10月30日举行的2026世界顶尖科学家论坛人工智能平行论坛上,图灵奖得主、数学家、中国科学院院士、芯片工程师等齐聚一堂,直面同一个问题:当AI正以前所未有的速度重塑世界,它的下一步究竟该怎么走?又将走向何方?

“顶尖头脑”们给出的答案各不相同,但共识十分清晰:未来AI能走多远,不取决于机器有多聪明,而取决于我们有多清醒。


马丁·赫尔曼。文汇报记者袁婧摄。

AI正把风险复制到更多领域

2015年图灵奖得主、斯坦福大学电气工程系荣休教授马丁·赫尔曼,一开场就抛出了一个尖锐判断:“人工智能、核武器、气候变化,都不是真正的问题——它们只是更深层问题的症状。”

在他看来,人类文明的核心矛盾从未改变:技术赋予了我们近乎“神级”的力量,但我们的行为模式还停留在“青少年阶段”。而AI正在把“失控风险”复制到更多领域——他援引媒体公开报道:AI可轻易教人策划暴力袭击、改造危险病原体;完全由AI引导的无人机已造成真实伤亡。

这位深耕密码学与全球安全领域半个世纪的学者并非末日论者。他说,自己与妻子一度濒临离婚,如今却已20多年没有争吵。“我们把分歧变成了协作的契机。”他在书中把亲密关系的修复逻辑类比到全球安全:你不可能一夜之间修复一段破碎的婚姻,也不可能一步跨入理想的和平世界,但我们总要为了那个目标努力。

他强调,改变得从社会内部发生——前提是,我们先把自己看作“人类”,而不是各自的国籍、族群与立场。“现在我们仍有能力作出改变,在技术时代存续下去。”


圆桌论坛。

每个大模型都应自带伦理审查

人类究竟应该做些什么,才能安全有效地利用AI?

2024年沃尔夫数学奖得主、普林斯顿大学教授诺加·阿隆点出了AI的“黑盒困境”:“我们不知道大语言模型内部究竟在发生什么。目前能做的只是调整神经网络的权重,却没有人真正理解它为什么会作出最终决策。”正因如此,他认为AI安全不能靠单一主体解决,国家与企业必须放弃恶性竞争、达成协作,否则“竞速本身就会催生危险”。

中国科学院计算技术研究所副所长、处理器芯片全国重点实验室主任陈云霁分析,主流大语言模型的底层逻辑是统计学,从海量数据中提取规律,预测下一个词元。“基于统计原理,准确率永远是99%,不会到100%。而这1%的不确定性,就足以造成损害。”在他看来,下一代AI需要把物理规律、逻辑规则嵌入模型,才能在关键场景实现“零失误”。

陈云霁认为,未来十年,AI极有可能实现“自我改进”:AI模型优化AI模型,AI芯片改进AI芯片。当然,伦理规则必须同步内嵌到技术中去。“每个大模型都应自带伦理审查机制,这应当成为全球共识。”

那么,人类会被AI替代吗?2023年世界顶尖科学家奖得主、香港中文大学(深圳)教授、尤里·涅斯捷罗夫用拼图比喻:AI可以高效拼好一幅百万片拼图,前提是所有碎片都已存在。如果缺了一片,它就什么也拼不出来;而人,可以靠想象力补上缺失的那一片。他坦言,很难想象AI能有人的想象力。


白皮书发布。

技术终极路线要由人来绘制

“技术本身是不可知的,它的最终路线还是要由人来绘制。”论坛上,多位专家提到,治理不能只在代码里找答案,而要回到人的维度。不论是技术研发的底层规则、人才培养的能力塑造,还是产业落地的边界共识,都要把人的判断、人的价值、人的权利放回中心位置。

中国科学院院士、华东师范大学终身教授何积丰在2017年就提出了可信AI的概念:AI不能是无法捉摸的黑盒,必须做到可解释、可验证、可追溯,并将机器行为与人类价值对齐。“AI产出的所有内容,其质量与局限,最终都取决于人的理解深度。”

教育体系的重塑,也是AI治理的重要一环。涅斯捷罗夫直言:“当你给用AI作答的学生试卷评分,你评估的其实是他们为AI付钱的能力,和知识水平毫无关系。”阿隆说,普林斯顿过去允许带回家的考试,如今“已完全不可能”,今年起每门课都恢复了课堂测验。华东师范大学软件工程学院特聘教授刘少英坚持让学生写论文时,先自己用英文写作,再请AI润色、对照学习;对执意依赖AI的学生,会被请到办公室逐句朗读论文,解释每一处措辞的理由。

原标题:《AI失控会导致人类灭亡吗?治理不能只在代码里找答案》

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贴息都贴不动了,居民贷款负增长创下新高

贴息都贴不动了,居民贷款负增长创下新高

大川东山再起
2026-11-16 21:12:29
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
网传贾玲张小斐澳洲领证,竟然收到一片祝福

网传贾玲张小斐澳洲领证,竟然收到一片祝福

起点人文
2026-11-16 21:39:21
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
中日友好医院最出圈的3件套,不少人特意去打卡!确实让人震惊!

中日友好医院最出圈的3件套,不少人特意去打卡!确实让人震惊!

尼古拉斯Nana
2026-11-16 00:06:50
上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上海1300万多选民投票选举区和乡镇两级人大代表,陈吉宁朱忠明等参加投票

上观新闻
2026-11-16 18:43:28
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
林生斌再发声明:“潼臻一生”品牌于案发前创立,基金会未公开募集资金

林生斌再发声明:“潼臻一生”品牌于案发前创立,基金会未公开募集资金

红星新闻
2026-11-17 00:30:23
容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

一盅情怀
2026-11-16 16:01:58
日本参议员硬刚防卫相:你敢说这句话吗?

日本参议员硬刚防卫相:你敢说这句话吗?

环球网资讯
2026-11-16 06:55:05
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金石随笔
2026-11-16 15:02:52
马斯克幽默回复中国网友对他的安保担忧

马斯克幽默回复中国网友对他的安保担忧

瓦砾村夫
2026-11-16 21:16:48
涉嫌严重违纪违法,张旭被查

涉嫌严重违纪违法,张旭被查

中国基金报
2026-11-16 21:13:03
欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

体育知多少
2026-11-17 06:02:49
球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

南方都市报
2026-11-16 10:56:40
疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
2026-11-17 07:23:00
上观新闻 incentive-icons
上观新闻
站上海,观天下
554992文章数 765222关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
亲子
教育
旅游
公开课

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版