网易首页 > 网易号 > 正文 申请入驻

号外:蒸馏捷径原无错,自研基础须本真

0
分享至

西大发难:

东大AI大模型蒸馏,事关国家安全!

2026年9月8日:西大国家安全局(NSA)、网络安全与基础设施安全局(CISA)以及联邦调查局(FBI)联合公布网络安全通告:


通告指控:东大六大AI公司恶意复制西大AI公司的技术,包括——

深度求索(DeepSeek)

月之暗面(Moonshot AI)

阿里巴巴

稀宇极致(MiniMax)

阶跃星辰(StepFun)

智谱

兵器迷注:

美方所称的蒸馏技术,在业内被公认——美国AI行业也公认——为AI研究领域一种合法且有用的技术,通过规模更大、成本更高的AI模型的输出来训练较小模型,以降低训练新AI工具的成本。这属于大模型压缩技术的一种。


大模型压缩技术,是指在尽可能保持精度的前提下,通过技术手段压缩模型、加速推理计算,从而降低AI模型的大小和推理延迟。主要的大模型压缩技术,分为量化、剪枝、知识蒸馏、低秩分解四大路径。


量化:即降低权重与激活值精度减少模型体积与计算量。

剪枝:通过去除冗余参数减少计算量。

知识蒸馏:利用教师模型指导学生模型(学生)训练,传递软标签、特征或注意力分布。(Anthropic Claude Mini将模型缩至1/10大小仍保留85%以上性能)。在具体应用上,就是通过API接口,向教师模型发起海量请求,收集模型的输出逻辑、推理路径、答案分布、思维链等核心信息,再用这些数据反向训练自己的模型。


注意:这些请求,有合规或非常规之分。

低秩分解:将大矩阵分解为低秩子矩阵,减少参数与计算。

回到外媒——

通告指出:

1东大的AI企业正在通过“大规模、工业化、规模化”的知识蒸馏行动,对西大AI企业模型中的专有功能和受限使用能力,进行系统性地提取。

2 相关行动,构成东大企业AI发展战略的核心,而非仅是正常的补充手段。

3 这是一种” 激进、恶意且具有针对性的蒸馏活动”。


通告指出:

东大 政府在可能知情的情况下,DeepSeek等六家东大企业,至少自2024年底以来,就从西大前沿AI模型中提取数十亿个词元,涉及数百万次交互/请求,其中包括Claude、GPT、Gemini和Grok的不同版本。

这种大规模蒸馏,不仅降低了东大AI公司的研发成本,还”增强东大的军事和网络攻击能力”,在安全方面,这些能力可能会被用于针对西大及其盟友。

兵器迷注:

蒸馏行为,可以让学生模型的研发成本,降低90%以上,模型落地周期从1-2年缩短至3-6个月。


OpenAI、Anthropic、谷歌牵头的全球AI联盟,目标就是限制模型蒸馏行为——计划通过技术水印、请求风控、行为溯源、跨平台数据共享等手段,全面限制、封堵其他外部公司针对自身模型的蒸馏提取。

同时 ,该联盟正在推动全球范围内的技术产权界定,将非法蒸馏纳入技术窃取范畴。

西大国家安全局为首的机构建议,西大AI企业实施全面的检测和缓解措施,检测异常和恶意的提示词、账户、网络及行为,部署有针对性的响应调整,建立跨机构的情报共享机制,对来自不同模型提供商、云平台和API聚合商的活动进行关联分析,以识别分散实施的知识“蒸馏”行动。

蒸馏教师模型,无可厚非。但是如果学生模型 没有自己的底层技术,即独立的数据体系和可控的模型架构,完全、或基本依赖蒸馏教师模型,那么一旦蒸馏请求的API被教师关闭,技术迭代立刻陷入死胡同,至少也是从高铁降速为绿皮车了。

因此,即便要利用蒸馏,也要“自研基础,蒸馏提速”,才是长远可行的学生模型发展之路。而东大的AI大模型,发展成熟到一定阶段,还是要走自研全栈大模型的路数。 智谱结合阶跃星辰的自研架构,相对比较扎实;MiniMax和DeepSeek,也已经逐步告别了“蒸馏时代”,走向全自研道路。

蒸馏捷径原无错

自研基础须本真

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国、法国、德国、英国、意大利、日本、加拿大,将立即启动行动

美国、法国、德国、英国、意大利、日本、加拿大,将立即启动行动

政知新媒体
2026-10-03 08:13:21
俄方寸步不让:天然气管道非得取道蒙古进入中国

俄方寸步不让:天然气管道非得取道蒙古进入中国

果妈聊娱乐
2026-10-01 16:13:46
景甜私密照:眼神迷离躺床上,重要部位打马赛克!

景甜私密照:眼神迷离躺床上,重要部位打马赛克!

默默有话说
2026-10-01 19:55:11
难怪中国人瞧不起印度!印度记者:不是中国人自大,差距真的太大

难怪中国人瞧不起印度!印度记者:不是中国人自大,差距真的太大

林子说事
2026-10-04 09:56:54
被逮捕的4位央视主持人,最严重的被驱逐出境,个个沦为阶下囚

被逮捕的4位央视主持人,最严重的被驱逐出境,个个沦为阶下囚

福建睿平
2026-10-03 06:47:22
国庆对大陆船重拳出击,台海军中将来找麻烦,九合一快到加码挑衅

国庆对大陆船重拳出击,台海军中将来找麻烦,九合一快到加码挑衅

最新声音
2026-10-03 19:23:12
200万来得太容易!90后女孩在深圳砸200多万开450平臭豆腐火锅,一天营业额302块,每天净亏6900

200万来得太容易!90后女孩在深圳砸200多万开450平臭豆腐火锅,一天营业额302块,每天净亏6900

王老师你还好吗
2026-10-03 13:13:53
中国为啥不想再办奥运会了?说白了,就是国际奥委会那帮人太双标

中国为啥不想再办奥运会了?说白了,就是国际奥委会那帮人太双标

荆楚寰宇文枢
2026-10-03 20:22:57
王传福霸气重申:2030年成全球销量第一!网友:比亚迪年销量460万,丰田年销量超1000万,超过丰田,笑得肚子疼

王传福霸气重申:2030年成全球销量第一!网友:比亚迪年销量460万,丰田年销量超1000万,超过丰田,笑得肚子疼

大白聊IT
2026-10-02 22:29:14
不查不知道,一查吓一跳,68岁身价百亿的赵本山,私下到底有多壕

不查不知道,一查吓一跳,68岁身价百亿的赵本山,私下到底有多壕

喜欢历史的阿繁
2026-10-04 06:48:46
研究发现:冷冻馒头超过两天会产生黄曲霉素?告诉你答案!

研究发现:冷冻馒头超过两天会产生黄曲霉素?告诉你答案!

芹姐说生活
2026-10-02 23:38:21
彻底撕破脸皮!曼联弃将怒喷争议主帅:比穆里尼奥差远了!

彻底撕破脸皮!曼联弃将怒喷争议主帅:比穆里尼奥差远了!

澜归序
2026-10-04 08:52:51
荣昌区政府食堂国庆假期开放四天,3000多名游客打卡用餐,吃了500斤米饭400斤卤鹅

荣昌区政府食堂国庆假期开放四天,3000多名游客打卡用餐,吃了500斤米饭400斤卤鹅

极目新闻
2026-10-04 12:30:08
伟大的6-5!袁思俊决胜局被罚41分仍进决赛:保底赚67万,排名创新高!

伟大的6-5!袁思俊决胜局被罚41分仍进决赛:保底赚67万,排名创新高!

刘姚尧的文字城堡
2026-10-04 08:29:21
别看不起小恩小惠,关键时刻可以帮上大忙?网友:小恩养贵人,大恩出仇人

别看不起小恩小惠,关键时刻可以帮上大忙?网友:小恩养贵人,大恩出仇人

带你感受人间冷暖
2026-10-03 00:05:27
足球专家马奎尔:曼城可能被罚5000万-6000万镑,扣50-60分

足球专家马奎尔:曼城可能被罚5000万-6000万镑,扣50-60分

懂球帝
2026-10-04 09:01:07
俄罗斯总统普京公开表示:在APEC领导人非正式会议期间举行俄中美三方会晤是可能的,外交部回应

俄罗斯总统普京公开表示:在APEC领导人非正式会议期间举行俄中美三方会晤是可能的,外交部回应

吉刻新闻
2026-10-03 21:16:34
外媒:发型图未经同意被P在飞机上,球星哈兰德起诉挪威航空

外媒:发型图未经同意被P在飞机上,球星哈兰德起诉挪威航空

环球网资讯
2026-10-02 16:56:10
万人见证76人内部对抗赛,首发出场顺序确定!老大之争尘埃落定!

万人见证76人内部对抗赛,首发出场顺序确定!老大之争尘埃落定!

挑战你的想象力
2026-10-04 10:35:23
刘学义被曝和申军谊女儿申奥谈恋爱,女方否认,37岁未婚母亲担忧

刘学义被曝和申军谊女儿申奥谈恋爱,女方否认,37岁未婚母亲担忧

草莓解说体育
2026-10-04 02:47:31
2026-10-04 13:48:49
南海的波涛 incentive-icons
南海的波涛
南海问题研究者
4432文章数 386关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

中国籍夫妻在澳洲因车祸去世 朋友:两人新房即将完工

头条要闻

中国籍夫妻在澳洲因车祸去世 朋友:两人新房即将完工

体育要闻

“小将”吴曦,中国的莫德里奇

娱乐要闻

杨议没料到,郭德纲如今仍是一呼百应

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

艺术
数码
时尚
教育
军事航空

艺术要闻

沙特要盖2000米高楼,一年维护费达8亿美元!

数码要闻

小米REDMI电视X RGB-Mini LED 2027竞技版预售,2705元起

秋天衣服不用买很多很贵,这几件衬衫准备好,简约百搭又不挑年纪

教育要闻

这题可以再连一条对角线,利用等腰三角形原理求解

军事要闻

驻冲绳美军士兵抢劫杀人 日本向美国提出抗议

无障碍浏览 进入关怀版