网易首页 > 网易号 > 正文 申请入驻

超越深度与宽度:神经网络"更高"或将成为模型效率下一个突破点

0
分享至


在深度学习革命的发展历程中,有一个明确的架构原则定义了一个时代:更深的网络胜过更宽的网络。

早期的神经网络设计往往专注于通过增加单元来拓宽浅层网络。然而,增加深度(按顺序叠加层级)却释放出远超预期的容量提升。每增加一层,网络就能通过转换前一层的输出,构建出更加复杂精细的表征。这种层级化的表征学习能力,正是深度学习模型能够处理图像物体识别、语音识别等此前难以攻克的复杂任务的关键所在。

如今,标准神经网络架构在很大程度上仍然依赖这两个基本维度:宽度和深度。

在 Perforated,我们正在引入第三个维度:高度。

第三维度:构建"更高"的网络

Perforated 训练方法可以被理解为超越传统的深度与宽度二维网格。通过引入第三个维度,我们将一类新的单元(我们称之为树突)定位在传统网络单元的"上方"层级。

高度维度是如何改变这一方程式的:

定向支持:树突被放置在常规单元之上,并经过单独训练,用以观察和反馈位于其下方单元的运行表现。

可叠加的容量:这些树突可以不断向上叠加,形成一个垂直层级结构,为最底层的主要单元带来持续累积的性能提升。

这种训练方法使我们能够训练出可以媲美甚至超越更大规模模型性能的小型模型。

Perforated 训练的底层运作原理

我们并非以固定的架构和参数数量来训练模型,而是在整个训练过程中策略性地扩展神经网络。通过以不同于网络其余部分的方式训练新单元,并且只在必要时才添加这些单元,我们确保这些参数能够比"常规"单元带来更大幅度的网络性能提升。

网络中的主要单元接受常规训练。

与此同时,新的单元(树突)被单独训练,直接针对现有单元进行优化和支持,系统性地降低其平均训练误差。

训练完成后,这些支持性单元会被整合进网络中,从而提升它们所辅助单元的表征质量。

正如当今深度学习依赖于一整套复杂机制(优化器、学习率调度、归一化层、正则化以及梯度诊断工具)一样,Perforated 训练方法也涵盖了一整套广泛的工程技术,以确保训练性能与效率。

解决一个困扰业界40年的扩展难题

在训练过程中动态添加参数的尝试并非新鲜事。计算机科学家们已经对构造性神经网络算法进行了数十年的探索。然而,这些算法大多难以扩展应用到现代深度学习的工作负载当中。

Perforated 是首个使构造性训练能够扩展到当今超大规模模型的范式。通过沿着高度这一维度来构建参数添加机制,我们建立了一类全新的数据高效训练方法。

我们已经在真实环境中验证了这些成果:

可靠的可扩展性:已成功应用于多个生产环境中的客户模型。

架构通用性:在多种不同的模型架构上均得到验证。

企业级执行能力:在企业级规模的模型上证明了其性能表现。

通过将关注点从单纯扩展模型宽度或深度,转向主动改善现有特征表征,我们正在数据效率和模型容量方面释放出显著的提升空间。

迪恩·阿尔德鲁奇

Perforated 技术团队 - 机器学习架构负责人

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
糟了!AMD的苏姿丰也“出事”了……

糟了!AMD的苏姿丰也“出事”了……

留学生日报
2026-11-21 09:34:38
菲总统来中国一趟,带着中方承诺回国后,立即向全国宣布喜讯

菲总统来中国一趟,带着中方承诺回国后,立即向全国宣布喜讯

補懂事的孩紙
2026-11-22 00:18:20
量子纠缠首次验证人的位置,335次几乎全过

量子纠缠首次验证人的位置,335次几乎全过

科学边界哦
2026-11-20 19:05:41
杀人诛心!对手一语戳穿切尔西软肋!阿隆索颜面尽失

杀人诛心!对手一语戳穿切尔西软肋!阿隆索颜面尽失

澜归序
2026-11-22 10:00:48
世界田联:严子怡是史上最具统治力中国选手,望破与她同龄的世界纪录

世界田联:严子怡是史上最具统治力中国选手,望破与她同龄的世界纪录

杨华评论
2026-11-22 00:52:29
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
1945年,丘吉尔把抽剩的半截雪茄,塞进斯大林口袋,斯大林居然笑着收下了

1945年,丘吉尔把抽剩的半截雪茄,塞进斯大林口袋,斯大林居然笑着收下了

言过于诚
2026-11-21 21:05:27
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
突发!Claude 的黎曼猜想证明获 Lean 官方认证,马斯克直呼惊人成就

突发!Claude 的黎曼猜想证明获 Lean 官方认证,马斯克直呼惊人成就

AppSo
2026-11-22 07:39:53
报复攻击克里米亚大桥,荷兰大使馆被炸!特朗普为俄导弹轰炸波兰辩解

报复攻击克里米亚大桥,荷兰大使馆被炸!特朗普为俄导弹轰炸波兰辩解

鹰眼Defence
2026-11-21 18:34:23
女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

上观新闻
2026-11-22 06:59:45
毛主席活到83岁,医生却说:他根本不该长寿

毛主席活到83岁,医生却说:他根本不该长寿

观星赏月
2026-11-21 14:58:50
事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

蔡蔡说史
2026-11-21 19:26:00
释永信翻车,最惨的不是他,是那个捐了46亿、剃度出家的蔡志忠

释永信翻车,最惨的不是他,是那个捐了46亿、剃度出家的蔡志忠

夏末moent
2026-11-21 15:41:39
彻底颠覆男神滤镜!林更新新剧角色出圈网友:真的什么角色都敢演

彻底颠覆男神滤镜!林更新新剧角色出圈网友:真的什么角色都敢演

动物奇奇怪怪
2026-11-22 06:18:34
一个料酒,是厨房最大的谎言!所有的肉,都有一个天生克星!

一个料酒,是厨房最大的谎言!所有的肉,都有一个天生克星!

华庭讲美食
2026-10-24 12:08:22
德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

你是我心中最美星空
2026-11-22 05:46:42
黄乐全程沉默,却成了最锋利的保护伞

黄乐全程沉默,却成了最锋利的保护伞

小椰的奶奶
2026-11-22 04:07:34
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
2-2!英超大冷门:13.8亿豪门止步联赛5连胜 队长送礼门神伤退

2-2!英超大冷门:13.8亿豪门止步联赛5连胜 队长送礼门神伤退

狍子歪解体坛
2026-11-22 03:29:19
2026-11-22 10:36:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23594文章数 49740关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
房产
健康
手机
时尚

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

无障碍浏览 进入关怀版