网易首页 > 网易号 > 正文 申请入驻

深度学习架构进化史:从DNN到注意力机制的4条选择法则

0
分享至

选模型不是挑名字,是挑数据结构。

DNN、CNN、RNN、注意力机制,这四个名字背后藏着一条清晰的进化线:图像需要空间模式,序列需要顺序记忆,现代AI需要可扩展的注意力机制。架构从来不是偏好问题,是对问题形状的回应。


核心逻辑:数据决定架构

深度学习的架构选择围绕一个根本问题:数据有什么结构?

DNN学习分层表示,通用但粗糙。CNN专为空间数据设计,卷积核扫描图像区域,捕捉局部视觉模式。RNN处理序列,一步步推进,用隐藏状态记住时间线上的信息。注意力机制则用注意力直接比较任意两个元素的关系,灵活且可扩展。

目标始终没变:从数据中学到有用的表示。变的是数据的形态,以及捕捉这种形态的工具。

一张简单的选择地图

实际选型时可以这样判断:

输入是表格数据或通用特征向量?从DNN开始。输入有空间结构?考虑CNN。输入是序列或时间序列?RNN或注意力机制。需要捕捉长距离关系?注意力机制。任务涉及现代语言模型或多模态系统?注意力机制通常是基线。

理解这张地图的意义在于:先选对模型家族,再调细节。

三个具体场景

图像分类需要检测局部视觉模式,CNN的卷积核天然适合扫描空间区域。时间序列预测需要理解时间顺序,RNN就是为这种序列流设计的。文本生成需要连接长距离的词与词,注意力机制可以直接比较任意两个token,因此成为主流。

不同的数据,不同的结构,不同的架构。

四者对比:关键差异在假设

DNN是通用分层模型,处理固定大小的特征向量,不显式建模空间或时间。CNN专为空间数据设计,用卷积核高效捕捉局部模式。RNN专为序列设计,逐步处理,跨时间保持隐藏状态。注意力机制围绕注意力构建,直接比较元素,在现代语言和多模态系统中扩展性最好。

关键差异不在层类型,而在每种模型对数据结构的假设。

视觉架构的进化线

CNN在计算机视觉中的主导地位,可以通过一系列里程碑模型理解:LeNet → AlexNet → VGGNet → GoogLeNet → ResNet。每个模型解决不同问题——LeNet证明CNN可行,AlexNet证明可扩展到大规模图像识别,VGGNet展示简单深度的力量,GoogLeNet改进效率,ResNet解决深层网络的训练难题。

这条线说明:架构进化不是替换,是针对性优化。理解数据结构,才能理解为什么某个架构在特定时代成为最优解。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吴签提前出来了!?

吴签提前出来了!?

八卦疯叔
2026-05-14 11:00:18
华谊兄弟得罪了这个大佬

华谊兄弟得罪了这个大佬

蓝钻故事
2026-05-13 15:35:51
阿联酋否认以色列总理访阿

阿联酋否认以色列总理访阿

新华社
2026-05-14 06:31:02
江苏已婚女子背着老公和小男友开房,被老公发现狂扇耳光,求原谅

江苏已婚女子背着老公和小男友开房,被老公发现狂扇耳光,求原谅

西楼知趣杂谈
2026-05-14 13:19:30
西方专家也很纳闷:一年时间,全世界已经开始看不懂中国了!

西方专家也很纳闷:一年时间,全世界已经开始看不懂中国了!

史智文道
2026-02-13 16:48:50
黄一鸣将起诉王思聪做亲子鉴定为女儿正名

黄一鸣将起诉王思聪做亲子鉴定为女儿正名

眼底星碎
2026-04-29 11:07:28
世界正在发生一个极其恶心的变化!印度最终可能会成为地球大患

世界正在发生一个极其恶心的变化!印度最终可能会成为地球大患

世界圈
2026-05-04 16:42:27
解放前特务用很小的电台就能向台湾发报,可如今为什么没法做到?

解放前特务用很小的电台就能向台湾发报,可如今为什么没法做到?

宅家伍菇凉
2026-05-09 09:41:53
中国男篮劲敌!前CBA外援科顿成澳大利亚归化球员 7月迎世预赛首秀

中国男篮劲敌!前CBA外援科顿成澳大利亚归化球员 7月迎世预赛首秀

狼叔评论
2026-05-14 15:18:03
回一封邮件都累,不是你变懒了

回一封邮件都累,不是你变懒了

心事寄山海
2026-05-13 06:07:32
洪庆履新吉林省政府秘书长,刘伟卸任

洪庆履新吉林省政府秘书长,刘伟卸任

澎湃新闻
2026-05-14 17:04:29
内马尔母亲拒25岁男友求婚!交36岁新欢!巴西球星要破财消灾!

内马尔母亲拒25岁男友求婚!交36岁新欢!巴西球星要破财消灾!

罗氏八卦
2026-05-13 18:15:03
龚琳娜云南别墅装修6个月完工,简约而有质感,院子大到像公园

龚琳娜云南别墅装修6个月完工,简约而有质感,院子大到像公园

八怪娱
2026-05-14 09:02:05
没有人看到宇宙大爆炸,那么科学家怎么知道它发生了呢?

没有人看到宇宙大爆炸,那么科学家怎么知道它发生了呢?

宇宙时空
2026-05-13 21:50:05
老人不死,子孙遭罪?如果家有八九十岁双亲还在,要牢记这两条准则

老人不死,子孙遭罪?如果家有八九十岁双亲还在,要牢记这两条准则

心理观察局
2026-05-05 09:24:14
连夺6金+打破世界纪录!中国选手一鸣惊人,女子项目不敌朝鲜队

连夺6金+打破世界纪录!中国选手一鸣惊人,女子项目不敌朝鲜队

罗掌柜体育
2026-05-14 11:00:15
道歉了!天王山两战53+17!东决级别重磅大交易

道歉了!天王山两战53+17!东决级别重磅大交易

篮球实战宝典
2026-05-14 18:17:59
83年严打,那批被遣送到大西北的重刑犯,他们的命运最终怎样了?

83年严打,那批被遣送到大西北的重刑犯,他们的命运最终怎样了?

浩渺青史
2026-05-15 01:42:41
伊万卡流泪了

伊万卡流泪了

新浪财经
2026-05-05 19:51:47
【旧事】邓丽君真正死因:控制不了自己,到时候就会“欲罢不能”

【旧事】邓丽君真正死因:控制不了自己,到时候就会“欲罢不能”

年之父
2026-05-09 04:05:03
2026-05-15 02:23:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
2760文章数 23关注度
往期回顾 全部

科技要闻

马斯克说会谈很顺利 黄仁勋点赞 库克比耶

头条要闻

马斯克幼子装扮“火”了 衣服包包都是中国造

头条要闻

马斯克幼子装扮“火”了 衣服包包都是中国造

体育要闻

争议抽象天王山,和季后赛最稳定中锋

娱乐要闻

何九华官宣当爸!全程不提孩子妈

财经要闻

李强会见美国工商界代表

汽车要闻

双零重力座椅/AI智能体/调光天幕 启境GT7内饰发布

态度原创

健康
本地
手机
旅游
公开课

专家揭秘干细胞回输的安全风险

本地新闻

用苏绣的方式,打开江西婺源

手机要闻

荣耀600系列国行版终来到,跟海外版完全两个样!

旅游要闻

日照五莲:云海日出映青山

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版