网易首页 > 网易号 > 正文 申请入驻

扩散模型攻克算法难题,AGI不远了!谷歌大脑找到迷宫最短路径

0
分享至


新智元报道

编辑:桃子

【新智元导读】解决最短路径算法,也能被扩散模型完成。

「扩散模型」也能攻克算法难题?


一位博士研究人员做了一个有趣的实验,用「离散扩散」寻找用图像表示的迷宫中的最短路径。


作者介绍,每个迷宫都是通过反复添加水平和垂直墙生成的。

其中,起始点和目标点随机选取。

从起点到目标点的最短路径中,随机采样一条作为解决方案的路径。最短路径是通过精确算法算出来的。


然后使用离散扩散模型和U-Net。

将起点和目标的迷宫被编码在一个通道中,而模型在另一个通道中用解来消除迷宫的噪声。


再难一点的迷宫,也能做的很好。


为了估算去噪步骤 p(x_{t-1} | x_t),算法会估算 p(x_0 | x_t)。在这个过程中可视化这一估计值(底行),显示「当前假设」,最终聚焦在结果上。


英伟达高级科学家Jim Fan表示,这是一个有趣的实验,扩散模型可以「渲染」算法。它可以仅从像素实现迷宫遍历,甚至使用了比Transforme弱得多的U-Net。

我一直认为扩散模型是渲染器,而Transformer是推理引擎。看起来,渲染器本身也可以编码非常复杂的顺序算法。


这个实验简直惊呆了网友,「扩散模型还能做什么?!」


还有人表示,一旦有人在足够好的数据集上训练扩散Transformer,AGI就解决了。


不过这项研究还未正式发布,作者表示稍后更新在arxiv上。

值得一提的是,这个实验中,他们采用了谷歌大脑团队曾在2021年提出的离散扩散模型。


就在最近,这项研究重新更新了一版。

离散扩散模型

「生成模型」是机器学习中的核心问题。

它既可用于衡量我们捕获自然数据集统计数据的能力,也可用于需要生成图像、文本和语音等高维数据的下游应用程序。

GAN、VAE、大型自回归神经网络模型、归一化流等方法,在样本质量、采样速度、对数似然,以及训练稳定性方面都各有千秋。

最近,「扩散模型」已成为图像、音频生成,最受欢迎的替代方案。

它可以用更少的推理步骤,实现了与GAN相当的样本质量,以及与自回归模型相当的对数似然。


论文地址:https://arxiv.org/pdf/2107.03006.pdf

虽然已有人提出了离散和连续状态空间的扩散模型,但最近的研究主要集中在,连续状态空间中运行的高斯扩散过程(如实值图像和波形数据)。

离散状态空间的扩散模型,已在文本和图像分割领域进行了探索,但是还没有在文本和图像的大规模生成任务中,证明是一个有竞争力的模型。

谷歌研究团队提出了一种全新的离散去噪扩散概率模型(D3PM)。

研究中,作者证明了过度矩阵的选择是一个重要的设计决策,它能改善图像和文本领域的结果。

此外,他们还提出了一种新的损失函数,它结合了变分下界和辅助的交叉熵损失。

在文本方面,这个模型在字符级文本生成方面取得了很好的效果,同时可以扩展到大词汇量的LM1B数据集上。

在CIFAR-10图像数据集上,最新模型接近了连续空间DDPM模型的样本质量,并超过了连续空间 DDPM 模型的对数似然。


项目作者

Arnaud Pannatier


Arnaud Pannatier从2020年3月在导师François Fleuret的机器学习小组开始攻读博士学位。

他最近开发了HyperMixer,使用超级网络让MLPMixer能够处理各种长度输入。这使得模型能够以一种排列不变的方式处理输入,并证明了它给了模型一种随着输入长度线性扩展的注意力行为。

在EPFL,他先后获得了物理学学士学位和计算机科学与工程硕士学位(CSE-MASH)。

参考资料:

https://arxiv.org/pdf/2107.03006.pdf

https://x.com/DrJimFan/status/1762888644933902681?s=20

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
压倒性通过!联合国63:0决定出兵,日本:绝不让中国崛起

压倒性通过!联合国63:0决定出兵,日本:绝不让中国崛起

凝心斋
2024-05-29 13:40:02
上海一公交车司机好心扶摔倒老人,反被讹诈?有反转!

上海一公交车司机好心扶摔倒老人,反被讹诈?有反转!

鲁中晨报
2024-05-29 15:58:07
美股收盘:纳指突破17000点创新高 英伟达狂飙近7%

美股收盘:纳指突破17000点创新高 英伟达狂飙近7%

财联社
2024-05-29 05:20:05
金靖怀孕后独自亮相机场,素颜打扮显孕相,大摇大摆丝毫不矫情!

金靖怀孕后独自亮相机场,素颜打扮显孕相,大摇大摆丝毫不矫情!

娱乐白名单
2024-05-28 17:43:15
将近40岁满脸褶,却尬演18岁少女,是谁给了她“强行装嫩”的勇气

将近40岁满脸褶,却尬演18岁少女,是谁给了她“强行装嫩”的勇气

娱乐圈十三太保
2024-05-28 13:56:53
有的官员已经不管老百姓死活了

有的官员已经不管老百姓死活了

浮事记
2024-05-29 11:18:51
国税总局原副局长表示:五口之家靠一人工作,工资4000,就能脱贫

国税总局原副局长表示:五口之家靠一人工作,工资4000,就能脱贫

六目先生
2024-05-28 21:34:24
三上悠亚半素颜现身街头:真实样貌曝光网友惊呆

三上悠亚半素颜现身街头:真实样貌曝光网友惊呆

葫芦哥爱吐槽
2024-05-29 05:37:54
李若彤激动发文!从香港九龙西站乘高铁到长沙,仅用了三个半小时

李若彤激动发文!从香港九龙西站乘高铁到长沙,仅用了三个半小时

元气少女侃娱乐
2024-05-29 10:21:13
我用无人机向金门二担岛空投了“传单”

我用无人机向金门二担岛空投了“传单”

观察者网
2024-05-29 14:12:05
赖清德服软,不到24小时,大陆代表团抵台湾省,解放军举动很罕见

赖清德服软,不到24小时,大陆代表团抵台湾省,解放军举动很罕见

影孖看世界
2024-05-28 19:36:04
华子谈李凯尔指挥进攻:他是球队的X因素 他对球队来说非常关键

华子谈李凯尔指挥进攻:他是球队的X因素 他对球队来说非常关键

直播吧
2024-05-29 12:31:16
说谁呢?克洛普:我可不能像有的队,花8000万买球员又把他租出去

说谁呢?克洛普:我可不能像有的队,花8000万买球员又把他租出去

直播吧
2024-05-29 09:30:15
柳叶刀:中国“饮食杀手”不是油和糖,致死率前3的吃法,赶紧改

柳叶刀:中国“饮食杀手”不是油和糖,致死率前3的吃法,赶紧改

39健康网
2024-05-27 20:01:09
国家安全部:1人向从事间谍活动嫌犯通风报信被行拘

国家安全部:1人向从事间谍活动嫌犯通风报信被行拘

新京报
2024-05-29 08:37:06
iPhone15降价,中国销量激增52%!多数国人愿花费4000+买手机,仅33%人有高端手机,面临华为Mate 70竞争

iPhone15降价,中国销量激增52%!多数国人愿花费4000+买手机,仅33%人有高端手机,面临华为Mate 70竞争

和讯网
2024-05-29 09:47:24
中国一则爆料疯传全网!父亲多年前4000枚比特币意外寻获 现价已破20亿元人民币

中国一则爆料疯传全网!父亲多年前4000枚比特币意外寻获 现价已破20亿元人民币

FX168链界观察
2024-05-29 12:42:11
一篇“赖清德动嘴,我们军演花大钱”的文章,头条给了640万展现

一篇“赖清德动嘴,我们军演花大钱”的文章,头条给了640万展现

消失的电波
2024-05-26 21:13:48
网红“小黑妮”的另一面|面孔

网红“小黑妮”的另一面|面孔

大象新闻
2024-05-28 10:31:08
奥迪新车刚开七个月路边自燃烧毁,4S店:只能按三包赔付

奥迪新车刚开七个月路边自燃烧毁,4S店:只能按三包赔付

澎湃新闻
2024-05-29 07:14:45
2024-05-29 16:26:44
新智元
新智元
AI产业主平台领航智能+时代
11090文章数 65522关注度
往期回顾 全部

科技要闻

王传福再放狠话,燃油车要成“非主流”

头条要闻

餐馆老板诉民警喝茅台吃野味不付钱 法院:系老板宴请

头条要闻

餐馆老板诉民警喝茅台吃野味不付钱 法院:系老板宴请

体育要闻

巴黎主席向皇马索要8000万 佛爷:1分不给

娱乐要闻

张若昀怎么剧外比剧内更惨兮兮…

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

新哈弗H6苦练内功 向燃油车绝缘智能SAY NO

态度原创

本地
家居
游戏
房产
教育

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

家居要闻

与美共生 空间线条勾勒生活风雅

战术轻度Rogue《Forgotten Mines》预告 7月23日发售

房产要闻

有点猛!最新房价:海南每㎡跌了2000多!

教育要闻

小朋友分糖果,每人分4粒多9粒,每人分5粒少6粒,小朋友有几个?

无障碍浏览 进入关怀版