AI顶会论文揭秘：MIT分析3.4万篇，算力比GPU数量更关键

MIT和剑桥的研究者们，这两年干了件挺实在的事，他们扒了2022到2024年的AI顶会论文，就想搞明白，硬件资源够不够，到底跟发论文、拿引用有没有直接关系。

毕竟这几年AI圈全靠基础模型撑场面，但搞基础模型特别烧钱烧资源，不是谁都玩得起。

他们选的论文来源很有讲究，不是随便找的。

8个AI顶会，像NeurIPS、ICML这些搞机器学习的，还有EMNLP、ACL这种专做自然语言处理的，加起来34828篇录用论文，还特意找了613篇ICLR的拒稿论文做对比。

这么选数据挺靠谱的，能覆盖到AI研究的主要方向。

筛选基础模型相关论文的时候，他们就看标题和摘要里的关键词，最后挑出5889篇。

本来想靠系统API把论文的ID、作者、发表信息这些全扒下来，后来发现好多细节没有，比如资深作者的机构、用了多少GPU，只能让GPT-4omini读PDF补。

还让GPT-4omini把这些论文按“领域、阶段、方法”分了类，算是把研究的底子摸清了。

为了确认数据准不准，他们还找了118所机构的研究者填问卷，229位第一作者反馈了312篇论文的情况。

最后让两位研究者盲评这些论文，对比GPT-4omini的数据和作者自报的数据。

GPT-4omini能提取到GPU数量的论文只有116篇，比作者说的少了快六成，可见现在论文里披露资源的情况多差。

FM研究三年涨疯了，中美和英伟达成主角

把研究的底子摸清了，咱们再看看这三年基础模型研究到底变成啥样了。

最明显的就是论文数量涨得快，8个顶会里基础模型相关的论文占比越来越高，尤其是自然语言处理领域的会议，比那些综合性的机器学习会议还多。

研究方向也有变化，跟推理相关的论文涨得最快，算法和实证研究也比做数据集、工具包的多。

有意思的是，虽然论文多了，但大部分项目用的GPU数量没怎么变，1到4个GPU的配置占了一半，最多也就8个。

不过现在GPU采购周期变长了，以后会不会变多，还真不好说。

做研究的主力是学术界和工业界一起上，学术界整体论文多，但工业界的顶级实验室特别能打，谷歌、微软是单机构里发论文最多的，后面跟着清华大学、Meta、斯坦福。

两边的研究效率差不多，工业界人均8.72篇，学术界7.93篇，能看出来不管是学界还是业界，都得有强算力撑着才能出活。

国家层面就更明显了，美国和中国的研究产出最靠前，这跟两国在AI和教育上的长期投入肯定有关系。

研究者用的模型和硬件也挺集中，开源模型里LLaMA系列最火，比GPT那种闭源模型受欢迎多了。

毕竟开源模型能自己微调、适配不同领域，闭源模型根本做不了这些。

GPU就更不用说了，NVIDIAA100是绝对核心，前十的GPU全是英伟达家的。

英伟达在AI算力这块儿，现在还是没法被替代。

还有个有意思的发现，政府是基础模型研究最大的资助方，但一个国家的人均GDP跟资助的论文数量没关系。

反倒是机构给的支持和政策，对研究产出影响更大。

不过可惜的是，只有很少一部分论文会说清楚谁给的资助，这点挺影响后续研究参考的。

算力比GPU数量管用，但论文录用不看资源多少

知道了谁在做研究、用啥做研究，接下来就得掰扯掰扯，这些硬件资源到底能不能让论文更出彩。

研究者发现，单纯看GPU数量没意义，跟论文产出不成正比。

真正管用的是算力，就是用TFLOPs（每秒万亿次浮点运算）衡量的那种。

尤其是工业界，算力越强，发的论文越多，论文被引用的次数也越高。

不是堆GPU就行，得看这些GPU能提供多少实际算力，高质量的计算设施才是关键。

但也不能说算力决定一切，好多高引用的论文，其实是资源不太多的机构做出来的。

论文能不能被认可，还是得看研究有没有新意、讲得清不清楚、有没有真贡献，算力只是其中一个因素而已。

最让人意外的是论文录用的情况，按理说，资源多的团队论文应该更容易中吧？

但看ICLR这三年的数据，拒稿论文用的GPU和算力，也就比录用的少一点点，差别特别小。

这跟顶会的审稿规则是对的，审稿人看的是研究本身，不是你用了多少资源。

不过得说一句，只有ICLR公开了拒稿数据，其他会议的数据没有，这个结论能不能套用到所有顶会，还得再看。

最后再提个问题，现在论文里资源披露太不规范了，不光GPU信息缺得多，资助信息也没多少人说。

无奈之下，研究者只能靠问卷和AI补数据，这对后续研究的可复现性影响太大了。

要是能有个统一的披露标准，让大家都把资源情况说清楚，不管是小机构还是大团队，做研究的时候都能更有方向。

这三年基础模型研究跑得挺快，但资源这块儿还有不少问题要解决。

算力比GPU数量重要，资源多少不影响论文录用，这些结论能给机构分配资源、研究者选方向提供不少参考。

希望以后能有更多规范，让更多人能参与到基础模型研究里来，毕竟AI的发展，还是得靠更多人的努力。