AI大佬教你如何中顶会：写论文也要关注「叙事」

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

NeurIPS投稿数量破纪录了！Deadline还有不到一个月，如何让论文更容易中？

大佬的论文撰写指南它来了。

来自Google DeepMind的Neel Nanda在指导了20多篇论文之后，发布了一则关于如何写好机器学习论文的指南。

旨在帮助研究者将研究成果转化为高质量、科学诚信的论文，解决在表达上“晦涩难懂”的痛点。

让我们一起来看看一篇优秀的论文该怎么写吧。

What? How? So what?

Neel Nanda认为，研究只有被人们阅读、理解、参与，甚至理想情况下相信时，才会有意义

并且他提到理想论文的精髓在于叙事：讲述一个简短、严谨、基于证据的技术故事，并包含读者关心的要点。

What?——一到三个符合连贯主题的具体新颖主张。

How?——你需要严谨的实证证据来令人信服地支持你的主张。

So what?——读者为什么要关心呢？

写论文要将研究压缩为核心主张，并用严格的实验证据支持，同时要让读者明白研究的动机、问题及影响。

论文写作关键要素

构建叙事

• 从研究中提炼出令人感兴趣、重要且独特的结果作为核心主张（1-3个具体新颖的主张），构成一个连贯主题，形成有价值的结论。

把握写作时机

• 列出研究收获，审视其能否为结果提供有力证据，深入思考他人关注该研究的原因，聚焦难点和亮点。在准备进入写作阶段前，必须要认真检查关键实验。

突出新颖性

• 成果要能拓展知识边界。通过明确阐述与前人工作的差异来展现新颖性，可借助LLMs了解前人研究。

提供严谨证据

• 通过实验提供证据，实验需要能区分假设，具备可靠性、低噪声和统计严谨性。进行消融研究，考虑未知因素，避免误导性证据，注重证据质量和多样性，选好基线并提供详细实验细节。

论文结构解析

• 摘要：激发阅读兴趣，简洁呈现核心主张、研究影响，解释关键主张及依据，给出研究的重要结论和意义。作者以《Refusal in Language Models Is Mediated by a Single Direction》这篇文章为例，对其摘要进行了逐行解析。

• 引言：介绍研究背景、技术背景，阐述关键贡献、核心证据和研究意义，以列表形式呈现主要贡献。
• 正文：涵盖背景、方法和结果，解释相关术语和技术，说明实验方法、应用过程和结果，依实验情况合理组织内容。
• ：阐述研究局限性，探讨研究的更广泛影响、启示和未来方向。
• 相关工作：说明与前人研究的差异，解释自身工作的价值，可后置，除非对论文动机有重要作用。
• 附录：放置不适合在正文呈现的信息，对正文起补充作用，写作标准相对较低。

写作流程建议

先压缩研究内容，明确核心主张、动机和关键证据，批判性评估；再迭代扩展，从要点叙事开始，逐步完成引言、全文大纲、初稿，不断修改完善。

常见问题及应对策略

针对过度关注发表、内容复杂冗长、忽视写作过程等问题，作者建议先专注科研再优化投稿，使用简洁语言，重视写作过程，合理安排时间。

细心的网友还发现，Neel Nanda的这份论文写作指南与《Nature》的带注释的指南在理解上趋于一致。

关于Neel Nanda

Neel Nanda是谷歌DeepMind的一名资深研究科学家，领导着机械可解释性团队。

他在剑桥大学读了纯数学本科（2020 年毕业），并在量化金融领域实习过（Jane Street和Jump Trading），毕业后花了一年时间探索人工智能安全，在人类未来研究所、DeepMind和人类兼容人工智能中心实习。

之后，他在Anthropic（OpenAI前高层创立的一家人工智能安全和研究公司，主要产品有Claude系列）担任语言模型可解释性研究员。目前在谷歌DeepMind负责机械可解释性团队。

主要研究成果

Neel Nanda在相关领域发表了多篇论文，如 《Progress measures for grokking via mechanistic interpretability》、《A toy model of universality: reverse engineering how networks learn group operations》等。

他还开发了一些工具和资源，包括用于语言模型机械可解释性的Transformer Lens库、全面的机械可解释性解释器和术语表，以及一个关于机械可解释性的 YouTube 频道，上面有许多论文讲解和实时研究讲解。

想知道更多关于论文写作的细节，可以到原文查看～

文章链接：
https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers
作者博客：
https://www.neelnanda.io/mechanistic-interpretability
[1]https://x.com/NeelNanda5/status/1921928364790833651
[2]https://x.com/SharonYixuanLi/status/1921744333511802993

— 完 —