贵州
作者：小森（南京大学 CS硕士在读）
部门与岗位：Flow - 豆包团队 - 大模型
一面
自我介绍，问实习和论文
看你实习微调过 Qwen2 ，说说 Qwen2 的模型结构吧，Qwen2 相比 Qwen1 做了哪些改进
为什么现在 Decoder-only 成为大模型的主流架构，相比于 Encoder-Decoder 的架构好在哪里
讲一下 RoPE 吧，目前常用的位置编码还有哪些，RoPE 有什么优点（相对位置、外推性……），如何进一步外推
为什么有了 SFT 之后还需要 RLHF
PPO 和 DPO 的主要思想是什么，DPO 相比 PPO 的 RLHF 做了哪些改进，除此之外还知道哪些 RL 算法，知道 DeepSeek 的 GRPO 吗
代码： 23. 合并 K 个升序链表
一面整体来说还是比较基础的，都是一些八股的知识，没有考什么自由发挥的题。不过力扣还是难的，出了一道 hard
二面
自我介绍，选一个做的好的实习或者论文讲一下，这里问的比较细，动机是什么，为什么用当前的方案
了解 KV cache 吗， GQA 的思想是什么
讲一下 FlashAttention 的思想和做法
除了刚刚说到的这些，还了解过哪些模型训练推理优化的方法（ DeepSpeed ，数据并行，张量并行，流水线并行……
开放题：如果要提升大模型的多轮对话能力，你有哪些可以改进的点
代码：刚刚提到了 GQA，写一下 GQA 吧
二面更偏底层优化，没有过多的问一些大模型结构方面的东西，应该是考虑到一面都问过了。整体的考察比较灵活一些
三面
自我介绍，过实习和论文，这里面试官会穿插问一些八股的知识，比如了解 Qwen 的结构吗，微调的数据配比是怎样的
大模型的灾难性遗忘问题怎么解决
了解 RAG 吗，GraphRAG 的做法
场景题：目前有一些专业领域知识，比如医疗知识或者法律条文，准备做一个智能助手，要让你搭建一个 RAG 链路，会怎么做
开放题：用过豆包吗，觉得目前豆包还存在什么问题
代码： 416. 分割等和子集
三面一些八股还是问的比较常规的，但是自由发挥的题目有点多，感觉有点难答，不过好在面试官会进行启发，抛出一些小问题来引导回答
总结
整体来说面试还是有一些难度的，还是要好好准备
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
