对话香港理工秦浩桐：把AI大模型压到极限之后

在秦浩桐看来，AI 越强，值得研究的问题就越多。AI 聊天模型刚出现时，人们拿它聊天、解答困惑。后来发现它能写代码、处理任务，又开始希望它多做一点，最好能替自己把事情办完。模型的能力在长，人们的要求也在长。原来还没有人想到的用途，一旦变得可能，马上就会暴露出一批新的难题。

所以，当有人觉得 AI 已经很难再找到“无人区”，秦浩桐的判断则相反：“处处都是无人区。”在他看来，一个问题解决以后，很快就会变成基础知识，大家习以为常，容易忘记它也曾经困住过人。可模型刚刚能够触及一个新任务，和它真正能把任务做好，往往还隔着很远。

秦浩桐在北航完成本科和博士学习，并曾在苏黎世联邦理工学院开展学术访问和博士后研究。他如今是香港理工大学电子计算学系助理教授。研究环境几经变化，他始终关注 AI 效率的问题：使用一个模型要花多少钱；发出指令后要等多久；怎样在有限的资源下，尽可能保留模型的能力。

过去做模型压缩，秦浩桐更多考虑的是怎样节省存储空间和计算资源。后来他发现，速度还会影响机器最终能不能把现实世界里的事情做好。他关心的始终是，模型有了能力之后，怎样才能让人们真正用好它。

以下是 DeepTech 与秦浩桐的对话。

为什么还要继续往下压

DeepTech：你从读博前就开始研究模型压缩。最初为什么选了这个方向？做了这么多年，又是什么一直吸引着你？

秦浩桐：最早是在了解企业招聘需求时，我发现很多公司都有模型压缩的需求。后来有机会进入实验室，便正式踏入这个方向。深入研究之后我意识到，AI 除了性能要不断变强，更要做到让大家用得起、等得起。调用模型的成本高低、发出指令后多久能拿到结果，都是产业里非常关心的问题，而压缩技术刚好和这些问题紧密相关，这也是我坚持做下去的原因。

另外一点，这个方向的知识具备持续积累的价值。AI 上层应用迭代速度飞快，但底层计算逻辑相对稳定。从多层感知机、卷积神经网络，再到注意力机制，绝大多数模型都依托矩阵运算，再依托硬件架构和指令集实现。大模型兴起之后，我们自然会针对它展开研究，但追根溯源，它依旧建立在这些共通的计算基础之上。

DeepTech：压缩的需求很明确，但压得越狠，往往越容易损失性能。你做极限压缩时，也遇到过“已经不好用了，为什么还要继续”的质疑。现在你怎么看这些声音？

秦浩桐：类似的质疑几乎一直伴随着我的研究。做二值神经网络的时候有，后来转向大模型、生成模型研究，依旧会遇到。现在我并不觉得这一定是坏事。很多有价值的研究，在诞生之初，很难充分展现出实用价值。科研本身要做的一件事，就是直面质疑，再想办法去攻克难题。

当然，不被认可不等于研究就有价值。我会给自己找一个实在的 “锚点”。对于压缩和加速技术，可以先测算清楚：在极限条件下，它究竟能带来多大的效率提升。举个例子，二值神经网络一直很难恢复性能，但它在资源受限场景下的加速优势是有据可依的。只要确认这一点，我们就清楚：一旦把性能优化到可用水平，它能带来什么样的收益。

这个判断依据很关键。剩下的路依旧很难，但我们清楚自己努力的意义。之后和企业合作也看到了不少落地路径：一项技术未必能立刻适配所有场景，但可以先落地到刚需场景里，先产生价值。

DeepTech：如果目标是尽快让模型好用，似乎可以先找一个没那么激进的压缩比例。高校团队为什么还要花时间去碰极限？

秦浩桐：这或许和高校的科研定位有关。在需要大规模资源投入和工程迭代的方向上，企业往往具有优势。而高校的重要职责之一，是持续探索价值尚未被充分认识的基础问题。对我们团队而言，极限压缩就是这样的研究方向。我们希望去研究更贴近压缩本质的问题，这也是我一直关注极限压缩的原因。

DeepTech：在以前的采访中，你说过 AI 领域“处处都是无人区”，但从外面看，这个领域已经非常拥挤。那些还值得探索的问题，具体在哪里？

秦浩桐：在判断还有没有无人区的时候，我们往往只盯着当下已经落地的成果。但更强的 AI 诞生之后，新需求会不断涌现，这些新需求又会暴露出现有模型的短板。

比如 AI 对话模型刚出来的时候，不少人觉得它和早年的语音助手、聊天软件没有本质差别，只是模型更强、理解能力更好。等到它能做的事越来越多，大家又开始期待 AI 智能体在数字环境里帮自己处理各类任务。当一个新需求出现的时候，往往只是模型刚刚触碰到这个能力边界。想要真正稳定、完整地满足需求，中间还有很长的路要走，这里面就会源源不断产生新的研究课题。

反过来，一个问题一旦被解决，很快就会成为行业共识、基础知识。大家不再把它当成难题，就容易觉得没有值得深挖的内容。但新能力、新需求永远在不断出现。

在极限里把问题看清楚

DeepTech：在发表于 ICML 2024 的 BiLLM 研究中，你们把预训练大语言模型的平均权重位宽压到了约 1.08 比特，这是一个很出色的成绩。在 2023 年启动这个项目时，你们想弄清楚什么？

秦浩桐：当时大模型开始受到广泛关注，我们做量化的团队也很快把重心转向大模型。我当时关心两件事：压缩之后，如何提升模型精度；在现有的技术框架下，模型到底能被压缩到多极致。BiLLM 主要围绕第二个问题展开，想试一试，能不能把预训练模型的平均权重位宽压到接近 1 比特。

这里有一个前提：我们希望直接处理现成模型，而不是从头训练。因为在看重效率的落地场景里，重新完整训练一个模型，成本太高。这种在模型训练结束之后再做量化的方式，叫做训练后量化。

难点在于，原本用高精度数值表示的权重，直接压缩到只有两种取值状态，模型内部的表征会发生剧烈变化。用当时已有的方法处理，模型输出质量严重下降，难以生成连贯、有效的内容。我们通过一系列优化手段，让它在极低的位宽下依旧可以推理运行，保留一部分语言能力。

当时也有大厂团队，从训练阶段就探索低位宽模型，他们可以验证充分训练之后，这类模型能够达到怎样的能力上限。而我们探索的是另一条路线：面对一个已经训练好的成品模型，用当时可行的方案，把压缩推向极限。

DeepTech：真实产品未必需要压到这么极端，你怎么看待压缩所面临的取舍问题呢？

秦浩桐：我们也做大量面向工业落地的工作，优先保证模型性能。做产品的时候，通常会组合多种压缩方案，在精度和运行效率之间找到合适的平衡点。

极限压缩有一个独特优势：问题边界更容易界定。1 比特只有两种取值，4 比特对应 16 种，8 比特对应 256 种。取值状态变少之后，我们更容易把问题抽象成数学问题，借助优化理论去拆解、解决。从极限场景得到的结论，后续又可以迁移到其他位宽，或是多种压缩方案的组合优化里。

比如之前，有工业界团队提出，尽管已经做了大量实验，压缩过程里始终有一些瓶颈难以突破。后来交流时我们发现，我们在极限压缩中摸索出的信息理论的优化视角，还有对权重数值分布的理解，能够帮团队进一步提升模型精度、优化效率。

这次交流让我们充分看到，工业团队积累的实践经验，与极限压缩研究形成的理论认识可以相互补充，为解决实际问题提供新的思路。我们希望沉淀这类底层认知，再反哺到实际应用当中。

DeepTech：其实 AI 模型学习本身，也常被理解为把大量信息压缩进参数。如果这样看，你们做的模型压缩，是在这个过程里再压一次吗？

秦浩桐：我也经常思考这个问题，不过目前还只是一个猜想。如果把机器学习看作信息压缩，那么模型就是把海量文本和输入信息提炼成能力，存储在参数之中。但这个学习过程，以及最终得到的模型，未必能适配真实部署场景对效率的要求。

模型具备了能力，可我们没有足够资源让它高效跑起来，这时就需要人为再做一轮压缩。压缩可以放在训练阶段，也可以等训练完成之后再执行。从这个角度来说，我们做的就是第二次压缩。二次压缩通常会带来信息损耗，我们的目标，就是尽可能减少有效信息的破坏，把真正关键的知识和能力保留下来。

真实世界不会等它想完

DeepTech：你提到，让语言模型在小车上运行，给了你一些不太一样的想法，可以具体分享一下吗？

秦浩桐：此前，我们主要关注模型压缩与加速的效果，以及在芯片上部署后的推理表现。实体设备上的闭环任务，则让我们进一步认识到延迟对最终任务表现的影响。在把语言模型部署到赛车上之后，我们发现，压缩除了节省算力和存储资源，还能改善整套系统的表现。

原因在于：模型精度虽然有所下降，但推理速度变快了。原先一分钟的推理，压缩之后可能只需要数秒就能完成。推理耗时缩短后，系统作出决策时所依据的环境信息也更及时。哪怕模型对环境的理解能力弱一些，但信息本身更及时。

在持续和物理世界交互的场景里，延迟本身就会影响系统的最终表现，也会直接影响人的使用体验。这一点，单纯在算法或者芯片仿真层面，很难直观感受到。

DeepTech：你现在看一项效率研究，会怎么去做判断呢？

秦浩桐：现在评判一项研究的好坏确实不容易。论文产出越来越多，写作质量普遍也越来越高。很多时候，需要花不少时间，甚至亲自复现一遍，才能检验它的真实价值。

如果暂时没有时间复现所有对比方法，我会先看他们的数理逻辑是否自洽，是否符合经验直觉、能否用理论解释清楚它有效的底层原因。其次看代码、模型是否开源，以及开源的完整程度。针对效率相关研究，还要看它有没有在真实硬件上部署、有没有开发配套算子、有没有给出实测的运行数据。

这些维度不一定能证明研究有重大突破，但至少能增加这项工作的可信度，也方便其他研究者沿着这个方向继续推进。

和学生一起继续学习

DeepTech：你经历过导师很细致的培养，现在学生接触研究更早，也有更多工具可用。你希望自己怎样帮助他们？

秦浩桐：我刚进入北航开始科研的时候，几乎没有 AI 科研经验。怎么选题、怎么搭建论文框架、研究逻辑怎么梳理、怎么和审稿人沟通，导师都花了大量时间手把手带我。我认为，这种指导的底层逻辑直到今天也没有改变。此外，现在开始指导学生之后我逐渐发现，很多同学已经产出了不错的研究成果，知识面更广，相比我自己开始科研的时候拥有更多获取信息的渠道。

所以在今天，我希望依托自己积累的经验和研究视角，和同学们一起去探索有意思、有价值的问题。同时我也提醒自己，要主动吸收他们擅长的新知识。AI 发展速度快、覆盖面广，没有人能做到全知全能，所有人都要持续更新认知。和同学们交流，对双方都是成长。

DeepTech：你很鼓励学生用 AI，但也有老师担心，工具把事情做得太容易，人会慢慢失去思考的习惯。你有这样的顾虑吗？

秦浩桐：我承认这种风险确实存在，但我依旧支持大家拥抱 AI。我自己也是这么做的，适合用 AI 的地方，就不必全部靠人工完成。

其实工具带来的这种改变一直在发生。比如，我刚做科研的时候，翻译工具在写作层面帮了我很多。那时候写英文文稿，不光行文表达吃力，梳理研究逻辑本身就有难度。借助翻译工具，我可以先把中文思路理顺，再完成英文表达。

如今的大模型，在辅助写作这件事情上相当于能力强得多的翻译工具：你把想法告诉它，它试着帮你把想法落地成文。但想要做出高质量、有影响力的研究，依旧离不开人的科研品味、逻辑思辨和判断能力。你需要反复和模型交互，排查输出里的漏洞，不断修正。在我看来，这只是科研交互方式的转变。理想状态下，我们可以借助这一工具，更充分地表达自己的想法，但最终的判断环节，必须由人来把控。

DeepTech：你的判断力，是在长期研究和导师指导中练出来的。如果一个学生从一开始就让 AI 写代码、组织材料，他又靠什么学会判断？

秦浩桐：核心在于学习与反馈闭环。在过去，老师提炼知识点传授给学生，学生查阅资料学习，产出初步成果之后，再由老师帮忙一起评估、修改，形成一个完整循环。用 AI 生成代码的时候，要避免拿到结果就直接运行、不加审视，遇到问题直接继续提问。

AI 可以辅助信息搜集、代码编写和实验方案构思，但同学们需要理解关键原理，并通过资料核对、代码测试和实验验证检查结果。模型给出的说明可以帮助理解，最终仍要由研究者判断和负责。AI 的使用不能变成一种单向的信息流动，如果研究者无法理解、无法校验自己获得的结果，这会是一种非常糟糕的状态。

参考资料

https://www.polyu.edu.hk/comp/people/academic-staff/prof-qin-haotong/

https://proceedings.mlr.press/v235/huang24q.html

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成