Kimi掀起大模型长文本竞赛

作为月之暗面的创始人，杨植麟常把他的AGI梦想形容为"登月计划"，长文本就是这个伟大计划的第一步。但现在，随着Kimi的爆火出圈，赛道瞬间变得拥挤，24小时内，阿里、360、百度紧急"出手"，纷纷入局长文本赛道。

大厂的加入，让月之暗面充满理想化色彩的"登月计划"，有了更接地气、更市场化的一面——从千亿参数到千万长文本，大模型好像又"卷"出了新高度。而一同被"卷"起来的，还有大模型的商业化进程。

图片来源：月之暗面官微

内卷长文本

Kimi像条"鲇鱼"，用200万字无损上下文激活了整个国产大模型市场。3月23日，360智脑宣布正式内测500万字长文本处理功能，该功能即将入驻360AI浏览器，同时360AI浏览器App也即将上线。

头天晚上，阿里通义千问宣布，向所有人免费开放1000万字的长文档处理功能，成为全球文档处理容量第一的AI应用。与此同时，也有媒体从知情人士处获悉，百度文心一言下个月将进行版本升级，届时也将开放长文本能力，文字范围会在200万—500万。

Kimi是月之暗面推出的一款智能助手。3月18日，月之暗面宣布Kimi智能助手已支持200万字超长无损上下文，并于即日起开启产品内测。去年10月刚发布时，Kimi可支持的无损上下文输入长度为20万字。3月21日，因过于火爆，Kimi一度"宕机"。

天使投资人、资深人工智能专家郭涛对北京商报记者分析称，200万字的长文本处理能力是一个巨大的技术突破，这意味着AI模型可以理解和生成更复杂、更丰富的内容，这对于许多应用场景，如自动写作、内容生成、信息检索等，都具有重要的价值。

这可能也是Kimi引爆市场的关键。

3月22日，"Kimi概念"进入持续火爆的第四天，不过资本市场上已出现分化迹象，当天收盘，掌阅科技、中广天择收获三连板，因赛集团股价则跌超4%，电广传媒跌超3%。

财经评论员张雪峰对北京商报记者提到，这一突破意味着在自然语言处理领域，特别是文本生成和理解方面，Kimi取得了重大进展，其主要技术突破包括长文本处理能力、上下文理解和训练技术三个方面。

以长文本处理能力为例，Kimi能够处理长达200万字的文本，而且在处理过程中不会出现信息丢失或失真的情况。这种能力在以往的自然语言处理模型中很难实现，因为长文本的处理需要更大的内存和更复杂的模型结构。

AGI的初心

20万到200万的变化，不止在于字数的简单累积，更在于"无损"和它们共同指向的AGI目标。

杨植麟曾解释称，通往AGI，无损的长上下文将会是一个很关键的基础技术。从word2vec到RNN、LSTM，再到Transformer，历史上所有的模型架构演进，本质上都是在提升有效的、无损的上下文长度。

"上下文长度可能存在摩尔定律，但需要同时优化长度和无损压缩水平两个指标，才是有意义的规模化。"杨植麟说。

月之暗面曾介绍，从20万字到200万字，由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也是指数级增加的。

为了达到更好的长窗口无损压缩性能，月之暗面研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走"滑动窗口""降采样"等技术捷径，攻克了很多底层技术难点。

但字数累积的表象以及大厂相继亮出同类型产品的情况，也让"吃瓜群众"对于所谓的技术突破有些疑虑。

在接受北京商报记者采访时，伽利略资本合伙人郑譞做了一个类比，对象就是不久前火爆全球的文生视频大模型Sora。

郑譞解释称，文生视频可以看做是连续的文生图，从理论层面上，可能并不是颠覆性的突破，但是做到稳定生成长视频确实有难度，更多解决的是工程上的问题。但也不能说工程上的创新就不是创新，月之暗面无损长文本可能也是这个道理。

概括起来，从底层技术上来看，Kimi可能确实没有颠覆性的突破，更像是一个突破性技术的前序技术。

"长文本技术上需要解决上下文理解、长期记忆、复杂推理、多任务适应性以及计算效率等问题，学界其实早就有一些相应的解决方案，比如长文本处理、注意力机制优化等，但是在复杂推理和计算效率上工程难度还是很大的，各大厂也都给出了自己的方案，只不过之前大家并没有将‘长文本’当成关键词给予足够的关注度"，郑譞称。

郭涛也提到，从目前公开资料来看，Kimi的技术确实具有一定的竞争优势，但还不具备技术壁垒。长文本可能会成为大模型的下一个"卷"的领域，因为这是一个具有广泛应用前景和商业价值的研究方向。

不过在郑譞看来，月之暗面与其他人工智能企业真正的不同点，并不在于技术乃至商业化路线的差异，而在于"初心"的不同。

郑譞将杨植麟形容为一个"富有理想主义的创始人""他的目标就是打造自己理想的AGI，而不是从落地或者务实的视角去思考当下的问题"。

商业化"肉搏"

理想化的月之暗面，也不能完全"脱俗"。Kimi爆火时，有媒体报道称，月之暗面相关负责人提到，年内将有商业化初步方案。对于具体的商业化路径以及大厂竞相加入是否会对Kimi的商业化产生影响等问题，北京商报记者联系了月之暗面，但截至发稿未收到回复。

郑譞猜测，相较于特定应用，Kimi的商业化可能类似于OpenAI，更倾向于一种通用性的商业化，例如商业化的高端接入入口用以扩展客户的应用等。

目前已有多家企业确认了与Kimi的合作。例如3月24日，万兴科技对外透露，公司旗下视频创意软件万兴喵影已率先接入Kimi，其AI写文案功能当前已采用Kimi大模型服务，万兴科技正加速旗下其他产品对Kimi的对接测试。

而对于大厂纷纷加入长文本竞争的原因，张雪峰认为，长文本处理能力是自然语言处理领域的一个重要方向，而且随着信息量的增加，对长文本处理能力的需求也越来越迫切。

张雪峰进一步补充称，Kimi的技术突破表明长文本处理已经成为可能，因此大厂纷纷投入研发长文本处理技术，以保持竞争力和领先地位。另外，长文本处理也是满足用户需求的重要途径，可以为用户提供更全面、准确的信息服务。

至于大厂的入局，是否会给月之暗面商业化造成影响，郑譞则给出了否定的回答，原因在于"虽然都在讲长文本，但大家的侧重点显然是千差万别的，而且各家所追求的愿景也有着天壤之别"。

回归"为什么是Kimi"的问题，中信建投研报提到，月之暗面打造高关注度应用KimiChat，一方面在于核心团队技术背景深，另一方面在于产品面向C端免费开放，注重产品运营。

据悉，月之暗面目前在招的31个岗位中，其中6个为市场、运营类岗位，包括达人运营、国内广告投放等。"目前招募更多市场、运营类人才，后续有望推动产品进一步破圈"。研报称。

北京商报记者 杨月涵