北京
出品｜网易科技《态度AGI》对话栏目
作者｜宗淑贤
编辑｜丁广胜
各类大模型公司井喷式诞生的时代，应当卷底层还是卷应用？彩云科技CEO袁行远表示——我全都要。
“我们坚持自己做模型结构研究，自己做基座大模型，实现模型应用的一体化。不仅可以大大节省模型成本，也可以实现很多套壳应用无法实现的‘魔法’。”袁行远说。
现今大模型的发展前沿尤为聚焦于模型架构的优化与训练效率的提升上。Scaling Law虽然证明了模型参数和性能之间的正相关性，但模型结构的优化同样重要。通过改进模型架构，能够在保持甚至超越原有性能水平的同时，大幅度减少对计算资源、存储需求以及时间成本的依赖。
这意味着，在资源有限的实际应用场景中，优化后的模型能够展现出更强的适应性和竞争力。
优化模型结构，了解、研究Transformer的内部结构与运作就是一个无法避免的问题。自从Transformer模型提出以来，它已经成为NLP领域的主流模型之一，被广泛应用于机器翻译、文本生成、文本分类、情感分析以及GPT等预训练语言模型中。
然而直到现在，Transformer也如同黑盒一样，学术界仍然无法完全解释它。袁行远对此进行了诙谐地类比：
“ChatGPT推出后，业界有三条路，我们称之为普文二路线。普通青年选择堆砌算力和数据，相信scaling law；文艺青年选择搭建Agent工作流，检索增强、提示词工程等。这两条路都是把Transformer当作黑盒，不用了解具体原理。还有一条二B青年之路，就是打开黑盒，研究Transformer这个积木块内部结构。”
在业界主流默认将其作为一种优秀的模型而规避探讨与研究内部结构时，彩云科技已经开始着手研究它的可解释性。DCFormer是彩云科技所交付的答卷。
DCFormer是彩云科技提出的基于Transformer的改进模型，它在保持Transformer模型优点的基础上，对模型结构进行了优化和改进，实现了将Transformer的计算性能达到两倍的提升。
2023年，彩云科技开始All in DCFormer的研究与开发。2024年，彩云科技关于DCFormer的研究被ICML 2024接收为Oral，成为唯二来自中国企业的论文。
袁行远表示，优化后的全新大模型DCFormer将在八月应用于即将上线的彩云小梦v3.5中。这将是彩云科技首次将DCFormer所架构的模型应用在拥有百万级用户规模的实际生产环境。
袁行远说：“DCFormer证明了模型结构研究这条二B青年之路，和其他路线一样，也有光明的前途。”
以下为网易科技《态度AGI》与袁行远对话实录（略有修改）：
《态度AGI》：彩云科技全新大模型DCFormer的应用进度如何？
袁行远：基于DCFormer的小梦v3.5（7b）已经完成预训练，比之前基于Transformer架构的2倍参数的小梦v3（14b）在故事创作的自动测评指标如ppl等更优，在人工测评上的表现也更具逻辑和创意。在llm leaderboard上所测评的MMLU等测数学、逻辑和代码能力的数据集上，使用1.3t tokens数据量训练的小梦v3.5，也超越了使用1.7t tokens数据量训练的llama2-7b。验证了DCFormer架构的模型，在参数量更小、训练数据量更少的情况下，能比transformer架构提供出更好的性能。同时也验证了我们的模型也不仅仅擅长于故事创作和角色扮演，也具有通用能力，比如数学、逻辑和编程。
小梦v3.5完成微调和Agent工作流适配后，将于今年八月份在彩云小梦/Dreamily 的App和Web上与全球用户见面，这将是人类历史上第一个DCFormer的架构的模型应用在百万用户量的实际应用中。随后我们会训练DCFormer的MoE版本小梦v4，并将在年内推出8x14b的DCFormer架构的小梦v5。小梦v5也将支持彩云小译的多语言翻译服务和彩云天气的生活小助手。
《态度AGI》：彩云科技如何面对同其他应用开发者的竞争？
袁行远：我们坚持自己做模型结构研究，自己做基座大模型，实现模型应用的一体化。不仅可以大大节省模型成本，也可以实现很多套壳应用无法实现的“魔法”，比如故事创作中很重要的人物性别和关系，我们可以直接以类似位置编码的人物编码向量形式嵌入输入，实现更好的控制效果。比如我们可以扫描每个人物内心的想法，直接读取模型的中间层向量结果。这种级别的控制不是模型应用一体化很难实现。我们通过模型和产品的创新不断保持差异化。
我们是第一个可以进行“23分钟后下雨，45分钟后雨停”这种分钟级别的降雨预测的软件，我们也是第一个看到雷达动画、降水预测动画、雾霾分布等数据的天气软件，我们开创了全双工同传、AI抽卡式续写、AI自定义人设等等功能，通过不断创新，推出一个又一个震撼世界又造福大众的功能，我们建立了很好的用户和口碑，我们之后利用用户社区的繁荣保持长期的竞争力。
《态度AGI》：彩云科技现在的商业模式是怎样的？
袁行远：彩云科技的商业模式很简单，核心就是几款王牌应用：彩云小梦、彩云小译和彩云天气。我们的目标就是做出真正有用、有趣的AI服务，让用户基于意愿主动付费。同时不只是靠用户订阅、付费功能和广告收入，我们也和很多企业合作，提供定制化的AI解决方案。通过这些手段，彩云科技在全球市场获得了超过1000万美元的ARR（年度循环收入），并且多元化的收入来源让我们在市场中更加稳固。
《态度AGI》：彩云科技已经成立十年，您如何总结过去？接下来的短期目标和长期目标又是什么？
袁行远：这十年，我们从无到有，从小到大，一步步走过来是很不容易的。最初的彩云天气，到现在的多款AI应用，我们不断创新、不断突破。可以说，我们每一个成功的背后，都有无数的挑战和努力。
短期目标是今年内成功推出小梦v5，并将其应用到我们的多款产品中，进一步提升用户体验。另外，我们也在积极拓展国际市场，让更多的用户了解和使用我们的产品。
长期目标方面，我们希望继续在AI技术上保持领先地位，尤其是在大模型和自然语言处理领域。同时，我们也希望通过我们的技术，为更多行业和领域带来实质性的改变，实现科技造福大众的愿景。
《态度AGI》：彩云科技近期还有融资计划吗？在AI时代，您如何给公司划定边界？
袁行远：有，我们一直在积极关注市场动向，并根据公司的发展需求进行融资。目前，我们正在进行新一轮的融资计划，目标是进一步加强技术研发和市场拓展。
AI时代机会与挑战并存。我们选择项目时，会重点考虑技术可行性和市场需求，同时评估项目是否符合公司的长期发展战略。我们不会盲目跟风，而是坚持自己的技术路线，专注于自己擅长的领域，通过不断创新和优化，保持竞争力。
《态度AGI》：您如何看待当下的大模型底层趋势？做底层大模型的公司很卷，甚至卷到了价格战，您怎么看？
袁行远：目前的大模型底层趋势主要集中在模型架构的优化和训练效率的提升上。Scaling Law虽然证明了模型参数和性能之间的关系，但我们相信模型结构的优化同样重要。通过改进模型架构，我们可以在更少的资源下实现更好的性能，这也是我们在DCFormer上取得成功的原因之一。
目前的大模型价格战虽然看起来有声有色，但是我觉得目前的模型价格还远远不够低，比如GPT-4o级别的智能度，仍然是单次对话需要2毛钱，你玩一个小时要20元，我觉得这对于学生为主的游戏玩家们还是太贵了。但其他廉价的模型又无法实现那种栩栩如生的效果。所以我觉得，价格还要进一步下降才行，通过技术创新不断降价和提高产品质量才是长久之计。通过不断降低我们的价格，提升我们的产品质量，我们才能够在竞争中脱颖而出。
《态度AGI》：您如何看待当下的大模型应用趋势？大家目前的共识是要去卷应用，据您观察，有哪些新的趋势吗？
袁行远：大模型应用的趋势主要集中在如何更好地将AI技术应用到实际场景中。许多公司在探索将大模型应用到各个垂直领域，如医疗、金融、教育等，以期带来实质性的业务价值。
我认为，未来的趋势之一是通过复杂的Agent工作流实现具有人类顶尖水平的行业应用。随着AI技术的进步，我们能够更好地理解和满足用户的个性化需求，并可以深入每个行业自己的逻辑，比如故事创作需要的一个好用的工作流，而非逐字输出。我们的目标是实现可以比肩人类顶尖作品（例如三体）的AI内容，而不是创作一些不入流的内容，这需要AI应用开发者和行业深入结合。其他行业也是如此。
《态度AGI》：您认为人工智能的终局形态是什么？我们会走向何处？现在具身智能很火，您怎么看？
袁行远：人工智能的终局形态可能是一个高度智能和自主的系统，能够像人类一样进行复杂的思考和决策。这种系统不仅能够处理大量的数据和信息，还能够理解和适应环境，做出符合AI价值观的决策。
具身智能的兴起是一个令人兴奋的方向。通过结合物理世界和虚拟世界，AI可以实现更高层次的智能表现。例如，具身智能可以应用于机器人技术，使其能够在复杂的环境中进行自主导航和操作，带来巨大的社会和经济效益。
引用《乐园追放》的一句台词来描绘我心中的终极形态：“人工智能总有一天会去探索宇宙，它会遇到外星人，那时请你骄傲的说，我是地球人类的后裔。”
关于《态度AGI》
网易科技重磅推出系列对话栏目《态度AGI》。过去三年，AI变革风起云涌，全球科技秩序正在重构，通往AGI的道路或许正在悄然临近。本栏目以AGI为题，将对话100位AI专家、企业家、投资人，试图拨开云雾，与大家一道见证AGI时代的到来。第十一期对话彩云科技CEO袁行远。
往期回顾：
《态度AGI》第一期：对话李开复：大模型创业狂奔一年 中美差距缩小 我十年不套现
《态度AGI》第二期：对话王小川：我们不跟进大模型价格战
《态度AGI》第三期：对话戴文渊：大模型价格战不解决核心问题
《态度AGI》第四期：智源研究院院长王仲远：GPT4不是国内大模型的尽头
《态度AGI》第五期：对话朱啸虎：5年后将没有独立的大模型公司存在，因为没有商业模式
《态度AGI》第六期：对话梅花创投吴世春：“中国大模型五虎”想要跑出来非常难
《态度AGI》第七期：对话跃然创新CEO李勇：做大模型应用 如何和巨头错位竞争
《态度AGI》第八期：对话智谱AI CEO张鹏：视频生成是AGI必经之路，超级App将在“不知不觉”中到来
《态度AGI》第九期：对话科大讯飞副总裁、研究院院长刘聪：中国大模型已从追赶对标走向自主原创
《态度AGI》第十期：对话360周鸿祎：魔法对付魔法，大模型安全问题得靠大模型
本文来源：态℃
责任编辑：
王文华_NBJS27248
