彩云科技CEO袁行远：如果底层模型没突破 AI将停滞不前

5月23日消息，日前，彩云科技发布了全新通用模型结构DCFormer，其相关论文《Improving Transformers with Dynamically Composable Multi-Head Attention 》将在第41届国际机器学习大会ICML 2024正式发表。

在论文中，彩云科技实验证明了在三千亿级训练数据和70亿级模型参数量下，DCFormer效率是Transformer的两倍。据一位评委透露，今年录用论文的平均分为4.25-6.33，而彩云科技团队的论文获得平均7分的高分，这说明彩云科技的此项研究成果获得了学术界认可，彩云科技具备全球领先的AI技术实力。

资料显示 ，ICML是国际机器学习领域的顶级会议，能够发表论文的中国初创企业屈指可数。彩云科技证实，其大模型结构DCFormer可以达到1.7~2倍算力的Transformer模型的效果，即算力智能转化率提升了1.7~2倍。在众多NLP下游任务和图像识别任务上的测评也验证了DCFormer的有效性。DCFormer对性能算力比的提升幅度超过自2017年Transformer诞生至今被证明最普适有效并被广泛采用的两项结构改进的提升幅度之和（同时应用这两项改进的Transformer架构也叫Transformer++，如Llama）。而且随着模型规模的增大，DCFormer的提升越来越大（左图下的蓝线和绿线），而Transformer++的提升越来越小（左图下的黑线）。可以说，DCFormer让Transformer的能力又跃上一个新台阶。

彩云科技CEO袁行远说："如果底层模型没有突破，人工智能的进步终将停滞不前。人人都说神经网络是个黑盒，我们需要勇气和耐心打开这个黑盒，通过分析模型运转原理，我们才能知道智能的本质规律，从而可以改进模型，提高模型的运行效率。"

通用大模型DCFormer将Transformer效率提升了两倍，这意味着什么？袁行远解释说："如果 GPT-4o 能够用上DCFormer，推理一次128k上文的成本，就可能从4元变成2元。而且DCFormer 模型越大，效果越好，考虑到ChatGPT的巨大参数量，DCFormer可能在千亿、万亿模型上效果更好，因此价格甚至可能下降到1.5元、1元。Meta的100亿美元显卡训练的模型，可能50亿美元就能够用。"解开智能的科学的奥秘，实现通用人工智能——这是彩云科技10年以来孜孜不倦追求的目标。基于此，彩云科技在Github上开源了DCFormer的模型代码、权重和训练数据集。

据悉，未来彩云科技会将全新大模型DCFormer应用于旗下三款app，并将进一步发展彩云小梦，加速提升AI续写能力。（定西）

本文系网易科技报道，更多新闻资讯和深度解析，关注我们。