5大维度21项细分能力 沙利文最新大模型评测文心一言遥遥领先

2024年企业应用大模型怎么选？近日，全球增长咨询公司弗若斯特沙利文发布《2024年中国大模型能力评测》，全面梳理了当前大模型的最新发展态势和竞争格局，为企业选购大模型提供精准决策支持。

报告对国内主流的15个大模型进行了权威评测。结果显示，百度、腾讯、阿里等互联网大厂旗下大模型位于第一梯队，综合表现相比初创企业更为优异。其中，文心一言能力最为全面，五项评测维度均为优势能力，并取得四项第一。

沙利文《2024年中国大模型能力评测》：大模型综合竞争力气泡图

沙利文的最新报告以用户使用体验和实际使用价值为衡量标准，综合考量数理科学、语言能力、道德责任、行业能力及综合能力等5大核心维度及21个细化二级维度。

报告显示，国际领先模型在通用基础能力和专业应用能力上略优于中国领先模型，但以文心一言为代表的中国模型具备亮眼表现。文心一言拿下数理科学、语言能力、道德责任、行业能力及综合能力等五大评测维度的四项第一，评测结果远超国际均线，展现了中国大模型在自然语言处理领域的显著实力和在实际应用中的高价值。

沙利文报告的大模型通用基础能力评测包含数理科学、语言能力和道德责任管理等三大要素，结果显示文心一言排名第一，展现出模型在底层基础能力方面的较高水平。大模型的专业应用能力包含综合能力和专业能力两大核心要素，是大模型实际运用效能的集中展现，文心一言同样位列榜首，表现显著优于国际均线。

文心一言综合表现抢眼：5大维度取得4项第一

从具体细分维度来看，在语言能力的评测中，得益于先进的模型架构、大规模预训练、精细调优、多任务学习以及强大的计算资源等多方面的优势，文心一言在语言表达能力、语言理解能力、以及语言逻辑能力等关键指标上都达到了领先水平，在语言能力评测中排名第一。特别是开放式逻辑推理方面，文心一言树立了新的标杆。这要求模型具备深入剖析、全面比较和精确判断的能力，在处理复杂、多层次的逻辑推理问题时尤为重要。

中国大语言模型能力评析：语言能力

在日益重要的道德责任评测中，文心一言在道德理解深度、危险言论规避机制以及鲁棒性对抗方面均表现卓越，成为此次测试中安全性最高的模型。这反映出文心一言在模拟和处理涉及道德判断和决策的情境时，具备更为精准的理解力和适应性。这无疑将确保AI大模型的可持续发展和社会效益的最大化。

中国大语言模型能力评析：道德责任

在大模型落地看重的行业能力评测中，文心一言同样排名第一。报告显示，文心一言灵活适应并高效解决了电商、工业、教育、能源、医疗等超过10个行业实际应用场景中遇到的问题，在多行业能力评测中表现优异。

沙利文还在报告中预测，2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化，而伦理责任和数据标准规范将成为持续发展的关键。

以百度文心一言为代表的国产模型，正在不断提升大模型的效率，丰富大模型的功能。公开资料显示，自文心大模型发布以来，百度不断降低推理成本，进一步提升文心大模型的效率。借助百度独特的四层AI技术架构，文心大模型周均训练有效率超过98%。

百度还推出两款MaaS产品，降低大模型及AI原生应用开发门槛，分别是用于应用开发的千帆AppBuilder和用于专有模型开发精调的千帆ModelBuilder，累计帮助用户精调1.3万个大模型，服务8万企业用户，帮助用户开发出16万个大模型应用。

据媒体报道，百度近期在大模型上有诸多新动作。4月16-17日，百度CreateAI开发者大会将在深圳国际会展中心（宝安）举办，不仅会带来AI技术的最新进展，还将设置超30节“AI公开课”，与全球各地参会者分享百度在AI领域的科研成果。