作者|星奈 繁语
编辑|方奇
媒体|AI大模型工场
国内大模型发展趋势|4月份解读
MoE模型或成为大模型的未来
MoE模型,即混合专家模型(Mixture of Experts),是由一组专家模型(Experts)和一个门控模型(GateNet)组成的一种深度学习模型。MoE模型的逻辑是将输入的数据根据任务类型划分为多个不同的区域,并且将每个区域中俄的数据交由一个或多个专家模型进行处理,从而提高整体性能。
MoE模型的主要优势在与传统的Dense模型相比,MoE模型能够在使用远少于传统模型所需的计算资源进行训练,计算效率更高,速度更快。也就是说在同等规模下,MoE模型能够更快的达到相同的训练效果。
在4月份,昆仑万维天工3.0采用4千亿级参数MoE混合专家模型,并将同步选择开源;全球移动互联网公司APUS与大模型创企新旦智能宣布,开源国内首个千亿参数MoE大模型;MiniMax 发布万亿 MoE 模型abab 6.5。
从当前的趋势来看,越来越多的公司和机构开始关注MoE模型的发展,并投入资源进行研究和开发,MoE模型十分有望成为大模型的未来。一方面,随着计算资源的不断增强和深度学习技术的不断进步,MoE模型能够处理更大规模的数据和更复杂的任务。另一方面,MoE模型的开源和共享也促进了后来者对其的研究和应用。
国内文生视频逐渐落地
在4月23日,爱诗科技完成蚂蚁集团领投A2轮超亿元融资,至此,爱诗科技一年内累计获得融资超2亿人民币。同时,爱诗科技在当月正式发布基于自研视频大模型开发的 C2V(Character to Video 角色一致性)功能,PixVerse 网页端已开放使用。
字节跳动旗下的剪映Dreanmina于近期改名为“即梦”,并正式上线了AI作图功能和AI视频生成功能。
同时,腾讯混元大模型也在近日完成了升级,目前支持单图可30s生成3D模型,视频生成时长达到16s。
腾讯云副总裁、腾讯云智能负责人吴运声本次升级发布会中表示:将视觉、音频、文本三种模态真正融合在一起,并做到端到端输入输出的技术值得关注,将成为未来技术发展的主要趋势,有很大的商业化前景。
大模型应用“开卷”办公场景
随着人工智能技术的飞速发展,大模型应用正逐步落地于各个场景,其中,办公场景成为了AI技术“开卷”的新领域。
360、金山办公、万知、钉钉、飞书等公司都在4月和5月这一时间段内,先后推出了各自的AI办公工具。这些工具利用大模型的强大能力,实现了文档智能处理、会议自动摘要、语音识别转写等多种功能,极大地提升了办公效率。
多家科技巨头纷纷在办公领域推出了基于大模型的AI工具,这些工具不仅为传统的办公方式带来了革新,也为行业带来了新的商业化机遇。
但是Forrester分析师卢冠男认为,客户需求还有待验证。目前技术厂商出于竞争的诉求,都在生成式人工智能方向上积极投入。但企业市场的买方仍然秉持谨慎的态度进行场景验证。消费端市场目前国内仍未有企业在类似 ChatGPT 的杀手级应用出现。技术厂商可能需要调整其投入产出和对经营的预期。
关于AI应用的商业化价值,腾讯文档产品总监熊飞表示:“关于AI应用的商业化价值,行业也还尚未给出一份完全明确可供参考的答卷。可以看出,大模型商业化逻辑、商业化达标的时间,都还需要市场和用户的验证。我们希望用户的付费意愿和效率提升是相匹配的,也会保持一个积极、务实的摸索心态。”
国内主要大模型最新进展
百度
4月19日,百度智能云千帆大模型平台在国内率先推出了针对Llama3全系列版本的训练推理方案,极大地方便了开发者们进行再训练,从而能够搭建出属于他们自己的专属大模型,现已开放邀约测试。
值得一提的是,百度智能云千帆大模型平台上的ModelBuilder工具,已预先配置了多种尺寸的大模型,这些模型不仅涵盖了国内外主流的第三方模型,而且数量高达79个,是国内目前大模型数量最多的开发平台。
同日,百度文库在2024年的Create2024百度AI开发者大会上,发布了全新的“智能漫画”和“智能画本”功能。
其中,“智能漫画”功能除解决单一环节的绘制问题外,还在故事生成等方面进行了深度的优化。目前,这一功能在处理多场景、多人物,确保人物一致性,以及维护故事完整性等方面,均处于行业的领先地位。
腾讯
4月22日,腾讯宣布旗下协作SaaS产品全面接入腾讯混元大模型,除企业微信、腾讯会议、腾讯文档等部分产品,腾讯乐享、腾讯电子签、腾讯问卷、腾讯云AI代码助手等协作SaaS产品也都已实现智能化升级。
市场对此次升级抱有较高的期待,希望AI的加持能够提升办公SaaS产品的价值,让这个相对成熟的市场扩容,并且吸引更多新用户的加入。
腾讯多个SaaS产品负责人表示,用户付费意愿高低在于是否能带来办公效率的提升,商业化逻辑还需要市场和用户的验证,当下的首要目标是让用户先用起来。
腾讯混元大模型采用的是当下最热门的混合专家模型 (MoE) 结构,其应用负责人张锋透露,MoE架构有两方面的优势:一是有更大的模型参数量,可吞吐更多的tokens。二是混合专家模型带来更小的实际激活量,可显著降低训练和推理成本。
360
三六零集团的创始人周鸿祎,在4月8日的直播中分享了集团即将推出的新产品——“360AI办公”。
据介绍,本产品集成了超过100个热门的AI应用,旨在为用户提供丰富而高效的办公体验。为了满足不同用户的需求,该产品采用了灵活的会员订阅模式。
据悉,360AI 办公是一款新生代办公效率平台,旨在提供办公用户各种办公提效工具和精美办公模板。
此外,该平台还提供图片模板、PPT 模板、Excel 模板、Word 模板等多种模板类型,覆盖了各种办公和学习场景,方便用户选择和应用。
科大讯飞
4月26日,讯飞星火大模型V3.5(以下简称“讯飞星火”)上新,系业界首个长文本、长图文、长语音大模型,不仅能快速学习海量文本、图文资料、会议录音等,还能在各种行业场景给出专业、准确回答。
升级后,讯飞星火具备长文档信息抽取、长文档知识问答、长文档归纳总结、长文档文本生成等能力,总体达到GPT-4 Turbo 4月最新长文本版本的97%水平。
而在银行、保险、汽车、电力等多个垂直领域的知识问答任务上,讯飞星火长文本总体水平已经超过GPT-4 Turbo。
同时,面向企业应用场景推出的星火智能体平台,帮助企业解决大模型落地的最后一公里难题。
在发布会上,科大讯飞董事长刘庆峰透露,科大讯飞将在6月27日发布讯飞星火大模型V4.0。
商汤科技
4月23日,商汤科技SenseTime于上海举办技术交流日活动。会上,商汤科技重磅发布行业首个“云、端、边”全栈大模型产品矩阵,以满足不同规模场景的应用需求,并且全新升级“日日新SenseNova 5.0”大模型体系。
此次发布后,商汤科技股票大涨,涨幅高达31.15%。截至停牌,总市值达268亿港元,公司股票日内的总成交额达12.61亿港元。
“日日新5.0”同样采用混合专家架构(MoE),通过激活少量参数即可高效完成推理,且上下文窗口扩展到约200K,极大地增强了模型处理复杂问题的能力。更为重要的是,日日新5.0基于超过10TB的tokens数据进行训练,覆盖了数千亿量级的逻辑型合成思维链数据。
智谱AI
在4月25日举行的SuperCLUE-Fin(SC-Fin)中文原生金融大模型基准测评中,智谱AI的大模型GLM-4荣获了A级评价,展现出了其卓越的性能。
此次测评全面覆盖了金融知识百科、金融理解认知、金融数理计算、合规与风险管理、投研应用以及投顾应用等六大核心领域,包含了二十五项具体的细分任务。
在测评过程中,工作人员通过模拟真实用户与模型进行交互,运用了单轮问答、多轮交互等多种形式,对GLM-4的各项能力进行了全面而细致的测试。
在激烈的金融领域测评竞争中,GLM-4凭借出色的表现位列第一梯队,其等级达到了A级,仅次于GPT-4 Turbo,并在国内排名中拔得头筹。
测评的详细结果显示,GLM-4在六类应用场景的二十五项细分任务中,不仅获得了一项A+评价,还在多个任务中获得了A级评价,这充分证明了其在国内金融智能解决方案领域的领先技术实力和广阔的应用前景。
阿里云
4月18日,Meta开源最新Llama 3系列,阿里云魔搭社区第一时间上架全部4款模型。阿里云百炼大模型服务平台宣布在国内推出针对Llama 3系列的限时免费训练、部署、推理服务,系国内首家。
企业和开发者即日起即可在阿里云上基于其打造自己的专属大模型,腾讯云也宣布腾讯云TI平台成为国内首批支持Llama 3全系列模型的平台之一
Llama 3已开源版本的基准测试数据亮眼。据Meta介绍,指令微调的Llama 3 8B在五项基准上得分超Gemma 7B-1t和Mistral 7B Instruct,Llama 3 70B三项基准超过Gemini Pro 1.5和Claude 3 Sonnet。
Llama 3上下文窗口仅8k,落后于业内平均水平。而周鸿祎表示,360的7B(70亿)参数大模型可输入长文本360k,已开源了长文本训练方法,可将这个方法用在Llama 3 8B训练,能够弥补该模型短板,有望取得进一步突破。
昆仑万维
4月17日,昆仑万维推出天工3.0,该模型采用4,000亿参数MoE架构,成为是目前全球模型参数最大、性能最强的开源MoE模型之一。
天工3.0在逻辑推理、语义理解、复杂需求应对和内容创作等方面的能力均得到了全面升级,数学/推理/代码/文创能力提升了超过30%。此外,“天工3.0”还新增了多轮搜索与综合工具调用、图表绘制等功能。
同时,基于天工3.0打造的天工SkyMusic也开启公测,天工SkyMusic是中国首个音乐AIGC SOTA(领域最佳水准),其采用音乐音频领域类Sora模型架构,是国内唯一公开可用的音乐生成大模型。
自去年宣布全面拥抱人工智能以来,昆仑万维在AI领域持续投入,已构建AI大模型、AI搜索、AI游戏、AI音乐、AI视频、AI社交六大AI业务矩阵。
2024年一季度财报显示,公司营收达12.1亿元,海外业务占比达88.4%,毛利率高达78.4%,研发费用同比增长104.4%,坚定践行“All in AGI与AIGC”发展战略。高研发投入助力核心业务稳健发展,为昆仑万维在AI领域的持续领先提供有力支撑。
AIGC大模型工场已经组织了非常精准的「AI大模型垂直社群」,覆盖超1000位AIGC圈,百度大模型业务负责人,京东大模型业务负责人,腾讯大模型业务人,阿里云大模型技术负责人,科大讯飞大模型公关,商汤大模型业务,阅文大模型公关,360大模型公关负责人都在群里啦,欢迎大模型业务负责人加入。请加微信fqq2000nian ,注明真实身份。
数据支持天眼查,大模型独家合作账号
监制 / 刘老师
编辑 / AIGCCCCC
视觉 / 大模型
微博 / @AI大模型工场
TG/AI Marketing Field
大模型应用创业者,你怎么看?
■ 百度文心一言,阿里通义千问 ▍通用大模型案例
■ 科大讯飞星火 京东 ▍产业大模型案例
■ 商汤日日新、腾讯,昆仑万维 ▍ 金融大模型案例
■ 盘古大模型,中国电信,医联 ▍医疗大模型案例
■阅文大模型,腾讯音乐大模型 ▍ 文娱大模型案例
■知乎,360大模型,火山引擎 ▍ 教育大模型案例
■ 网易,金山办公大模型 ▍ 更多行业大模型案例
上次介绍Sora同架构,可免费商用:腾讯开源的混元文生图大模型,处于什么段位?
本文由大模型领域垂直媒体「AI大模型工场」
原创出品,未经许可,请勿转载。
欢迎提供新的大模型商业化落地思路
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.