01 Kimi Linear开源,解码速度提升6倍
10月31日,月之暗面开源新型混合线性注意力架构Kimi Linear,该架构首次在强化学习扩展机制等场景中超越Transformer架构的全注意力机制(Full Attention)。Kimi Linear架构的核心是Kimi Delta Attention(KDA),通过更细粒度的门控机制扩展Gated DeltaNet,实现对循环神经网络(Recurrent Neural Network,RNN)有限状态记忆的有效利用。Kimi Linear基于3:1的混合设计,即在每三个KDA层之后插入一个全注意力层(MLA),结合了线性注意力的高效能和全注意力的强大表达能力。该架构还结合专家混合(Mixture-of-Experts,MoE)技术,在不显著增加计算成本的情况下扩展模型参数规模。研究人员基于KDA和多头潜在注意力(MLA)的逐层混合,预训练了具有30亿个激活参数和480亿个总参数的Kimi Linear模型。其实验表明,在相同训练条件下,Kimi Linear在所有评估任务中均显著优于全注意力机制,同时将Key-Value(KV)缓存使用量降低75%,解码吞吐量提升6倍。
02 智源发布悟界·Emu3.5多模态世界大模型
10月30日,北京智源研究院发布悟界·Emu3.5多模态世界大模型。与大语言模型相比,世界模型具备从理解到行动的智能能力。据介绍,Emu3.5的突破在于理解、预测和规划,它不仅能够生成内容,还构建了一个内在世界模型预测系统,能够从大规模多模态数据中学会意图解析、因果推理、多步骤行动路径规划能力。Emu3.5训练数据主体包含超过10万亿Tokens的“视觉-语言”交错数据,主要来源于互联网视频及其对应的语音转录文本,视频时长总计约790年。Emu3.5展现出在长时程视觉指导、复杂图像编辑、世界探索和具身操作等任务上的潜力。
03 千亿级参数气象服务模型“风和”发布
10月28日,中国气象局发布国内首个千亿级参数气象服务垂域模型“风和”。该模型基于通用大语言模型自主研发,深度融合气象专业知识与人工智能技术,推动行业迈向智能化新阶段。“风和”通过多模态融合、生成式AI等技术,提供高分辨率、高效率的智能气象服务。中国气象局此前发布的人工智能全球中短期预报系统“风清”、临近预报系统“风雷”、全球次季节-季节预测系统“风顺”主要面向气象系统内部,“风和”则是面向公众及行业的气象服务大模型,提供气象决策信息。
04 英伟达推出全模态理解模型OmniVinci
近日,英伟达研究团队发布全模态理解模型OmniVinci。OmniVinci的目标是打造一个可以同时理解视觉、音频和文本的人工智能系统,使机器能够像人类一样通过多种感官感知并理解世界。OmniVinc的架构设计具有可组合的跨模态理解和推理能力,整合了图像、视频、音频和文本等异构输入。该模型的核心创新在于全模态对齐机制,包括OmniAlignNet模块、时间嵌入分组(TEG)和约束旋转时间嵌入(CRTE)三项关键技术。其中,OmniAlignNet利用视觉和音频信号之间的互补性,加强两者的学习与对齐;TEG通过将视觉和音频信息按时间分组,对时间关系进行有效编码;CRTE则解决时间对齐问题,确保模型能够理解事件的绝对时间信息。
05 OpenAI宣布完成资本重组
当地时间10月28日,OpenAI宣布完成资本重组,新架构由非营利性公益机构OpenAI基金会和公共利益公司OpenAI集团组成。OpenAI基金会对OpenAI集团保有控制权,持股比例为26%。微软持股27%,仅享分红权,不参与日常决策,双方续签AI合作至2032年,OpenAI承诺额外采购2500亿美元微软Azure云服务,微软将不再拥有作为OpenAI计算提供商的优先选择权。OpenAI还公布了超级智能路线图,并计划最早于2026年下半年提交上市申请、2027年上市。
附录:
人民网、传播内容认知全国重点实验室智能产品
主流价值语料库:赋能大模型价值观对齐。优选入库3200多万篇基础语料、32万对问答语料、500多万对图文语料,已在一批主流大模型厂家得到应用验证。
人民智媒大模型:面向党政服务、媒体服务的大模型应用基座。基本解决大模型政治方向、舆论导向、价值取向、事实幻觉等问题,能够协助党政机关、企事业等单位构建各类模型。
“写易”智能创作引擎:面向公务人员、媒体从业者、国企管理者等用户,提供智能写作、智能审校、写作素材知识库调用等服务。
“自在”心理疏导大模型:提供心理疏导、情绪管理、亲子交流和家校共育等服务,已上线国家智慧教育公共服务平台。校园端支持家校心理数据统计与筛查分析。
人民审校和内容风控大脑:提供时政信息表述审校、综合信息审校等内容安全服务,支持文本、图片、音视频等多模态内容审校,可在内容发布前辅助审校,也可在内容发布后开展多平台巡查和风险筛查。
“初芯”智能体平台:集大模型应用、知识管理、智能开发于一体,具有意识形态安全、数据隐私保障、一站式零门槛、赋能深度场景优势,智能体可用于智能传播、智慧舆情、文旅健康、生活服务等各类场景。
“初见”智能体:汇聚三甲医院专家科普以及国家卫生健康委、体育总局推荐的体重和健身知识,提供健康体重管理建议和多元健身课程,是一款简单实用的健康体重管理助手。
AI经贸文旅智能体:形成平台、数据、算力、算法、模型、智能体“六位一体”创新架构,提供多语种智能翻译服务,实现政策智能查询、智能商贸匹配、智能展销、智能行程规划等应用,满足经贸文旅领域多维度需求。已在广西桂林、宁夏银川落地。
智能硬件“AI之眼”:集成麦克风、摄像头等传感器,面向文博智能导览、户外活动和运动场景,实现多模态交互、智能讲解、导航导览三大核心功能。
人民数据确权“三证”:通过108项数据确权实质性审查,为符合审查条件单位颁授“数据资源持有权证书”“数据加工使用权证书”“数据产品经营权证书”,支持快速融资。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.