网易首页 > 网易号 > 正文 申请入驻

每周AI信息参考:Kimi Linear开源,解码速度提升6倍

0
分享至

01 Kimi Linear开源,解码速度提升6倍

10月31日,月之暗面开源新型混合线性注意力架构Kimi Linear,该架构首次在强化学习扩展机制等场景中超越Transformer架构的全注意力机制(Full Attention)。Kimi Linear架构的核心是Kimi Delta Attention(KDA),通过更细粒度的门控机制扩展Gated DeltaNet,实现对循环神经网络(Recurrent Neural Network,RNN)有限状态记忆的有效利用。Kimi Linear基于3:1的混合设计,即在每三个KDA层之后插入一个全注意力层(MLA),结合了线性注意力的高效能和全注意力的强大表达能力。该架构还结合专家混合(Mixture-of-Experts,MoE)技术,在不显著增加计算成本的情况下扩展模型参数规模。研究人员基于KDA和多头潜在注意力(MLA)的逐层混合,预训练了具有30亿个激活参数和480亿个总参数的Kimi Linear模型。其实验表明,在相同训练条件下,Kimi Linear在所有评估任务中均显著优于全注意力机制,同时将Key-Value(KV)缓存使用量降低75%,解码吞吐量提升6倍。

02 智源发布悟界·Emu3.5多模态世界大模型

10月30日,北京智源研究院发布悟界·Emu3.5多模态世界大模型。与大语言模型相比,世界模型具备从理解到行动的智能能力。据介绍,Emu3.5的突破在于理解、预测和规划,它不仅能够生成内容,还构建了一个内在世界模型预测系统,能够从大规模多模态数据中学会意图解析、因果推理、多步骤行动路径规划能力。Emu3.5训练数据主体包含超过10万亿Tokens的“视觉-语言”交错数据,主要来源于互联网视频及其对应的语音转录文本,视频时长总计约790年。Emu3.5展现出在长时程视觉指导、复杂图像编辑、世界探索和具身操作等任务上的潜力。

03 千亿级参数气象服务模型“风和”发布

10月28日,中国气象局发布国内首个千亿级参数气象服务垂域模型“风和”。该模型基于通用大语言模型自主研发,深度融合气象专业知识与人工智能技术,推动行业迈向智能化新阶段。“风和”通过多模态融合、生成式AI等技术,提供高分辨率、高效率的智能气象服务。中国气象局此前发布的人工智能全球中短期预报系统“风清”、临近预报系统“风雷”、全球次季节-季节预测系统“风顺”主要面向气象系统内部,“风和”则是面向公众及行业的气象服务大模型,提供气象决策信息。

04 英伟达推出全模态理解模型OmniVinci

近日,英伟达研究团队发布全模态理解模型OmniVinci。OmniVinci的目标是打造一个可以同时理解视觉、音频和文本的人工智能系统,使机器能够像人类一样通过多种感官感知并理解世界。OmniVinc的架构设计具有可组合的跨模态理解和推理能力,整合了图像、视频、音频和文本等异构输入。该模型的核心创新在于全模态对齐机制,包括OmniAlignNet模块、时间嵌入分组(TEG)和约束旋转时间嵌入(CRTE)三项关键技术。其中,OmniAlignNet利用视觉和音频信号之间的互补性,加强两者的学习与对齐;TEG通过将视觉和音频信息按时间分组,对时间关系进行有效编码;CRTE则解决时间对齐问题,确保模型能够理解事件的绝对时间信息。

05 OpenAI宣布完成资本重组

当地时间10月28日,OpenAI宣布完成资本重组,新架构由非营利性公益机构OpenAI基金会和公共利益公司OpenAI集团组成。OpenAI基金会对OpenAI集团保有控制权,持股比例为26%。微软持股27%,仅享分红权,不参与日常决策,双方续签AI合作至2032年,OpenAI承诺额外采购2500亿美元微软Azure云服务,微软将不再拥有作为OpenAI计算提供商的优先选择权。OpenAI还公布了超级智能路线图,并计划最早于2026年下半年提交上市申请、2027年上市。

附录:

人民网、传播内容认知全国重点实验室智能产品

主流价值语料库:赋能大模型价值观对齐。优选入库3200多万篇基础语料、32万对问答语料、500多万对图文语料,已在一批主流大模型厂家得到应用验证。

人民智媒大模型:面向党政服务、媒体服务的大模型应用基座。基本解决大模型政治方向、舆论导向、价值取向、事实幻觉等问题,能够协助党政机关、企事业等单位构建各类模型。

“写易”智能创作引擎:面向公务人员、媒体从业者、国企管理者等用户,提供智能写作、智能审校、写作素材知识库调用等服务。

“自在”心理疏导大模型:提供心理疏导、情绪管理、亲子交流和家校共育等服务,已上线国家智慧教育公共服务平台。校园端支持家校心理数据统计与筛查分析。

人民审校和内容风控大脑:提供时政信息表述审校、综合信息审校等内容安全服务,支持文本、图片、音视频等多模态内容审校,可在内容发布前辅助审校,也可在内容发布后开展多平台巡查和风险筛查。

“初芯”智能体平台:集大模型应用、知识管理、智能开发于一体,具有意识形态安全、数据隐私保障、一站式零门槛、赋能深度场景优势,智能体可用于智能传播、智慧舆情、文旅健康、生活服务等各类场景。

“初见”智能体:汇聚三甲医院专家科普以及国家卫生健康委、体育总局推荐的体重和健身知识,提供健康体重管理建议和多元健身课程,是一款简单实用的健康体重管理助手。

AI经贸文旅智能体:形成平台、数据、算力、算法、模型、智能体“六位一体”创新架构,提供多语种智能翻译服务,实现政策智能查询、智能商贸匹配、智能展销、智能行程规划等应用,满足经贸文旅领域多维度需求。已在广西桂林、宁夏银川落地。

智能硬件“AI之眼”:集成麦克风、摄像头等传感器,面向文博智能导览、户外活动和运动场景,实现多模态交互、智能讲解、导航导览三大核心功能。

人民数据确权“三证”:通过108项数据确权实质性审查,为符合审查条件单位颁授“数据资源持有权证书”“数据加工使用权证书”“数据产品经营权证书”,支持快速融资。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同学会要交8万''入场费'',我果断退群,隔天警察告知:昨晚班长没了

同学会要交8万''入场费'',我果断退群,隔天警察告知:昨晚班长没了

悬案解密档案
2025-10-31 15:30:25
深圳发布非居改保新政:闲置商办楼等非居住房屋可改建保租房

深圳发布非居改保新政:闲置商办楼等非居住房屋可改建保租房

界面新闻
2025-11-05 21:23:11
腿粗屁股大这样穿真好看,蓝色长袖搭黑色瑜伽裤,展示婀娜好身材

腿粗屁股大这样穿真好看,蓝色长袖搭黑色瑜伽裤,展示婀娜好身材

小乔古装汉服
2025-11-05 16:21:49
baby新男友已获小海绵认可?街头带娃遛大型犬,像幸福的一家三口

baby新男友已获小海绵认可?街头带娃遛大型犬,像幸福的一家三口

八星人
2025-11-05 15:55:40
多个省级党委秘书长密集调整

多个省级党委秘书长密集调整

上观新闻
2025-11-05 19:29:05
被朱珠惊艳到了!穿大衣不配半身裙、高跟鞋,这样打扮更时髦高级

被朱珠惊艳到了!穿大衣不配半身裙、高跟鞋,这样打扮更时髦高级

蓓小西
2025-11-06 09:17:54
被曝核酸造假,半年敛财4.5亿,核酸大王张核子最终下场如何?

被曝核酸造假,半年敛财4.5亿,核酸大王张核子最终下场如何?

蜉蝣说
2025-10-05 23:57:52
丁俊晖国锦赛2-6惨败给墨菲,为何墨菲一碰到丁俊晖就来劲?

丁俊晖国锦赛2-6惨败给墨菲,为何墨菲一碰到丁俊晖就来劲?

老高说体育
2025-11-06 09:35:21
贝尔:维尼修斯和姆巴佩令人失望,他们把进攻变得复杂化了

贝尔:维尼修斯和姆巴佩令人失望,他们把进攻变得复杂化了

懂球帝
2025-11-05 12:25:13
2大“帮凶”就位,马科斯在南海立规矩,喊话解放军:别逼我动手

2大“帮凶”就位,马科斯在南海立规矩,喊话解放军:别逼我动手

荐史
2025-11-06 07:33:39
佟丽娅张维伊同框为董璇庆生,董璇穿着宽松,一直在遮隆起的肚子

佟丽娅张维伊同框为董璇庆生,董璇穿着宽松,一直在遮隆起的肚子

阿纂看事
2025-11-05 23:57:53
球王老婆都不认识?奢侈表网红问安东内拉:你是做什么工作的?

球王老婆都不认识?奢侈表网红问安东内拉:你是做什么工作的?

茜子足球
2025-11-05 12:25:51
拾荒父亲供儿子上大学,儿子婚礼叫父亲上台,岳父听到竟直接跪下

拾荒父亲供儿子上大学,儿子婚礼叫父亲上台,岳父听到竟直接跪下

今天说故事
2024-09-24 18:07:26
统一信号如此强烈!推进速度越来越快,已有数十万人更换身份证!

统一信号如此强烈!推进速度越来越快,已有数十万人更换身份证!

李博世财经
2025-11-05 09:56:07
得知小舅买了百万豪车后,凤凰男怒道:我弟连房都没有,离婚吧

得知小舅买了百万豪车后,凤凰男怒道:我弟连房都没有,离婚吧

广西秦胖胖
2025-11-05 08:07:53
退休夫妇从32楼跃下,3年后房被贱卖,买主深夜竟听天花板有脚步声

退休夫妇从32楼跃下,3年后房被贱卖,买主深夜竟听天花板有脚步声

罪案洞察者
2025-09-23 14:37:35
剧毒、攻击性极强!武汉多处已出现,发现立即上报

剧毒、攻击性极强!武汉多处已出现,发现立即上报

鲁中晨报
2025-11-05 18:15:12
特朗普学拜登,也在裤腿里绑了尿袋,半身不遂的年纪,真是可怜

特朗普学拜登,也在裤腿里绑了尿袋,半身不遂的年纪,真是可怜

我心纵横天地间
2025-11-05 19:25:51
女生穿成这样去健身房,真的合适吗??

女生穿成这样去健身房,真的合适吗??

健身厨屋
2025-10-20 12:22:34
北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

北京爆冷输天津3人败笔!许利民糟糕执教,三宁狂铁,方硕引丢分

篮球资讯达人
2025-11-05 21:53:54
2025-11-06 10:19:00
金台资讯 incentive-icons
金台资讯
报道全球 传播中国 人民网股份有限公司
1461337文章数 200757关注度
往期回顾 全部

科技要闻

苹果“认输”!曝每年10亿美元租用谷歌AI

头条要闻

90后女业主"房贷倒挂":房子贷款650万 市价仅360万

头条要闻

90后女业主"房贷倒挂":房子贷款650万 市价仅360万

体育要闻

赢下皇马,会是利物浦的转折点吗?

娱乐要闻

港星林尚武突发心脏病去世

财经要闻

特朗普关税遭美国高院大法官轮番质疑

汽车要闻

方向盘?不存在的 特斯拉 Cybercab亚太首秀

态度原创

旅游
游戏
艺术
本地
公开课

旅游要闻

辰山植物园秋意正浓,快去欣赏这份限定秋日画卷

《怪物猎人物语3》采用D加密 PC配置一点都不低

艺术要闻

毛主席书法作品首次在美国现身,内容引人关注!

本地新闻

这届干饭人,已经把博物馆吃成了食堂

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版