网易首页 > 网易号 > 正文 申请入驻

深度|微信AI的老班底与新面孔

0
分享至



2026年7月,微信AI公布Hidden Decoding,尝试让已有大模型通过增加内部计算继续提升能力。作者名单里,几位参与2022年WeLM的老成员,与近年加入的研究者并肩出现。

周霄、余厚金、陈昱文和杨宇的名字横跨两篇论文,新的经历也在汇入。刘瑷玮从清华来到微信,参与模型架构与预训练;王锡淮带着多智能体强化学习的积累转向后训练;曾少勋则从存储系统研究走进大模型训练与推理。他们与长期研究推荐、视觉和音频的同事,在一项项具体工作中形成交集。


从第一代WeLM走来的五个名字

2022年9月21日公开的WeLM,为微信这条基础模型研究线留下了一个清晰的起点。这款100亿参数中文预训练模型已经研究零样本、少样本与跨语言任务能力,时间早于ChatGPT发布。周霄、余厚金、陈昱文和杨宇等作者持续参与后续项目,也让这条跨越四年的研究线有了可以追踪的人员脉络。

四年后的Hidden Decoding,把问题推进到已有大模型如何持续获得能力增长。它在继续预训练阶段,将每个token展开成多个计算流,增加内部计算,同时保持Transformer主干的层数和宽度不变。额外计算沿序列长度维度展开,能够兼容大模型训练使用的流水线并行。

增加计算流也会抬高注意力开销。研究团队采用流分解注意力,让多数层在各自流内计算,仅在少数层交换信息,并在WeLM-HD4-80B和WeLM-HD4-617B上验证了相对对应基线的能力提升。这项工作为已有大模型提供了一条通过增加内部计算继续提升能力的路径,并把这条路径验证到了千亿参数以上的MoE规模。


Hidden Decoding方法(图片来自Tencent - Hidden Decoding)

从2022年的中文预训练,到2026年的内部计算扩展,WeLM研究的问题已经深入模型的计算组织方式。早期成员的持续参与,也使这一变化呈现出长期积累的脉络。


模型越做越大,分工越做越细

架构与预训练

张思钧参与过字节Seed的Efficient Pretraining Length Scaling,该论文提出PHD-Transformer,探索预训练阶段的长度扩展与KV缓存管理。他后来加入微信AI,也出现在Hidden Decoding作者名单中,两项工作都涉及隐藏计算与效率问题。

刘瑷玮于2025年从清华大学博士毕业,同年7月加入微信AI的WeLM团队。他是WeLM-80B与WeLM-617B的核心贡献者,负责模型架构设计,并开展大规模预训练基础设施研究。


刘瑷玮(图片来自本人主页)

刘瑷玮同时是WeDLM的第一作者。这项工作中稿ICML 2026,针对的是扩散语言模型的一个实际瓶颈:一次恢复多个token能够提高生成并行度,但常见的双向注意力难以复用标准前缀KV缓存,理论上的并行优势很容易被重复计算抵消。

WeDLM保留标准因果注意力,通过拓扑重排把已知token移到物理前缀,同时保留它们的逻辑位置,使待恢复位置能够利用已有信息。配合流式并行解码,已确认的token可以持续并入前缀,减少分块生成中的等待。

论文在匹配部署条件下,与vLLM运行的自回归基线比较,在困难推理基准上有接近3倍的加速,在低熵生成场景中最高达到10倍。WeDLM把并行生成接入成熟的缓存与推理机制,推进了扩散语言模型的实际部署。它与Hidden Decoding分别从生成效率和内部计算扩展切入,让架构设计与系统优化共同进入WeLM的研究主线。


WeDLM项目方公布的速度与能力对比(图片来自Tencent - WeDLM)

后训练与软件工程任务

王锡淮是微信AI WeLM团队研究员,主要从事大语言模型后训练。他于2026年从上海交通大学博士毕业,导师为张伟楠和温颖,早期研究多智能体强化学习,代表工作包括Order Matters与ZSC-Eval。


王锡淮(图片来自王锡淮个人主页)

王锡淮是ICLR 2023论文Order Matters的第一作者,该工作提出逐个智能体更新策略的A2PO算法,研究策略更新顺序与样本效率。随后,他在NeurIPS 2024发表第一作者工作ZSC-Eval,评估智能体与陌生伙伴之间的零样本协作能力,并作为共同第一作者参与ACL 2025的DPT-Agent,将研究推进到基于大语言模型的实时人机协作。从多智能体策略优化、协作评测到语言智能体,决策与协作构成了他持续研究的主题。目前,他在WeLM团队从事大语言模型后训练。

陆笛参与WeLM系列模型后训练,研究重点是软件工程任务。他也参与了Terminal-Bench,该基准考察智能体在命令行环境中完成复杂实际任务的能力。


陆笛(图片来自本人主页)

武楚涵本科就读于清华大学电子工程系,2019年进入该系攻读博士,导师为黄永峰。他于2018年在微软亚洲研究院社会计算组实习,2019年获微软学者奖学金,早期研究聚焦用户建模与推荐系统。他是EMNLP-IJCNLP 2019论文NRMS的第一作者,该方法利用多头自注意力学习新闻内容以及用户点击历史中的关联,形成新闻和用户的表示,并被收入Recommenders工具库,成为新闻推荐领域具有持续使用积累的代表性方法。这项加入微信前的成果,具体呈现了他在内容理解与用户建模上的研究基础。目前,他在微信研究基础大模型,并参与WeDLM和Hidden Decoding。


武楚涵(右)在2019年微软学者奖学金颁奖仪式上(图片来自清华大学电子工程系报道)

训练、推理与强化学习系统

杨宇是微信NLP与LLM基础设施负责人,此前曾任百度飞桨(PaddlePaddle)核心开发者。飞桨是百度于2016年开源的深度学习框架,覆盖模型训练、分布式计算与推理部署等环节。这段经历让他在底层框架研发与大规模训练系统方面积累了经验,并延伸到微信的大模型基础设施建设。他也参与了Hidden Decoding,系统研发人员直接参与了模型计算机制的探索。


杨宇(图片来自本人 GitHub 主页)

曾少勋在腾讯WeLM团队研究大模型训练、推理与强化学习系统,2026年从清华大学博士毕业,导师为陆游游和舒继武。他是GPU Checkpoint/Restore Made Fast and Lightweight的第一作者,该工作获得FAST 2026 Distinguished Artifact Award。他还参与了WeDLM及智能体强化学习环境WeEnv。结合这些工作可以看到,系统研发已经进入模型生成机制与智能体训练环境等环节,工程效率成为模型研究中的一项具体议题。


曾少勋(图片来自本人主页)


多模态的考题,藏在文档、按钮和声音里

柳源是微信AI研究员,曾作为核心开发者和维护者参与MMSelfSup、MMPretrain、MMEngine、MMSegmentation及OpenCompass等开源项目。他参与了POINTS、POINTS1.5、POINTS-Reader和POINTS-GUI-G,研究内容涉及视觉语言模型、文档转换和界面定位。


柳源(图片来自柳源个人主页)

POINTS-GUI-G的一作是Zhongyin Zhao,柳源、王海诚、Le Tian、周霄和杨宇等共同参与,其核心任务是根据指令定位屏幕上的文字、图标等元素,为后续点击与输入提供位置依据。POINTS由通用视觉语言理解延伸到界面定位,研究目标开始直接对应软件交互所需的基础能力。

张林昊与贾巍共同参与了Unified Audio Schema和UniAudio-Token。前者将音频监督信息组织为转写、副语言信息与非语言事件,后者探索让语义语音tokenizer保留更广泛的音频感知能力。两人也同时出现在WeDLM和Hidden Decoding的作者名单中,显示出多模态与语言模型项目之间的人员交叉。


项目方展示的音频表征与识别能力对比(图片来自Tencent - Universal Audio Tokenizer)

POINTS与音频项目共同呈现出多模态研究的任务细化。文档转换要求保留页面结构,GUI定位强调空间精度,音频理解需要同时处理语义与声学信息。这些工作把通用模型能力推进到各类输入的具体难点,也让数据、训练方法与评测标准成为竞争的重要部分。


WeAgent把图像创作串成工作流

微信的另一组公开工作围绕多模态智能体展开。WeAgent-MMSearch研究文本与视觉信息交互的搜索流程,WeAgent-MMGenEdit则把检索、核验及证据整合引入图像生成与编辑。

孟凡东是微信首席研究员及团队负责人,研究方向包括机器翻译、自然语言处理和大语言模型。他是WeAgent-MMGenEdit的通讯作者,也参与了文字导向图像编辑工作WeEdit。


孟凡东(图片来自本人主页)

张辉于2026年从复旦大学博士毕业,研究方向包括智能体强化学习、生成模型与多模态理解。他是WeAgent-MMGenEdit和WeEdit的第一作者,也参与WeAgent-MMSearch。这组项目将研究对象扩展到包含检索、核验与工具调用的任务流程,反映出微信在多模态智能体方向上的持续投入。


张辉(图片来自本人主页)


研究的下一站,走进微信的日常

WeChat Vision公开的项目覆盖了多个视觉任务:WeVisOne-VL将检测、定位、OCR、分割与抠图纳入同一模型,WeVisDoc研究端到端文档解析,WeVisCut探索从解说内容到长视频制作的工具调用流程。

孙冲是WeVisOne-VL与WeVisDoc的项目负责人,李琛是这两项工作的通讯作者。梅柯是WeMM-Embedding的项目负责人,饶峰云是该工作的通讯作者。感知与文档任务共享部分关键参与者,多模态表征则由另一组研究者推进。

饶峰云于2006年和2011年分别获得清华大学工程物理学士、天体物理博士学位。毕业后,他在清华大学与同方威视联合研究所从事安检图像识别算法研究,2013年加入国双科技负责AI团队,2019年加入腾讯看点负责视频理解算法研发。其团队的多模态算法曾落地QQ浏览器和QQ看点多个业务场景。从安检图像识别、信息流视频理解到WeMM-Embedding,他的技术经历串起了视觉算法与搜索推荐应用。


饶峰云(图片来自AICon 2021讲者介绍)


梅柯(图片来自本人 GitHub 主页)

WeMM-Embedding把这些研究推进到微信的搜索和推荐环节。它将文本、图片、视频、视觉文档与混合输入映射到统一表征空间,使不同模态的内容能够进行相关性比较。对于同时承载图文、短视频和商品信息的微信,这类表征能力直接服务于内容的检索与分发。

项目方披露,该系列模型已应用于视频号、公众号、朋友圈及电商服务,并在14项线上A/B测试中获得收益。WeMM-Embedding是这批公开工作中,连接模型研究与微信业务结果的一项关键成果。它让视觉研究的价值落到了用户如何找到内容、平台如何匹配内容的具体环节。

李琛是腾讯高级研究员、微信应用视觉团队负责人。他是WeVisOne-VL和WeVisDoc的通讯作者,也是WeLM-Image的共同作者,参与的研究涉及视觉感知、文档解析及图像生成。


李琛(图片来自论文作者简介)

2026年11月5日的WeLM-Image整合文生图、指令编辑与多参考图合成,设计目标聚焦在微信大规模用户应用中进行单GPU部署。

把WeLM-Image与WeVisOne-VL、WeVisDoc和WeMM-Embedding放在一起看,WeChat Vision的研究已覆盖内容感知、文档处理、检索表征和视觉生成,形成了多条围绕视觉信息处理展开的技术方向。


结语

这批人的履历,记录着微信AI研究重心的变化。飞桨开发者开始搭建大模型基础设施,新闻推荐研究者参与语言模型,天体物理博士走向多模态表征。旧经验随着新的任务继续生长。

从WeLM到WeChat Vision,老成员延续研究,新面孔带来各自的专长。论文署名把他们连在一起,训练效率、生成速度和微信业务中的实际效果,则让这些合作有了具体的落点。

参考来源:

[1] Liu A, Shi C, Wu C, et al. Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models. 2026. https://arxiv.org/abs/2607.08186
[2] Su H, Zhou X, Yu H, et al. WeLM: A Well-Read Pre-trained Language Model for Chinese. 2022. https://arxiv.org/abs/2209.10372
[3] Wu B, Yan S, Zhang S, et al. Efficient Pretraining Length Scaling. 2025. https://arxiv.org/html/2504.14992v1
[4] Liu A, He M, Zeng S, et al. WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference. ICML. 2026. https://proceedings.mlr.press/v306/liu26av.html
[5] Zhao Z, Liu Y, Liu Y, et al. POINTS-GUI-G: GUI-Grounding Journey. 2026. https://arxiv.org/abs/2602.06391
[6] Zhang L, Song Y, Liu A, et al. Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs. 2026. https://arxiv.org/abs/2604.12506
[7] Song Y, Zhang L, Liu A, et al. UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception. 2026. https://arxiv.org/abs/2605.31521
[8] Tencent. Universal Audio Tokenizer项目仓库. 访问于2026-11-10. https://github.com/Tencent/Universal_Audio_Tokenizer
[9] Liu Z, Zhang H, Niu L, et al. WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents. 2026. https://arxiv.org/abs/2608.28062
[10] Zhang H, Liu Z, Niu L, et al. WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing. 2026. https://arxiv.org/html/2609.05171v1
[11] WeChat Vision. WeVisOne-VL: Unified Visual Perception from Objects to Pixels. 访问于2026-11-10. https://tencent.github.io/WeVisOne-VL/
[12] WeChat Vision. WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing. 访问于2026-11-10. https://tencent.github.io/WeVisDoc/
[13] WeChat Vision. WeVisCut: The Whole Editing Room in One Agent — From Narration to Long-Form Video. 访问于2026-11-10. https://tencent.github.io/WeVisCut/
[14] Zhou J, Mei K, Li L, et al. WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report. 2026. https://tencent.github.io/WeMM-Embedding/
[15] Fu C, Li C, Zhang G, et al. WeLM-Image: A Unified Image Generation Model towards Visual Intelligence. 2026. https://arxiv.org/html/2611.07392v1
[16] SIGGRAPH. Chen Li讲者简介. 2026. https://s2026.conference-schedule.org/presenter/?uid=529743
[17] Buchanan K, Shen J, Ye G, et al. Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces. 2026. https://arxiv.org/abs/2601.11868
[18] Hammerscholar Knowledge Group. 关于我们. 访问于2026-11-10. https://kg.hammerscholar.net/zh-hans/about/
[19] 清华大学电子工程系. 成果展示-2019-图信-武楚涵. 访问于2026-11-10. https://www.ee.tsinghua.edu.cn/info/1039/1059.htm
[20] 张娅. Selected Publications. 访问于2026-11-10. https://annzhanglion.github.io/publications.html
[21] 中山大学计算机学院. 余超个人主页. 访问于2026-11-10. https://cse.sysu.edu.cn/node/2574
[22] 腾讯科技(深圳)有限公司. 目标跟踪方法、装置、存储介质及电子设备(WO2020228522A1). 2020. https://patents.google.com/patent/WO2020228522A1/zh
[23] 机器之心. NeurIPS 2024|浙大 & 微信 & 清华:彻底解决扩散模型反演问题. 2024-11-02. https://finance.sina.com.cn/tech/roll/2024-11-02/doc-incuryae2266891.shtml
[24] 腾讯科技(深圳)有限公司. 一种跨模态搜索方法及相关设备(CN116775980B). 2024. https://patents.google.com/patent/CN116775980B/zh
[25] 腾讯科技(深圳)有限公司. 一种混合分辨率编解码方法和装置(CN103813174B). 2016. https://patents.google.com/patent/CN103813174B/es
[26] Wu C, Wu F, Ge S, et al. Neural News Recommendation with Multi-Head Self-Attention. EMNLP-IJCNLP. 2019. https://aclanthology.org/D19-1671/
[27] Recommenders Team. NRMS模型实现与文档. 访问于2026-11-10. https://recommenders-team.github.io/recommenders/_modules/recommenders/models/newsrec/models/nrms.html
[28] Wang X, Tian Z, Wan Z, et al. Order Matters: Agent-by-agent Policy Optimization. ICLR. 2023. https://arxiv.org/abs/2302.06205
[29] USENIX. GPU Checkpoint/Restore Made Fast and Lightweight. FAST. 2026. https://www.usenix.org/conference/fast26/presentation/zeng
[30] 清华大学. 2018年清华大学大学生学术研究推进论坛举办. 2018. https://www.tsinghua.edu.cn/info/1175/19204.htm
[31] 清华大学电子工程系. 电子系博士生武楚涵获评2019年微软学者奖学金. 2019-11-27. https://www.ee.tsinghua.edu.cn/info/1076/2255.htm
[32] Paddle飞桨深度学习框架官方仓库. https://github.com/PaddlePaddle/Paddle
[33] InfoQ. 饶峰云博士讲者介绍. AICon北京. 2021. https://aicon.infoq.cn/2021/beijing/speaker/6294
[34] 清华大学天文系. 天体物理方向校友. 访问于2026-11-10. https://astro.tsinghua.edu.cn/xy.htm
[35] Wang X, Zhang S, Zhang W, et al. ZSC-Eval: An Evaluation Toolkit and Benchmark for Multi-agent Zero-shot Coordination. NeurIPS. 2024. https://arxiv.org/abs/2310.05208
[36] Zhang S, Wang X, Zhang W, et al. Leveraging Dual Process Theory in Language Agent Framework for Real-time Simultaneous Human-AI Collaboration. ACL. 2025. https://arxiv.org/abs/2502.11882





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
陈道明与左小青早年合作间隙拍下的合影

陈道明与左小青早年合作间隙拍下的合影

娱你同欢
2026-11-13 22:32:21
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
双腿出现这2个症状,肺癌可能已经来了!医生:别只当腿疼!

双腿出现这2个症状,肺癌可能已经来了!医生:别只当腿疼!

路医生健康科普
2026-10-23 20:35:04
江苏华昊建设集团破产重整

江苏华昊建设集团破产重整

地产微资讯
2026-11-22 17:33:41
足球报:申花安排华山医院专家赴杭州,为浙江U15受伤球员会诊

足球报:申花安排华山医院专家赴杭州,为浙江U15受伤球员会诊

懂球帝
2026-11-22 15:49:25
“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

“泼天富贵”啊!男子出差住酒店碰上抓奸乌龙,对方误砸其房门,最后酒店免单补偿并送香烟一包

火山詩话
2026-11-21 18:24:46
130/80不再算正常,新版高血压指南把线画实了

130/80不再算正常,新版高血压指南把线画实了

王二哥老搞笑
2026-11-22 15:00:30
他才是国足最好归化,父母都是中国人,如今成国足名副其实"硬汉"

他才是国足最好归化,父母都是中国人,如今成国足名副其实"硬汉"

扒瓜
2026-11-22 12:15:13
方博夺冠后遭限流!本人回应:别限制我打球就行,这格局太狠了

方博夺冠后遭限流!本人回应:别限制我打球就行,这格局太狠了

林小湜体育频道
2026-11-22 20:56:50
一张假脸拉胯整部剧?蒋欣新剧里的女二号,嘴和鼻歪的真让人出戏

一张假脸拉胯整部剧?蒋欣新剧里的女二号,嘴和鼻歪的真让人出戏

一号崽崽
2026-11-22 13:20:40
14个毛体草书字,100多人认不全!您行吗?草书魅力在哪?

14个毛体草书字,100多人认不全!您行吗?草书魅力在哪?

书画相约
2026-11-12 11:22:32
春节被派去给客户暖场打牌,老板让我输钱,没想到客户散场叫住我

春节被派去给客户暖场打牌,老板让我输钱,没想到客户散场叫住我

白云故事
2026-06-04 19:15:05
拉夫罗夫称基辅是俄罗斯故土,乌方:那库班呢?

拉夫罗夫称基辅是俄罗斯故土,乌方:那库班呢?

桂系007
2026-11-22 23:21:19
国泰航空增购的“赚钱大飞机”,内地引进工作却停止了

国泰航空增购的“赚钱大飞机”,内地引进工作却停止了

窗帘拉开
2026-11-22 19:50:03
江苏GDP能超越广东吗?

江苏GDP能超越广东吗?

趣味萌宠的日常
2026-11-21 10:34:33
中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

湘村大余
2026-10-19 18:37:44
阿媒:阿根廷U17世界杯小组赛次轮迎战莫桑比克,输球即出局

阿媒:阿根廷U17世界杯小组赛次轮迎战莫桑比克,输球即出局

懂球帝
2026-11-22 02:14:51
29岁死在朝鲜,几十万人给他送行。有人说“一个相声演员至于吗”

29岁死在朝鲜,几十万人给他送行。有人说“一个相声演员至于吗”

爱历史
2026-11-19 19:49:57
《爱笑的天使》MV片尾20年前的旧照曝光!王菲摇椅上怀抱李嫣

《爱笑的天使》MV片尾20年前的旧照曝光!王菲摇椅上怀抱李嫣

韩小娱
2026-11-22 09:15:37
跨越491天的坚守!乌克兰无人机撤离英雄战士,开创人类首次

跨越491天的坚守!乌克兰无人机撤离英雄战士,开创人类首次

项鹏飞
2026-10-21 17:06:08
2026-11-23 02:08:49
ZFinance
ZFinance
Z世代的一站式AI、科技和财经资讯
314文章数 23关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
数码
本地
时尚
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

内存价格暴涨下,华硕考虑将中低端PC内存由16GB降至8GB

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版