网易首页 > 网易号 > 正文 申请入驻

T5Gemma模型再更新,谷歌还在坚持编码器-解码器架构

0
分享至

编辑|冷猫

最近,或许是年底了,谷歌的发布变得有些密集。比如昨天,谷歌发布了在智能 / 成本上全球性价比最高的模型 Gemini 3 Flash。

在 Gemini 3 Flash 发布后,大家都以为谷歌今年的模型发布已经收官的时候,谷歌却又掏出了一个让大家都意想不到的模型更新:T5Gemma 2

T5Gemma 系列模型似乎没能给大众留下什么深刻印象。今年 7 月,谷歌第一次发布了 T5Gemma 模型系列,并且一口气发布了 32 个模型。

从模型名称可以看出,T5Gemma 系列模型与 T5 息息相关。T5(Text-to-Text Transfer Transformer) 是 Google 在 2019 年提出的一种编码器 - 解码器(Encoder–Decoder)大模型框架,「编解码器大模型」的思想源头,几乎都能追溯到 T5。

T5Gemma 使用了「适应(adaptation)」技术将已经完成预训练的仅解码器模型转换为编码器 - 解码器架构。

但遗憾的是,「编码器 - 解码器架构」始终没有成为大模型世界的主流,在「仅解码器」大语言模型快速迭代的大背景下难逃逐渐被边缘化的命运。

谷歌是为数不多仍在坚持编码器 - 解码器架构大模型的玩家。

今年上半年,谷歌发布了开放模型 Gemma 3 系列,性能强大,反响热烈,衍生出许多基于 Gemma 3 系列模型的优秀工作。这次更新的 T5Gemma 2 模型正是其中之一。

简而言之:T5Gemma 2,是谷歌新一代编码器 - 解码器模型,是首个多模态和长上下文的编码器 - 解码器模型,建立在 Gemma 3 的强大功能之上。

主要创新和升级功能包括:

  • 支持多模态
  • 扩展长上下文
  • 开箱即用,支持 140 多种语言
  • 效率提升的架构创新

同时,谷歌向社区发布了 270M–270M、1B–1B 以及 4B–4B 三种规模的预训练模型,是社区中首个支持超长上下文(最高 128K)的高性能编解码器大语言模型

  • 论文链接: https://arxiv.org/abs/2512.14856
  • HuggingFace 链接: https://huggingface.co/collections/google/t5gemma-2
  • 博客链接: https://blog.google/technology/developers/t5gemma-2

T5Gemma 2 延续了 T5Gemma 的「适应(adaptation)」训练路线:将一个预训练的纯解码器模型适配为编解码器模型;同时,底座采用 Gemma 3 模型,通过结合 Gemma 3 中的关键创新,将这一技术扩展到了视觉 - 语言模型领域。

新架构,新能力

高效的架构创新

T5Gemma 2 不仅仅是一次再训练。它在继承 Gemma 3 系列许多强大特性的同时,还进行了重要的架构变更:

1. 词嵌入绑定

在编码器与解码器之间 共享词嵌入参数。这一设计显著降低了模型的总体参数量,使我们能够在相同的显存 / 内存占用下容纳更多有效能力 —— 这对全新的 270M–270M 紧凑模型尤为关键。

2. 合并注意力

在解码器中,我们采用了合并注意力机制,将自注意力(self-attention)与交叉注意力(cross-attention)融合为单一、统一的注意力层。这一做法减少了模型参数和架构复杂度,提升了模型并行化效率,同时也有利于推理性能的提升。

新一代模型能力

得益于 Gemma 3 的能力,T5Gemma 2 在模型能力上实现了显著升级:

1. 多模态能力

T5Gemma 2 模型能够同时理解和处理图像与文本。通过引入一个高效的视觉编码器,模型可以自然地完成视觉问答和多模态推理等任务。

2. 超长上下文

我们对上下文窗口进行了大幅扩展。借助 Gemma 3 的局部 — 全局交替注意力机制(alternating local and global attention),T5Gemma 2 能够支持最长达 128K token 的上下文输入。

3. 大规模多语言支持

通过在规模更大、更加多样化的数据集上进行训练,T5Gemma 2 开箱即用即可支持 140 多种语言。

性能结果

T5Gemma 2 为紧凑型编码器 - 解码器模型设定了新的标准,在关键能力领域表现出色,继承了 Gemma 3 架构强大的多模态和长上下文特性。

Gemma 3、T5Gemma 和 T5Gemma 2 在五个独特能力上的预训练性能。

如上图所示,T5Gemma 2 展现出以下突出优势:

  • 强大的多模态性能:在多个基准测试中超越 Gemma 3。原本仅支持文本的 Gemma 3 基础模型(270M 与 1B) 成功适配为 高效的多模态编解码器模型。
  • 卓越的长上下文能力:相较于 Gemma 3 和 T5Gemma,在生成质量上取得了显著提升。通过引入独立的编码器,T5Gemma 2 在处理长上下文问题时表现更佳。
  • 全面提升的通用能力:在 代码、推理和多语言 等任务上,T5Gemma 2 整体上均优于其对应规模的 Gemma 3 模型。

训练后性能。这里的结果仅用于说明,研究团队对 T5Gemma 2 进行了最小的 SFT,未使用 RL。另外请注意,预训练和训练后基准是不同的,因此不同图表中的分数不可比较。

Gemma 3、T5Gemma 与 T5Gemma 2 的详细预训练结果。需要注意的是,Gemma 3 的 270M 与 1B 模型,以及 T5Gemma 的 2B–2B 和 9B–9B 模型均为纯文本模型。带有 “∗” 标记的结果为近似值,无法在不同论文之间直接比较。

Gemma 3、T5Gemma 与 T5Gemma 2 的详细后训练结果。尽管 T5Gemma 2 的后训练过程相对轻量化,但其在大多数能力维度上仍然优于 Gemma 3。

实验结果表明,该适配策略在不同模型架构与不同模态上都具有良好的通用性,同时也验证了编解码器架构在长上下文建模方面的独特优势。与 T5Gemma 类似,T5Gemma 2 在预训练阶段的性能可达到或超过其 Gemma 3 对应模型,而在后训练阶段则取得了显著更优的表现

我们能看到,编码器 - 解码器架构下的大模型并不弱于仅解码器架构的模型,甚至具备自己独特的优势。

谷歌继续坚持的编码器 - 解码器架构,能否打破被边缘化的现状,让我们拭目以待。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

离开黄仁勋的英伟达:GeForce不会死,但已有工程师选择了离开

财闻
2026-11-16 13:16:06
特朗普:不介意黄仁勋重掌英伟达

特朗普:不介意黄仁勋重掌英伟达

界面新闻
2026-11-16 23:00:15
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
在宾馆前台干了六年,我学会了一件事:永远不要给先开房再等女人的人贴标签

在宾馆前台干了六年,我学会了一件事:永远不要给先开房再等女人的人贴标签

新时代的两性情感
2026-11-17 03:10:36
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

容祖儿这次演唱会,坐内场看得清楚,她上身亮片外套发型都在线,唯独那条裤子松垮垮堆在鞋面上,走两步就得提一下,唱快歌都不敢迈大步

一盅情怀
2026-11-16 16:01:58
美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

美国国会变天,泽连斯基有恃无恐,主动爆料机密,特朗普女婿愤怒

影孖看世界
2026-11-16 18:18:53
超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

超短裙女子深夜现身酒店前台,只因20块钱起了冲突,2小时后竟横尸荒野

夜话奇谭
2026-11-16 13:02:43
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

3DM游戏
2026-11-15 19:51:38
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

极目新闻
2026-11-16 21:03:21
NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

罗说NBA
2026-11-17 06:09:45
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

随着希腊1-0,德国5-0荷兰,欧国联A级联赛8强已诞生7席:7大劲旅在列

侧身凌空斩
2026-11-17 05:46:31
特朗普现在真有点泥菩萨过江,自身难保了

特朗普现在真有点泥菩萨过江,自身难保了

News脑洞
2026-11-16 21:23:23
伊隆·马斯克:香港生育率长期位居全球最低之一,未来或将消失

伊隆·马斯克:香港生育率长期位居全球最低之一,未来或将消失

风向观察
2026-11-16 16:26:29
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
2026-11-17 07:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
健康
教育
时尚
军事航空

亲子要闻

宝宝气人但是聪明的4个行为

情绪真能让健康人"伤心至死"?

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

自骂“烂人”的黄仁勋,冤不冤?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版