网易首页 > 网易号 > 正文 申请入驻

Tufa Labs推出tufazip:10亿字节维基百科数据无损压缩至105.39MB

0
分享至



Tufa Labs是一家总部位于瑞士苏黎世的独立人工智能研究机构,成立于2024年,主要从事基础人工智能研究,研究方向涵盖大型语言模型、强化学习、机器推理及自主学习等。团队由研究人员和工程师组成,注重通过大规模计算实验探索AI能力边界。

2026年11月19日,Tufa Labs宣布,其研究项目tufazip在大型文本压缩基准测试(Large Text Compression Benchmark)中取得新进展,成功将10亿字节的英文维基百科文本数据集enwik9无损压缩至105,388,353字节,约105.39MB。



这一成绩使tufazip成为目前该基准中仅使用神经网络作为唯一预测模型的方案里压缩效果最好的项目。截至11月19日更新的排行榜,tufazip v2位列第13名。排名更靠前的方案则采用了Transformer与统计模型、人工设计预测器等相结合的混合架构。

该项目由研究员Tommy He主导开发,与传统压缩算法依赖预先设计的统计模型不同,tufazip的核心思路是利用Transformer对文本进行预测,并通过模型持续学习文本中的规律,从而提高压缩效率。



其核心模型采用12层、约1.63亿参数的Decoder-only Transformer。在最终版本中,研究团队引入了一种紧凑的离线预训练初始化方案:预先训练两个Transformer模块,将其量化后存储,再在运行时复制并扩展为12个独立层。随后,各层通过在线学习逐渐调整参数,以适应正在处理的文本。

这套方案的关键在于,压缩端与解压端能够同步执行完全一致的学习过程。压缩程序首先根据当前模型预测下一个Token的概率,再利用算术编码将实际Token编码;完成编码后,模型根据已经处理的文本执行参数更新。解压程序则按照相同顺序进行预测、解码和参数更新,使双方始终保持一致。



由于两个端点能够同步重建模型的学习过程,因此无需将在线训练完成后的全部模型权重写入压缩文件。最终只需要保存压缩数据、解压程序以及必要的预训练初始化权重,就能够恢复原始文本。

这也是tufazip能够将模型规模与最终压缩文件体积分开处理的重要原因,其4.33MB的预训练权重虽然需要计入最终压缩成本,却远小于完整模型的常规存储需求。



在技术实现上,tufazip并不是完全抛弃传统压缩技术,而是将神经网络作为唯一的预测模型,并结合算术编码完成数据编码。其创新重点在于预测模型的构建、在线学习以及压缩与解压过程中的确定性同步。

实验结果还揭示了几个值得关注的现象。首先,词表规模并非越大越好,在相关对照实验中,4000 Token的词表取得了优于8000和16000 Token词表的压缩效果。研究团队还发现,专门针对维基百科XML标记设计的特殊Token并没有带来预期收益,反而使压缩效果下降。



其次,模型参数量与压缩效果也并非简单的正相关关系。在相同词表及训练窗口的对照实验中,1.88亿参数模型的表现略优于2.67亿参数模型。研究人员认为,对于固定规模的文本数据,模型可能存在一个更合适的容量区间,继续增加参数不一定能够改善最终结果。

此外,扩大在线学习中的历史回放窗口能够进一步提高压缩率,但也会显著增加计算量。在一组对照实验中,将回放窗口从1500万Token扩大至3500万Token,压缩数据量减少约1.21%,但模型计算量增加约40%。



硬件与时间成本则是目前tufazip最明显的局限,实验使用两块英伟达B200 GPU和两颗英特尔Xeon Platinum 8570处理器。按照公开的基准测试记录,压缩和解压分别耗时约631,548秒和645,748秒,其中压缩约7.3天、解压约7.5天(不含起始模型的离线训练时间)。峰值内存占用在压缩与解压期间分别约为68.5GB和73.7GB。

从最终成绩来看,tufazip v2的压缩数据本身约为100.96MB,加上4.33MB的解压程序及预训练权重,总计105.39MB。相较于此前完全依靠在线学习的105.98MB版本,最终文件进一步缩小了约0.59MB。



值得注意的是,tufazip的研究价值并不只是将一份维基百科数据压缩得更小。它展示了一种不同于传统混合压缩架构的技术路径:让神经网络承担文本规律预测,并通过压缩端与解压端的同步学习,避免传输完整的训练后模型。

目前,tufazip仍处于研究和实验阶段,尚不具备面向普通用户的实用产品形态。其极高的计算成本也意味着,这项技术距离日常文件压缩应用还有相当距离。不过,它为神经网络在无损压缩领域的应用,以及在线学习与模型参数传输机制的研究,提供了新的探索方向。

小编将在第一时间分享更多相关最新动态和爆料,敬请关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
记者:法布雷加斯说叫了救护车,这让我很担心基恩的状态

记者:法布雷加斯说叫了救护车,这让我很担心基恩的状态

懂球帝
2026-11-21 23:31:14
医生都这么穷了?江苏58岁副高医师往返接直饮水,长期在科室放置洗漱用品,引发热议

医生都这么穷了?江苏58岁副高医师往返接直饮水,长期在科室放置洗漱用品,引发热议

火山詩话
2026-11-20 18:50:23
我八十七岁,用亲身经历告诉你:钱差不多,请保姆真不如住养老院

我八十七岁,用亲身经历告诉你:钱差不多,请保姆真不如住养老院

金哥说新能源车
2026-11-21 00:31:16
一年修电脑挣800万!看到真实经营数据,网友怒了:请尊重一下事实

一年修电脑挣800万!看到真实经营数据,网友怒了:请尊重一下事实

山月记闻
2026-11-22 10:13:54
为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

乌克兰小静
2026-11-20 09:02:01
《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

《GTA 6》首日狂揽37.9亿美元,超越《复联4》总票房

自愈小日子
2026-11-21 04:07:16
江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

涛哥讲堂
2025-01-10 14:13:19
美伊谈判,传来大消息!

美伊谈判,传来大消息!

日照日报
2026-11-22 09:14:00
庞众望现状:27岁清华博士毕业,母亲去世5年后,女友一直陪伴他

庞众望现状:27岁清华博士毕业,母亲去世5年后,女友一直陪伴他

流云随风去远方
2026-11-21 15:34:23
GTA6前期海岛生活太悠闲 不想去监狱接老婆了

GTA6前期海岛生活太悠闲 不想去监狱接老婆了

游民星空
2026-11-21 17:16:31
事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

事态彻底升级了!俄怒射117枚导弹以牙还牙,欧称:乌克兰严冬再冷,也吓不倒欧洲,引发舆论热议!

蔡蔡说史
2026-11-21 19:26:00
深圳男子被漂亮交警开罚单后一见钟情,他决定这样做来接近她

深圳男子被漂亮交警开罚单后一见钟情,他决定这样做来接近她

牛魔王与芭蕉扇
2025-07-14 16:21:23
中国AI正在上演一场 “降维打击”,美国人破防,芯片封锁竹篮打水

中国AI正在上演一场 “降维打击”,美国人破防,芯片封锁竹篮打水

互联鱼
2026-11-22 00:05:29
狂轰50+11+7创历史,绝平却超时!公开谈大帝踩线,输球不输格局

狂轰50+11+7创历史,绝平却超时!公开谈大帝踩线,输球不输格局

锅子篮球
2026-11-22 10:48:07
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

黎兜兜
2026-11-20 08:12:24
3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

墨策讲历史
2026-11-18 23:11:36
黄仁勋女儿被曝大瓜

黄仁勋女儿被曝大瓜

小鱼爱鱼乐
2026-11-20 16:51:38
特朗普重磅表态:普京认同俄乌冲突根源在美国,联手抨击ICC越权

特朗普重磅表态:普京认同俄乌冲突根源在美国,联手抨击ICC越权

老马拉车莫少装
2026-11-21 19:53:01
历史上什么事件,你感觉是天佑中华?

历史上什么事件,你感觉是天佑中华?

文一史二
2026-11-22 07:30:19
佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

锅锅爱历史
2026-11-22 05:13:05
2026-11-22 12:52:49
宗熙先生
宗熙先生
分享科技、数码、互联网信息。
4583文章数 566关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

房产
本地
亲子
艺术
数码

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

如何情绪稳定带娃?耐心看完,避免一写作业鸡飞狗跳

艺术要闻

16位欧洲画家的19幅作品欣赏

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

无障碍浏览 进入关怀版