数据压缩有没有可能发展到极限？这个大赛正在挑战不可能

“数据压缩有没有可能发展到极限？”

这是一个在知乎很火热的问题，目前已吸引4万多人关注。进入数字时代，数据量呈现爆发态势，存储成本上涨的巨大压力，而压缩算法作为存储领域的关键根技术，能将存储数据量进行大幅度压缩，从而降低数据的存储成本。

突破数据压缩算法面临的瓶颈，实现存储质量和数量的突破，大幅降低数据存储成本开始成为一个“显性”问题，广受行业关注。

数据压缩，离极限有多远？

所谓的“压缩”就是在不损失信息量的前提下，用新的描述方式表示原有的数据，而这种方式占用的空间更少。在信息论中，香农的信源编码定理确立了数据压缩的限度，信源编码定理表明不可能把数据压缩得码率比信源的香农熵还小，但是有可能使码率任意接近香农熵，且损失的概率极小。

在知乎话题“数据压缩有没有可能发展到极限？”中，第一条热门答案这样明确表示，“压缩是有极限的，但是目前压缩技术，远远没有达到极限。”

数据压缩算法何时到达极限，极限在哪里？

据IDC统计显示，预计到2025年，全球数据量将达到163ZB。在华为看来，数据是智能世界的核心基石，在有限的资源下实现100x性能密度和100x容量密度的数据存储，将是未来智能世界的一个核心挑战。提升每个比特的信息量，最大化每个存储单元的价值，是数据存储领域主要目标，而压缩算法作为决定存储系统性价比的核心算法，则是实现这个目标的关键根技术。

在数据压缩算法方面，近些年来业界探索较多，有追求压缩比的，有追求性能的，有追求性能坚兼顾缩比的，有放弃性能追求极致压缩的。在传统数据压缩算法不断发展的同时，近年来深度学习网络也应用于数据压缩中获得了很好的效果。以快速压缩为例，排除传统经典的 LZSS、LZW、LZO 外，最近这几年还出现了QuickLZ、Snappy、LZF、 LZ4 等多种算法。

显而易见，压缩算法对降低数据存储成本有重大利好，而现在才刚刚进入繁荣的前夜，离“极限”还相差甚远。随着业内的探索和实践日益增多，在有限的资源下实现100x性能密度和100x容量密度的数据存储将会是一个有望去早日挑战的“不可能”。

难得的25%大赛作品远超业界标杆算法

虽然举办竞赛是选出业内优秀作品和选手，提升产业水平的一个通用和较好的形式，但在数据压缩领域，很少会有相关的竞赛。自2020年，华为开始牵头主办的“全球数据压缩大赛“刚好开启了这一先河。

去年6月至12月，华为携手莫斯科国立大学举办“首届全球数据压缩大赛”，吸引了来自世界各地的软件工程师和研究人员广泛参与，大赛累计获得5000位以上全球存储专家的关注。

大赛成果斐然，胜者提交的算法作品压缩效果突出，超出业界标杆算法25%。这也意味着，相同性能下新的压缩算法在业界通用算法压缩效果的基础上提升25%，是完全切实可行的。

25%，已经是一个难得可贵的数字，而如果通过每年的数据压缩大赛都能实现数字的提升，则其对数据存储领域的贡献可以称得上“斐然”。

在美剧《硅谷》里，一群工程师凭借大杀四方的数据压缩算法，开发一款名为Pied Piper的设备，以数据压缩算法进行数据管理与存储，让公司炙手可热。数据压缩算法越高明，便越能以尽可能快的速度来读取存储在服务器，或者终端中的数据细节。算法越好，也意味着能读取的数据细节越多。

今年，华为继续与莫斯科国立大学合作，携手举办第二届全球数据压缩大赛，大赛邀请了压缩领域享有盛誉的技术专家担任评委；使用电子显微镜、遥感等高性能计算（HPC）数据，更贴近前沿、更贴近实际场景。

此次大赛延续了去年大赛的部分规则，继续按数据类型和处理速度2个维度评测参赛者的数据集算法成果，即根据文本、图像、混合、分块混合4种数据场景，逐一考察其在高性能、均衡、高压缩率这3种测试类别下的测试结果。而在项目设置上增加了面向高校学生、难度相对较小且广为人知编码算法优化项目，吸引更多校园算法高手参与比赛。同时，在奖项设置方面，增加了领先奖和特等奖，以不同的机制奖励算法突破，并将奖金总额提高至百万人民币级别。据了解，截至7月中旬，开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请。

可以预见，今年的大赛还会有一批优秀的突破项目产生，值得期待！

数字化未来，智能存储新世界

随着数字经济蓬勃发展，数据也成为当之无愧的关键生产要素，是基础性资源和战略性资源。通过举办压缩算法大赛，华为希望可以搭建一个交流平台，促进全球专家进行思想碰撞，擦出新的火花。华为数据存储与机器视觉研发管理部部长孟广斌就表示：“ 华为希望通过举办压缩算法大赛吸引更多的专家投入到压缩领域的研究中，推动这个领域的技术进步。”

值得注意的是，华为作为数据存储领域的“攻坚者”，正逐年加大对前沿科学研究的投资。而在数据压缩和数据存储领域，也正不断推陈出新，发布系列领先业界的产品和方案。

比如，华为创新推出了全分布式内存互联内核的OceanStor OS存储操作系统，以统一的存储架构支撑了华为OceanStor Dorado高端全闪存存储、OceanStor Pacific系列海量存储、以及能够实现全场景数据保护的OceanProtect数据保护解决方案，彻底解决了客户不同场景的数据存储诉求。

随着计算能力本身的提升，加上大数据、AI等新兴技术与传统HPC的结合，超算系统走向数据密集型、多元化处理能力已经成为了确定性需求，华为推出了OceanStor Pacific系列下一代数据湖存储，推动HPC向HPDA加速演进。

再比如，数据中心作为数据的载体，承担着数据资源集中存储、计算、交换的功能，转型升级迫在眉睫。华为提出全闪存数据中心的理念和方案，包含了OceanStor全闪存、OceanProtect数据保护、DME全生命周期智能运维、NoF+高速存储网络在内的华为全闪存数据中心解决方案，是打造未来安全高效、绿色节能数据中心行之有效的方法。

在数字化的新世界，自动驾驶、基因测序、电影渲染、精准天气预报、金融反欺诈等各个领域，海量存储有着广泛的应用前景，并且对数据压缩、数据计算等能力提升提出更高需求。华为通过坚定不移地在数据存储研究领域持续投入，与产学研各界生态伙伴共建融合、智能、开放的数据基础设施，无疑会加快数据压缩领域的突破，触达智能存储的新高度。

今年的世界数据压缩大赛将持续至12月，可以预见，本次大赛无疑会吸引更多的压缩领域以及非压缩领域的专家、老师和学生关注和参与，并涌现出众多优秀算法成果。通过这样持之以恒的攻坚，持续突破压缩算法关键根技术，突破数据压缩算法极限的那一天将提前到来。