导读 随着大语言模型和多模态 AI 技术的快速发展,企业数据平台所面对的需求正在发生结构性变化。传统以结构化数据为中心的分析架构,已难以满足智能驾驶、知识问答、Agent 决策等新兴场景中"标量、向量、全文"融合检索的需求。在此背景下,阿里云 Hologres 团队提出了从"实时数仓"向"AI 时代一站式分析检索平台"的产品定位演进,并在最新发布的 Hologres 4.0 版本中,系统性地落地了多模态融合分析、AI 原生函数、非结构化数据治理和弹性资源管理等核心能力。
本文基于阿里云智能集团/计算平台事业部 Hologres 负责人姜伟华的技术分享,梳理该平台的架构设计思路、关键技术特性及典型业务落地场景。
主要内容包括以下几个部分:
1. 多引擎拼装架构的困境
2. Hologres 4.0 的架构演进与核心定位
3. 多模分析检索能力的技术实现
4. AI 原生能力的平台化集成
5. 非结构化数据的表化治理与湖仓能力增强
6. 面向 AI 负载的资源治理体系
7. 典型业务落地场景
8. 结语
分享嘉宾|姜伟华 阿里云智能集团 计算平台事业部Hologres负责人
内容校对|韩珊珊
出品社区|DataFun
01
多引擎拼装架构的困境
![]()
在当前主流的数据架构中,企业通常需要同时维护多种引擎来覆盖不同的数据处理需求:OLAP 分析依赖 ClickHouse或 Doris,KV 点查依赖 Redis 或 HBase,全文检索依赖 Elasticsearch,向量检索则需要接入 Milvus 或 Faiss。这种多引擎并行的架构模式带来了三方面的显著挑战:其一,开发效率受限,N 个引擎意味着 N 条链路的适配、N 份元数据的维护以及复杂的数据对账工作;其二,存储与计算成本高企,同一份数据在多个系统间冗余存储和同步;其三,运维管理困难,各引擎资源独立、无法共享,弹性扩缩能力受限。
![]()
以智能驾驶场景为例,该问题尤为突出。一辆智能车辆采集的数据同时涵盖结构化信号(车速、电量、固件版本)、半结构化日志(车机信号 JSON)和非结构化内容(摄像头图片、轨迹视频)。业务侧的需求不仅包含主键点查和多维统计分析,还涉及向量相似度检索与标量条件的融合过滤。在多引擎架构下,标量过滤与向量召回分属不同系统,当两侧结果匹配度较低时,为保证召回率不得不在向量端大幅放大候选集,导致查询性能显著下降。这一矛盾揭示了一个核心命题:AI 时代的数据平台,需要具备在单一引擎内完成多模态融合检索的能力。
02 Hologres 4.0 的架构演进与核心定位
![]()
针对上述挑战,Hologres 4.0 采用了"All-in-One"的架构设计思路,在统一内核中原生集成 OLAP 分析、高 QPS 点查、向量检索、全文检索和半结构化数据处理等多种能力,实现"一份数据、一种计算、多模分析"的统一架构目标。
![]()
这一架构变革的核心价值在于:将原本分散在多个系统中的数据处理能力收拢至统一平台,消除了数据冗余存储与跨系统同步的开销,同时降低了开发和运维的复杂度。对于 AI 应用开发而言,开发者不再需要分别对接向量数据库、文档解析服务和全文搜索引擎,而是可以在统一的 SQL 接口中完成完整的数据加工与检索链路。
03 多模分析检索能力的技术实现
在 OLAP 与点查层面,Hologres 保持了高水准的基础性能。在 TPC-H 30TB 基准测试中取得性能世界第一的成绩,在 ClickBench 基准测试中,Hologres 内表查询性能表现优异,处于国内领先水平;非主键点查通过全局二级索引实现了 65 倍的性能提升。
![]()
在向量检索层面,Hologres 实现了 99% 的高召回率,并支持"写后即查"——数据写入后无需等待索引构建即可立即检索。通过内存与磁盘的混合索引技术(RapidQ 1 比特量化),内存占用降低 80%,性能损耗控制在 5% 以内。
![]()
在全文检索层面,Hologres 集成了基于 Tantivy 的高性能全文检索引擎,支持 BM25 算法及 IK、Jieba 等多种中文分词器,查询性能较同类产品提升 151%。该引擎支持"标量+全文+向量"的三路混合检索,可在单次查询中完成条件过滤、文本召回与语义排序的协同。
![]()
04 AI 原生能力的平台化集成
![]()
Hologres 4.0 将大语言模型能力下沉至数据库层,提供了一套完整的 AI Function 体系。通过标准 SQL 接口,开发者可直接调用百炼平台上的通义千问、DeepSeek等模型,执行 ai_embed(向量化)、ai_parse_document(文档解析)、ai_chunk(文本切片)、ai_summarize(摘要生成)等操作。这一设计使得 RAG(检索增强生成)等复杂 AI 链路的构建,可以在数据库内通过 SQL 完成闭环,无需依赖外部编排系统。
AI Function 与表结构、权限体系及增量调度机制自然衔接,使 AI 加工能力成为数据链路的有机组成部分,而非外挂式的附加模块。
05 非结构化数据的表化治理与湖仓能力增强
![]()
Hologres 4.0 引入了 Object Table 机制,将存储在 OSS 上的图片、视频、PDF 等非结构化数据映射为数据库表。用户指定 OSS 路径后,系统自动采集文件元数据,并支持通过 SQL 与 AI Function 进行批量加工——包括特征抽取、描述生成和向量化处理等。结合 Dynamic Tables 的增量计算能力,系统仅对新增文件执行 AI 推理,有效控制了大模型调用带来的 Token 成本,这在生产环境中具有重要的工程价值。
![]()
在湖仓能力方面,Hologres 通过 External Database 功能,支持对 Paimon、Iceberg 等开放数据湖格式以及 MaxCompute 等外部数据源的统一元数据管理和高性能直读。数据湖镜像功能可将湖端热数据自动同步至内部 SSD 存储,使湖表的访问性能达到与内表一致的水平。
![]()
06 面向 AI 负载的资源治理体系
![]()
多模态与 AI 任务在资源消耗模式上具有高度异构性——写入、在线服务、即席分析、批量 AI 推理对计算资源的需求差异显著。Hologres 采用存算分离架构,通过弹性计算组实现不同业务负载的物理隔离,确保各类 workload 互不干扰。
![]()
在此基础上,Hologres 进一步引入了单 Query 级别的 Serverless Computing 模式,支持按需分配计算资源、按量付费、用完即释放,可实现"零预留成本"的弹性分析能力。这一特性对于脉冲式的大规模 ETL 作业和探索性 AI 分析尤为适用。
在查询优化方面,系统引入了 HBO(基于历史的优化)和自适应执行(Adaptive Execution)机制,可根据历史执行记录动态调整查询计划和并行度,提升复杂查询在生产环境下的执行稳定性。
07 典型业务落地场景
智能驾驶领域,某知名车企利用 Hologres 统一内核替换了原有的多系统组合架构(开源 StarRocks + 自研向量库 + RocksDB),实现了车辆信号、特征向量与轨迹图片的一站式存储与混合检索。架构升级后,数据实现秒级实时可见,计算资源从 15000 核降至 5000 核。
![]()
数字广告领域,某游戏客户基于 Hologres 的 AI Function 能力,结合用户标签自动生成个性化广告分镜脚本与视频素材,将素材制作效率提升 80%,产出量提高 5 倍,广告投放 ROI 提升 20%。
![]()
零售运营领域,某大型连锁便利店将数万家门店的货架图片存入 OSS,通过 Object Table 与 AI 函数进行向量化推理,自动检测货物摆放合规性及缺货情况,差异校验准确率达到 90% 以上。该场景标志着数据平台的能力边界正在从"管理数据"延伸到"理解内容"。
08 结语
从产品演进脉络来看,Hologres 经历了从实时数仓到多模态分析检索平台的系统性升级。这一转变的底层逻辑在于:AI 时代的数据处理已不再局限于结构化数据的统计分析,而是需要将结构化、半结构化和非结构化数据纳入统一的存储、计算、检索和 AI 加工框架。Hologres 4.0 通过 All-in-One 架构、AI Function 体系、Object Table 机制和弹性资源治理,构建了一个面向多模态场景的完整技术栈。
姜伟华在分享中提出的一个判断值得关注:未来数据平台的服务对象将不仅是人类分析师,更是自主决策的 AI Agent。平台能否支撑 7×24 小时的自动化决策流——查询、分析、推理、行动——将成为衡量其能力边界的新标准。Hologres 正沿着"Agent-Ready"的方向持续演进,这一方向对整个数据基础设施行业而言,同样具有参考意义。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.