Databricks推出无服务器流数据摄取服务Zerobus Ingest

Databricks公司今日宣布，其Lakeflow Connect套件中的新型无服务器服务Zerobus Ingest已正式发布，该服务可简化并加速实时数据摄取到Databricks湖仓中。

Zerobus Ingest允许应用程序直接将事件级数据流式传输到受管理的Delta表中，无需依赖Apache Kafka等中间消息代理。Databricks表示，这种流线型处理方式可降低基础设施开销、减少运营成本，并将延迟降低至仅5秒。

Zerobus Ingest支持数千个并发客户端，可实现单表超过10Gbps的聚合吞吐量，每个连接每秒可处理高达100MB的数据。据Databricks介绍，这项托管服务采用无服务器架构，可自动扩展以匹配工作负载，无需手动配置。

与通用消息总线通常使用的多接收器架构不同，Zerobus采用针对数据摄取优化的单接收器方法，该架构将事件路由到多个消费者。公司表示，这种方法最大限度地减少了工程开销，消除了调优代理或监控消费者组的需要，并省去了基于Kafka的管道通常需要的大部分维护工作。

开发人员可以使用Google远程过程调用和REST API与Zerobus Ingest集成，以及针对Python、Java、Rust、Go和TypeScript的特定语言软件开发工具包。这使应用程序能够以最少的代码直接向湖仓写入记录，并通过公司的Unity Catalog提供治理。

Databricks表示，Zerobus Ingest最适合遥测和物联网数据、点击流分析、网络安全事件流等用例，以及其他需要近实时访问大量数据以改善运营洞察的场景。消除外部流媒体层使组织能够减少与多个存储和计算资源相关的成本，同时将多组件摄取堆栈整合为单一托管服务。

该服务现已在主要云平台上作为Lakeflow Connect产品组合的一部分提供。

Q&A

Q1：Zerobus Ingest是什么？有什么特点？

A：Zerobus Ingest是Databricks推出的无服务器流数据摄取服务，可直接将数据流传输到Delta表中，无需中间消息代理，支持数千并发客户端，单表吞吐量超过10Gbps，延迟低至5秒，并可自动扩展。

Q2：Zerobus Ingest与传统Kafka方案相比有什么优势？

A：Zerobus Ingest采用单接收器架构而非多接收器，减少工程开销，无需调优代理或监控消费者组，省去大部分维护工作，降低基础设施开销和运营成本，简化多组件摄取堆栈为单一托管服务。

Q3：Zerobus Ingest适合什么样的应用场景？

A：Zerobus Ingest最适合遥测和物联网数据、点击流分析、网络安全事件流等需要近实时访问大量数据以改善运营洞察的场景，特别是对延迟要求较高的大数据处理场景。