Matillion在K8S上推出数据生产力云

近日Matillion发布了数据生产力云，这是一项新服务，将供应商的所有ETL和数据集成工具整合到一个软件即服务(SaaS)中，运行在AWS云中的Kubernetes上。

Matillion首席产品官Ciaran Dynes表示，数据生产力云背后的想法是为所有组织的分析数据集成需求提供一站式服务，从批处理ETL/ELT到通过变更数据捕获(CDC)的实时流数据。

Dynes说:“从企业应用程序到数据库，利用Matillion的转换能力，将所有信息转移到数据云中。它管理这些数据，将这些数据合并在一起，从而产生这些见解，然后轻松地将这些数据连接回这些应用程序。但这一切都是100%地整合在单一的SaaS用户体验中。”

Matillion在ETL/ELT领域因满足企业将大量事务数据和操作数据转移到云数据仓库的需求而闻名，特别是Snowflake、AWS的Redshift和Databricks提供的数据仓库，它以ELT方式为这些企业提供基于SQL的下推数据转换。

该公司提供了100多个预先构建的连接器，用于从源系统提取数据，其软件可以自动将数据加载到云仓库所期望的模式中。它支持在无代码环境中进行基本数据转换，还为热爱sql的分析人员提供了一种低代码的自定义转换方法。

重新开发整个数据集成软件套件以运行在Kubernetes上一直是Matillion的目标。“我们已经为Kubernetes重写了Matillion ETL层，”Dynes说。“顾客甚至看不到它。但在内部，我们调整了Matillion的作业，使其以集群的形式水平运行。”

Matillion的新数据生产力云目前可在AWS上使用。

现在它已经完成，客户可以利用在容器和Kubernetes中以无服务器的方式运行所带来的自动配置和负载平衡功能。

当数据生产力云检测到对处理能力的需求增加时，它会自动提供所需的额外处理能力。类似地，当工作负载需求减少时，集群会有效地将自己缩小到零。

Dynes表示，转向K8S使Matillion摆脱了手动管理和扩展基础设施的痛苦和麻烦，而无需再为客户操心。

“我们实际上在管理所有的基础设施，”他说。“你只需配置它。你在Matillion内部设计你的工作，在Matillion的容器和工作负载中运行你的工作，实际上是我们的SRE和IT运营团队在你的一端管理所有这些。”

还通过数据生产力云引入了基于消费的定价方案。客户首先从Matillion购买一定额度的信用额度。然后，当他们处理数据时，从他们的账户中扣除信用点。随着集成工作负载的增加，他们会逐步增加支付的费用。但如果没有工作，他们就不付钱。

为了防止大数据导致大量账单，Matillion允许客户对数据生产力云的扩展范围进行限制。

“你可以设置高低分数。你想要多少平衡?”Dynes说。“你可能会有一个阈值，根据数据量，可能愿意将集群的实际规模扩大两倍、四倍或更多。也许你应该给它设定一些上限。但是，根据客户想要做的事情，它是完全可配置的。我们会根据这个配置配置Kubernetes容器。”

Dynes说，虽然云数据仓库处理ELT方案中数据转换所需的大量处理工作，但在并行加载、预处理和数据编排以及反向ETL方面，Matillion及其客户仍有大量工作要做，以实现自动伸缩和配置的好处。

数据生产力云的推出标志着Matillion一个主要项目的完成，该公司多年来一直致力于开发基于K8的无服务器数据集成产品。Dynes说:“这是Matillion历史上非常重要的一件事。”

另外还宣布了其他一些消息。对于初学者来说，它现在支持dbt，这将为客户提供除了SQL和Python之外的另一种编程数据转换任务的选择。

到目前为止，SQL是占主导地位的语言，但Matillion已经推出了对Python的支持，后者在数据科学家中很受欢迎。dbt工具是由dbt Labs支持的，是一个非常受欢迎的工具，因此Matillion理应使客户更容易在其ETL产品中使用它。

该公司还为SAP、Workday和Anaplan推出了新的连接器。