以技术创新为引擎，打破国产化替代的局限

在竞争激烈的市场中，仅仅依靠国产替代无法赢得用户和市场，技术创新才是实现真正竞争优势的关键。

1月11日，“国产化软硬件升级替换之路”专场邀请到了观测云CEO蒋烁淼、Datablau数语科技资深技术专家冷鹏、涛思数据CEO，TDengine主要作者陶建辉三位来自不同领域的重磅专家坐镇，以不同的视角解读“技术创新”这个话题。

本期ITPUB举办主题为“国产化软硬件升级替换之路”的第十期线上沙龙，主持人为IT168编辑李雪薇，共分为专家分享与圆桌共话两大环节，以下为直播内容精编整理。

如何看待现代化的可观测性平台 其实是个实时大数仓

◆ 观测云CEO 蒋烁淼

现代DevOps工程师们，对SQL、HiveQL、PromQL、EQL都能信手拈来，对海量的系统指标、链路、日志，甚至眼花缭乱的用户行为数据都能清晰地可视化展现，对基础设施故障、应用代码BUG、技术栈错误和用户误操作都能快速识别。

他们在数字化阵地前排兵布阵挥斥方遒，保障关键业务可决胜于千里外或普惠于天下，必有依仗一个可以掌控系统实时运行状态的大数据平台。

随着近几年“可观测性”声名鹊起，DataDog等一众新贵品牌快速崛起，也开启了监控工具向实时数仓进化的趋势。做国内，以“观测云”为代表的全链路端到端可观测平台，也具有较多的实时数仓特性。

面向可观测性，最常见的是指标，日志，链路这三种数据类型，事实上不仅仅只是这些数据，还包括如用户行为，Profiling数据等可观测性的数据。

构建完整的监控体系，以及相关的存储需要应用海量的技术，如果使用大量的开源独立监控技术栈存储这些数据，不仅仅要求高，而且无论是技术投入，硬件/云投入上都成本巨大，且所有数据是割裂的。

面对复杂的现代化技术环境，收集数据本身的难度也很大，我们需要有能力从各种系统，中间件，平台，应用中获得这些数据并快速的从数据中构建我们所需的洞见。

然而，往往这些工具还伴随着使用者的学习成本，很多时候只是简单的为了运维需求，无法让更多使用者受惠，如研发，测试等其他工程师。

孤立的存储这些可观测性产生的数据，导致其仅仅只能用于监控目的，而无法利用整体数据来更好的利用好这些数据价值。

上图是观测云的整体架构，他们希望将割裂的问题统一化。

为什么自研可观测数据库？蒋烁淼指出，GuanceDB提供DQL来提供统一的数据分析能力，协助用户更好的从海量的可观测性数据中构建自己的见解；相对于关系型数据库，可观测性的数据具备时间分布的特性；可观测性的数据量非常庞大，要解决用得起问题才能真正落地可观测性，GuanceDB具备更好的性价比。

值得一提的是，GuanceDB带来的价值巨大，存储成本可以降低50%，写入性能提高5倍，可以极大幅度减少服务器投入。与一般开源自建相比，GuanceDB的综合成本大约是它的三分之一。

GuanceDB提供统一的数据采集能力（Datakit）、强大的数据分析能力、明细数据追踪分析能力，具备强大的技术集成，可以快速接入400+技术栈，支持企业基础设施的多样性，各种云服务厂商，轻松打通各种复杂环境。

蒋烁淼强调，无论你的业务在全球的哪个地方，观测云都将提供服务。按照使用量计费，无需硬件投入，与业务高度同步，更好的帮你控制费用。

Datablau创新型数据治理方案分享

◆ Datablau数语科技资深技术专家 冷鹏

当今数据驱动的业务环境中，制定清晰的数据策略非常重要，当创新型、保守型这二种数据战略选项摆在面前时，应该如何选择？Datablau数语科技资深技术专家冷鹏基于诸多案例实践，分享如何选择适合企业长远发展的数据策略架构。

防御性数据策略侧重于防止负面结果。在这里，关键目标通常源于法律、会计和监管方面的考虑。此类策略旨在通过关注合规性、治理和安全能力来降低风险。

进攻性数据策略侧重于通过增加收入和盈利能力或提供增强的客户体验来推动积极成果。主要目标通常是针对组织的产品或业务方面量身定制的，优先考虑人工智能和分析用例，以推动卓越的商业或财务成果。

企业需要确定业务目标，评估数据成熟度，定义数据治理策略，开发数据模型，构建数据管道，实施数据分析AI工具，监控数据质量的合规性。

在冷鹏看来，如果选择创新型数据战略，企业需要推动数据民主化发展，提高全民数据素养，支持快速增长的数据消费用户群。

如何科学的组建数据产品团队？企业需要尽量避免“缺乏业务背景、跳过数据建模、保持理论性“这三个陷阱。

有效的（元）数据管理需要集成来自三个领域的信息：物理系统、数据建模，以及业务流程和场景。这释放了数据管理可以产生的见解和价值创造。

在企业数据架构建设过程中，Datablau拉通、对齐全企业跨业务跨流程信息层级，以数据视角纵览业务主题、流程、业务对象、系统、模型等之间关系，从而统一企业数据架构蓝图。

Datablau利用统一语言、消除歧义，制订企业总体数据标准与规范，通过AI提炼行业数据标准，指导数据模型开发。Datablau基于模型检查策略、上线部署流程来管控数据模型设计开发过程，确保数据的设计与定义遵从企业数据架构标准，通过模型Scorecard评估、衡量数据模型质量。

业务场景元素包括业务流程、业务节点、业务数据、业务指标、业务规则、业务利益相关者。冷鹏认为，围绕提升业务价值，以业务场景驱动做数据治理。

企业需要分解出业务问题，将问题落地成KPI与指标、规则，通过数据治理业务场景中的人和制度落实考核，设计考核标准、时限。

同时，实时监控业务场景中设定KPI变化、分析业务指标趋势发展，对触碰设定的阀值预警，根据规则进行预案决策。

关于数据市场产品流通，首先要利用AI/ML进行数据资产分类、分级，从多个角度建立数据资产评估模型，按企业数据架构分层建立数据资产目录。

其次，促进数据的安全流通与共享，搭建数据资产交易的购物车采购平台，实现多方治理。然后，收集和分析数据产品的履行结果，总结主题域中数据产品的流通效率、用户反馈与评价。

Datablau提供数据自助开发与消费的能力，基于数据产品订单来创建数据自助项目，通过自然语言来描述业务分析场景，自动生成业务主题分析模型。

同时，根据模型映射自动生成映射SQL，即时展示数据血缘路径。Datablau提供数据服务、ChatBI等数据消费方式来支撑业务探索、业务创新；提供增强的客户体验来推动新的数据产品成果复用。

总结来看，在选择创新型平台方案时，从策略角度，智能是驱动的抓手，用户场景为治理的基础，用户用例为推进的手段，不断增强用户体验，为业务创新赋能。

从人员角度，我们需要拉通业务、模型、系统，融合跨域协作。从流程角度，自动建立日常所用到的数据治理的流程，可以自动化通知人员。从技术角度，需要考虑操作性、伸缩性、合理性。

从数据角度，统一企业数据架构，加速自助、自动建模，把数据当成产品，提升数据资产流通，让数据民主化，降低数据自助消费门槛。

要赢得用户和市场，绝不是国产替代 - 从TDengine的技术创新谈起

◆ 涛思数据CEO，TDengine主要作者 陶建辉

TDengine作为新兴国产技术公司，在数据处理和存储领域通过卓越的技术创新引起广泛关注。本文，涛思数据CEO，TDengine主要作者陶建辉分享了TDengine在客户服务和产品发展方面的经验和历程。

值得一提的是，中国数据库总市场小于100亿元。IDC数据显示，2022年，达梦在中国数据库市场份额占比11%，人大金仓为5%，Oracle约为19%。

目前，中国有近300家数据库公司，背靠国企、政府的就有很多家。乐意为国产化数据库付费的绝大部分出于国产替代的目的，看重的不是产品本身，而是政策要求。

真正有国产化替代需求的是国企、央企、军工和政府，而这个市场不是一个充分竞争的市场。陶建辉认为，如果你为国产替代去做数据库，最大的可能性是血本无归。

那么，国产数据库怎么破局？唯有技术和产品的创新。

关于TDengine的创新之路，陶建辉坦言，关系型数据库格局早已形成，但是数据库仍然有机会。我们观察到，时序数据库的发展如火如荼，通过选择不同的赛道，TDengine在技术和产品上不断创新。

TDengine提出了一套完全崭新的时序数据模型，除了数据库本身的功能之外，还是极简的时序数据处理平台，具备数据的汇聚功能，数据的分发功能。

在2023年主流开源时序数据库中，TDengine的star数量位居全球前三名，仅次于InfluxDB和Prometheus。

TDengine创新之一：数据模型

以智能电表为例，很显著的特点是数据是时序的，都带有时间戳，数据是结构化的，而且以数字型为主，除非固件更新，结构不会改变，每个采集点都带有静态属性标签，由于网络或其他原因，每个采集点的数据到达服务器的时间是无法控制的，但每个采集点的采集数据到达服务器的相对顺序是基本有保证的。

一个采集点一张表带来的直接变化是每张表里的记录按时间自动排序，新数据记录的写入变成简单的追加操作，数值按列的变化范围更小，设备ID、标签不会重复存储。

TDengine存储设计策略是一个数据采集点一张表，一张表的数据按块连续存储，数据块内采取列式存储。从而保证单个数据采集点的插入和查询效率是最好的。

TDengine创新之二：超级表

描述一张超级表，即一个数据采集点类型，需要定义采集量的数据结构schema和静态标签的数据结构schema。

为一个具体数据采集点创建表，以超级表为模板，表的schema就是超级表的采集量schema，给静态标签指定具体值。

超级表可以像普通表一样查询，但可以指定标签的过滤条件，标签可以多至128个，每个标签代表一个维度，标签可以事后增加、删除、修改。这样数据建模时，可以先不确定标签或分析维度，每个标签可以是一树状结构，比如北京、朝阳、望京，这样便于缩小搜索范围。

充分利用时序大数据的特点，TDengine设计了新颖的存储引擎，大幅提升了数据的写入和查询速度，同时也大幅提高了数据压缩率。相对通用数据库，读、写、数据压缩性能至少高十倍以上；TSBS基准测试结果显示，相对于TimescaleDB、 InfluxDB，TDengine的性能也是远超。

除高效的写入和查询之外，TDengine还使用更少的磁盘空间和计算资源。

TDengine创新之三：极简时序数据处理平台

除了核心的时序数据库之外，TDengine还提供缓存、数据订阅、流计算处理、ETL，数据管道工具，可以大幅降低系统复杂度，运营与维护成本。

同时，TDengine使用WAL来实现各大模块。

TDengine创新之四：零代码数据汇聚的平台

TDengine能够实现实时数据同步，配置链接信息，数据清洗、转换规则，进度可观测，实现零代码、仅需简单配置。

TDengine创新之五：数据分发分享的平台

数据分发在现阶段是十分重要，因为新的工具、应用层出不穷，需要能快速无缝集成，分发的数据颗粒度、范围要灵活可控，不被任何数据库、云服务、应用厂商锁住。TDengine具备灵活、安全的数据分发功能。

圆桌讨论

Q：我们常常讲创新，但新与旧是一体的，会有一部分旧的继承也会有一部分新的突破。企业该如何面对新与旧？如何创新？

冷鹏：创新不能一直依赖于技术，除了业务创新和技术创新之外，还需要团队合作的创新，数据从产生、管理、消费是一个很长的供应链，需要很多人参与其中。

陶建辉：创新是全方位的，包括产品创新、技术创新、组织管理的创新等等。

蒋烁淼：最重要的前提条件是为什么进行创新？创新在于底层基础设施变化之后，产生了新业态和新模式，使得需要新技术去适应背景。新和旧具备相对性，基础设施才是创新的根本，勿在浮沙筑高台，真正了解大背景，才能做出真正的创新。