构建稳健数据架构，规避五大陷阱｜StartDT Talk

【StartDT Talk】“客户成功三要素”系列直播第二期圆满收官！

本期直播聚焦于三要素之一的“好的架构”，由奇点云创始人行在和中国信通院TC601数据中台专家库成员证道共同探讨如何用好数据架构这把钥匙，解锁企业数据宝藏。

1 什么是好的架构

上期直播提到，一款好产品，应当具备跨平台、云原生、自主可控、数据安全四大特性，运用先进技术帮助客户解决问题。

然而，光有好的产品是不够的。产品好比一把狙击枪，必须要有好的技术架构和数据管理建模架构配合使用才能更大程度地发挥价值。那么，什么是好的架构呢？

目前，行业内部对数据架构还没有一个准确的定义，但从广义上来讲，数据架构可以被理解为组织内部的数据战略蓝图，涵盖了数据底座、数据建模、数据治理等服务，搭建了产品的整体骨架，能够从各个节点确保数据能够被有效地管理和利用，全方位支撑企业的运营和战略目标。

2 数据架构常见的5大坑

2.1 技术栈的“八国联军”

技术栈的“八国联军”指的是在一个组织内同时使用多种不同的技术栈，导致技术环境的复杂性和混乱等情况。这种现象在大型企业中尤为常见，其中可能存在多个独立的团队，每个团队根据自身偏好或需求引入不同的技术解决方案。

例如，某大型零售企业最初依赖于SAP HANA进行数据分析，随后由于成本和可用性问题，转向自建Hadoop集群和Oracle RAC。这导致了企业内部出现了三种不同的技术栈，不仅增加了维护和集成的难度，而且限制了数据处理的效率和扩展能力。

另一家金融五百强企业则更甚，拥有八种不同的技术栈。这种“八国联军”的情况，除了增加技术债务和管理复杂度外，还可能导致资源浪费、学习成本增加以及加密机制的不一致，从而影响数据安全。

为避免多技术栈造成的混乱情况，我们建议企业统一底层架构，选择标准化的底层技术栈，避免后续的复杂性和兼容性问题。另外，企业还可以向专业的供应商寻求帮助和业务支持，避免过多的预算消耗或创新压力。

2.2 冰山下的数据架构

在数据架构的构建与管理中，非技术因素如组织架构、领导决策和内部博弈等，虽不直接涉及技术细节，却如同冰山下的暗流，对数据架构的实施与效果产生深远影响。

例如，某互联网大厂就曾出现过典型的非技术问题。该厂有云梯一、云梯二两个大型集群。这两个集群的数量膨胀得非常快，很快就碰到了5000台节点容量的问题。但是当时的技术还没有办法突破5000台，而且不可能让两个这么大的集群都能够去服务客户，否则很容易造成数据重复存储、管理效率低下、数据安全难以保障等问题。

最后只能请不怎么懂技术的CEO拍板决策，把云梯一全部解散，合力去搞自研派的云梯二，花了很大的力气把5000台的技术突破掉。当时的决定至今也无法说明谁对谁错，但CEO至今仍为当初决定所带来的的一系列问题而背锅。

由此可见，数据架构的构建与优化是一个复杂的系统工程，它不仅涉及技术层面，更与组织架构等非技术因素紧密相关。我们建议企业深刻理解并妥善处理这些“冰山下的暗流”，才能确保数据架构的有效实施，避免资源浪费，保障数据安全，实现数据价值的最大化。

2.3 数据管理的“三国演义”

我们先通过一个案例来理解什么是数据管理的“三国演义”。

某跨国外企在美国使用Oracle云，在中国使用阿里云，在印度使用AWS云，形成了三国三云的局面，我们形象地称之为数据管理的“三国演义”。

然而，这种“三国演义”会造成一系列的问题。一方面，多云环境不仅会增加技术堆栈的复杂性，还会引发数据引擎不兼容的问题。另一方面，各国对数据安全和隐私保护的法律各不相同，对数据的跨境传输有严格限制。因此，这种条件下的数据跨国运行对CIO、数据架构师来讲无疑是巨大的挑战。

为了避免数据管理“三国演义”，奇点云自主研发了数据云平台DataSimba，支持跨云跨引擎的数据管理，能够在全球Top 9云平台上运行，实现数据的加工、管理和计算，同时提供统一的安全策略和账户管理方式，帮助企业克服多国、多云、多引擎带来的挑战，实现高效、安全和合规的全球数据管理。

2.4 数据建模一盘散沙

企业选择一个好的数据平台或产品，犹如关云长获得赤兔马，但要实现数据治理的成功，还需要“过五关斩六将”。若忽视上层的数据建模和架构建设，即使拥有了强大的底层技术，企业依然会面临数据管理的重重困难。

这里举一个客户的例子。某500强制造企业，其下属的一个一级子公司使用的是开源的技术栈。几年后，系统膨胀至数千个任务与上万张数据表，数据血缘比蜘蛛网还复杂，有近100套信息系统要接入，导致后续的治理和维护异常困难。其根本原因就是他们用这套开源技术栈比较早，只考虑了底层的技术架构而忽略了上层的数据建模。

由此可见，缺乏统一的数据建模，对企业后续的数据治理和维护影响是巨大的。我们建议企业不仅要构建强大的底层技术架构，还要统一上面的模型层。赤兔马和武艺缺一不可，否则就会失足跌落，或被他人斩于马下。

2.5 传统的数据治理已死？

近年来，传统的数据治理面临着严峻的考验。企业发展至中后期，数据量激增，数据治理与架构设计的挑战倍增，数据安全与权限管理问题更加棘手。

举个例子，以前产线里站的全是人，现在产线里站的全是是机器人。机器和人最大的差别，就是机器产生的数据量远远多于人产生的数据量。因为机器能够随时随地把它的状态发到云端去，所以非结构化的数据，持续的数据也越来越多。另外，上层的业务层和CEO对数据的实时性要求也越来越高，如果再叠加很复杂的一些数据库的要求和规则在里面，光这张报表靠人力都是很难整理出来的。

行业发展至今，数据量已经今非昔比，应用要求越来越复杂，实时性要求越来越高。因此，我们认为单纯依靠人力的传统数据治理模式已经无法有效应对现在的数据挑战，需要寻找新的出路。

3AI给数据架构带来的机遇和挑战

随着AI技术的迅猛发展，企业纷纷将其融入业务应用和数据治理中，以期挖掘新的价值和效率。然而，AI的崛起也引发了从业者的焦虑，担心自身专业能力和职业前景受到冲击。

事实证明，AI确实在提升工作效率方面展现出巨大潜力。在IT领域，低级的代码编写等较为机械的脑力劳动可能首当其冲，面临被AI技术替代的风险。不过，要完全取代如数据开发人员这类角色，AI目前仍存在算力和算法上的局限，短期内难以实现。

尽管如此，AI的广泛应用已是大势所趋，也是技术演进的必然方向。因此，对于数据开发师、数据架构师等专业人士而言，积极拥抱AI，掌握AI驱动的数据开发、数据架构和数据治理技能，成为AI训练师或指导者，显得尤为重要。在AI浪潮中，唯有不断学习与适应，才能确保自己“坐在餐桌上”，而非沦为“菜单上的选项”。

4总结

在这次直播中，我们虽然只分享了五个类型的坑，但实际上我们在过去若干年中遇到的远远不止这些，可能是50个甚至100个这样的坑。其中大部分问题可以在最初的建设规划中规避。这样看来，好的架构设计就显得尤为重要。

综合上文，怎样才算是“好的架构”呢？我们总结了以下三点：

· 专业化分工：专业的事应由专业的人负责，避免“八国联军”的局面。

· 选择独立第三方供应商：独立第三方的供应商能够确保中立性，避免利益冲突，同时通常能提供更全面、更客观的解决方案。

· 数据安全为核心：好的数据架构必须将数据安全视为核心要素，确保数据的完整性、保密性和可用性，才能有效抵御各类安全威胁。

由此可见，好的数据架构对企业十分重要。那么，我们将如何减少或规避搭建数据架构过程中的“坑”呢？