案例 | 湖仓一体数据平台的探索与实践

文 / 中信建投证券股份有限公司肖钢 马丽霞 李可 金航 张天扬

随着数字经济的崛起，金融行业正经历一场前所未有的深度转型。在此转型过程中，技术不仅是工具，更是驱动业务、管理和服务模式全面重构的核心力量。面对这一变革，我国政府及市场对新技术均展现出了明确的策略导向和迅速的响应机制，为证券行业创造了数字技术在金融业务中的广泛应用机会。然而，技术的快速进步与其在业务中的广泛应用也带来了一系列新的挑战，特别是在信创改造的背景下，如何在技术创新与业务稳定之间找到平衡，已经成为了一个亟待解决的核心议题。在这个背景下，中信建投证券股份有限公司（简称“中信建投”）秉持“科技赋能、运营升级”的战略，运用云原生湖仓一体技术架构，制定并实施了一系列战略规划与实践操作，为全面数字化转型奠定坚实基础，为证券行业数字化转型中的数据基座建设提供了新的实践参考。

变革之路，技术为锚

在数字化转型的趋势中，金融行业所经历的变革不单是技术更新，更深入地触及到业务模式、管理模式及服务模式的整体革新。与此同时，相关的监管部门已经在政策方面为金融行业的数字化转型设定了清晰的方向。其核心目标之一是促进基于数字资产和数字技术的金融创新的稳健发展。为达成此目标，对金融企业的数据基础设施设定了更为明确且严格的标准，旨在提高企业的运营效率、完善客户服务体验，并满足市场及客户的多样化和定制化需求。

在早期信息化建设中，中信建投已经洞察到金融行业的深度变革需求，迅速地推进了基于MPP架构的数据仓库平台，整合核心业务数据源，为证券行业树立了企业级数据仓库的新标准。但随着数据量的爆炸性增长和应用场景的多样化，中信建投意识到了Hadoop技术栈及大数据技术的关键作用，进一步构建了企业级数据湖平台，以强化数据应用生态。

2022年，在全球经济数字化的大环境下，中信建投清楚地意识到，尽管MPP+Hadoop的传统数据架构为公司提供了坚实的数据赋能基础，但在技术快速发展、数据的爆发式增长和规模化应用的背景下，传统架构的局限性再次逐渐凸显。特别是数据孤岛问题日益突出，导致信息流通受阻、数据冗余、存储和管理成本上升、链路冗长的数据处理效能难以满足业务需求。

鉴于此，中信建投决定采用云原生湖仓一体技术架构以应对这些挑战。此技术架构不仅能够整合分散的数据资源，解决数据孤岛问题，还能提供更优的数据处理性能、更经济的存储成本和更强的数据安全性。因此，中信建投将该技术列为数字化转型中数据平台升级的核心技术，并将其纳入2023年新一代数据平台的实践规划。如图：中信建投湖仓一体平台系统架构。

策略明晰，实践为本

技术为锚，创新为魂，构建一个更加高效、稳定和前瞻的技术平台基石是同业视为提升竞争力的关键共识。在构筑技术基石过程中，中信建投从四个关键维度出发，确保目标实践的合理、高效和前瞻。

一是赋能数据，源于融合。2022年初，中信建投以此为导向，启动湖仓一体形态的选型与探索。经研究发现，诸如湖和仓串联或并行架构，虽被业界普遍采用，但单纯的多技术栈糅合均存在可预知的应用局限。鉴此，中信建投提出，结合湖与仓技术优势，确保数据真实一体的深度融合策略。

二是论证创新，实践为本。中信建投携手信通院、金融同业及业界领先的云原生湖仓一体技术公司偶数科技，联合发布了《云原生湖仓一体白皮书》明确湖仓一体核心理念及ANCHOR标准：多类型数据(All Data Types)、云原生(Native on Cloud)、数据一致性(Consistency)、超高并发(High Concurrency)、一份数据(One Copy of Data)以及实时T+0(Realtime)。此标准的形成，源于中信建投在2022年末参与的云原生湖仓一体研讨峰会中，与科技及金融行业的专家深度交流达成的共识。此次交流为中信建投后续的湖仓一体平台建设，提供了有力的策略指导和实践参考。

三是选之精准，用之卓越。为了深入响应国家的信创替代战略，中信建投在技术选型过程中，始终将平台的核心技术特性作为首要考量。这不仅包括高并行性能和存储与计算分离基础需求，还涵盖了对国产技术的全面支持和应用的展望。在评估了众多技术方案后，OushuDB因其信创云原生设计和卓越的数据处理特性，与中信建投的信创替代策略及技术需求高度契合。这种技术与策略的紧密结合，为中信建投在后续技术应用和创新实践中奠定了坚实的基础。

四是统一管理，高效运营。在管理策略上，中信建投极度重视数据仓库和数据湖整个运管生态的一体化，为避免资源浪费和管理低效，重新优化了运营团队的结构，优化了管理流程，确保湖仓一体平台的高效运行。

纵观整个技术创新过程，中信建投始终秉持技术创新与务实并重的原则，成功地构建了统一的企业数据基座。这一成果，不仅坚实地支撑了企业的数字化运营，同时也为客户全旅程精准应用服务提供了可能。

积微成著，云智融通

在数字化转型的战略背景下，中信建投采用稳健推进策略，为证券金融科技的新一代数字基座探索了创新方向。为满足金融科技在可靠性、安全性和稳定性上的严格要求，中信建投构建了与国产信创替代战略紧密结合的湖仓一体数据基座。这体现了对数字化时代挑战的有力应对，并为全量、全域数据资产应用赋予了坚实的多态敏捷数据服务体系支持。

在国产硬件、国产芯片、国产操作系统及国产极速云原生数据库的探索与实践中，中信建投成功实现了数据平台的国产信创替代目标，达成了符合金融行业对数据的安全、性能和合规性的要求。

当下，中信建投正在探索企业数据与NL2SQL大模型的深度融合。以期在数据应用端真正实现“自助式”用数，显著提升企业数据资产管理和应用的智能化水平，释放数据价值潜能。展望未来，中信建投将持续深化云原生与容器化技术的研究，优化跨平台交互操作，并进一步探索人工智能与机器学习的融合应用。此类技术创新旨在充分发掘云原生和AI技术的潜在价值，进而构筑一个稳定、高效、智能、安全的企业级湖仓数据平台，为中信建投的数字化转型提供坚实的数据基座，确保转型步伐提速增效。