【金猿技术展】一种对于维度模型大数据量数据分析加速方法

2024-11-19 11:09:50　来源: 数据猿DataYuan

内蒙古举报

分享至

永洪科技技术

该技术由永洪科技投递并参与“数据猿年度金猿策划活动——2024大数据产业年度创新技术突破榜单及奖项”评选。

本发明公开了一种对于维度模型大数据量数据分析加速方法，智能化数据分析技术领域，其获取事实表；对所述事实表进行预处理以得到预处理后事实表；对所述预处理后事实表进行分组汇总以得到维度模型；基于所述维度模型，进行统计分析。这样，可以更好地利用维度模型的特性，提高数据分析的准确性和可靠性，进而加速大数据量的维度模型数据分析过程，提高数据处理效率和准确性。

技术说明

在数据分析领域，主要的场景就是对于大数据量（千万级以上）的明细数据进行分析汇总（万级以内）来提炼有用的信息。有些分析是基于展平的宽表来做的。有些分析是基于关系数据库里的数据直接进行分析。如果答案不能通过一张表的数据查询分析得到，那么就会需要从多张表中通过关系计算进行关联来进行查询分析。常见的是“星型模型”或者“雪花模型”。

以“星型模型”来举例，事实表里一般是存储的id字段（比如员工的工号），维表里存储的是id和描述（比如人员名称，岗位等信息）多个字段的映射。如果事实表数据量很大，那么和维表做关联，再通过维表的字段做筛选或展现的时候，性能很差。所以本方法是定义了一种字典列，在选取筛选值的时候，从维表上直接取数，显示字典列数据；在数据展现的时候，显示字典列数据。这样通过避免在明细计算层面进行join操作来极大的提升性能。并可以通过界面在定义查询的时候进行设置，制作报告和分析报告的人员无感的方式，就像直接访问事实表一样来使用。

技术应用

vividime是永洪科技的核心产品，把大数据分析所需的产品功能全部融入一个平台下，进行统一管控。各种规模的企业提供灵活易用的全业务链的大数据分析解决方案，让每一位用户都能使用这一平台轻松发掘大数据价值，获取深度洞察力。产品涵盖从数据应用咨询、BI、AIGC、数字孪生、数据实施运维的端到端大数据价值服务能力。

其中vividime Copilot产品，深度融合人工智能技术，实现了智能SQL、智能问答Copilot以及AI函数等一系列强大功能，允许用户采用日常对话式的自然语言向系统提问，系统能快速准确地理解并回应用户需求，提供对应的数据结果以及解读建议，真正实现“让数据说话”，实现数据的智能处理与分析，极大提升了数据分析的易用性和交互性。

开发团队

·带队负责人姓名：马云 Humming Ma

马云 Humming Ma，永洪科技联席总裁&研发部总经理。毕业于北京邮电大学，拥有15年商业智能产品研发、质量保证等工作经验，曾在知名BI公司担任团队领导人，完成了多个版本的研发任务。主要研发方向包括：云计算框架、图表引擎、数据展现、数据处理、数据输出、系统优化等等。

团队其他重要成员姓名：何贝乐

·隶属机构：永洪科技

北京永洪商智科技有限公司（简称永洪科技），成立于2012年，作为致力于打造全球领先的数据技术厂商，永洪科技依托自主知识产权的一站式大数据平台，形成完善的产品及服务体系，具备从数据应用方案咨询、数据治理、数据可视化分析、数字孪生、AIGC智能分析、数据深度应用，再到数据平台实施运维服务的端到端大数据价值服务能力，连续六届获得BI商业智能领域第一名，是国家级专精特新“小巨人”企业。