【新·职业】大数据工程技术人员职业简介及发展趋势研究

01 职业定义

大数据工程技术人员职业定义：从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

主要工作任务：

• 研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术；
• 研究、应用大数据平台体系架构、技术和标准；
• 设计、开发、集成、测试大数据软硬件系统；
• 大数据采集、清洗、建模与分析；
• 管理、维护并保障大数据系统稳定运行；
• 监控、管理和保障大数据安全；
• 提供大数据的技术咨询和技术服务

02 职业诞生背景

大数据产业指以数据生产、采集、存储、加工、分析、服务为主的相关经济活动，包括数据资源建设，大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。当前，智慧医疗、智慧城市、精准扶贫以及其他相关高新技术产业都离不开大数据的支撑，大数据技术在我国得到了较为广泛的应用。

2014年，大数据首次写入政府工作报告；

2015年8月，国务院颁布《促进大数据发展行动纲要》，大数据正式上升为国家发展战略。随后国家出台了一系列大数据政策，覆盖生态环境大数据、农业大数据、水利大数据、城市大数据、医疗大数据、交通旅游服务大数据等多层次下游应用市场，加快实施国家大数据战略。

2016年，工信部印发了《大数据产业发展规划》，全国大数据产业建设掀起热潮，目前已形成八大大数据综合试验区，建成100多个大数据产业园。伴随新一代信息技术、智慧城市、数字中国等发展战略逐步推动社会经济数字化转型，大数据的产业支撑得到强化，应用范围加速拓展，产业规模实现快速增长。

2019年5月，中国信息通信研究院发布《中国大数据与实体经济融合发展白皮书》，书中综合国内外环境、新兴技术发展等多种因素，测算我国大数据产业增速约为15%，产值达到5405亿元。

2021“十四五”开局之年，大数据产业也进入了集成创新、深度应用的新阶段。大数据在医疗、工业、交通等领域的融合应用 技术加快创新突破，大数据融合应用重点从虚拟经济转变为实体经济;大数据底层技术方面，信息安全、模式识别、语言工程、计算机辅助设计、高性能计算等加快突破，大数据技术领域逐渐补齐短板，并进一步强化长板。

03 职业发展通道

从业态变化的角度看，企业需要大量的复合型人才，即能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌握的人才。

从技术变化的角度看，深度神经网络等新兴技术的发展，弥补了传统分析挖掘技术在大数据时代的短板，这就需要大数据技能人才掌握深度学习方面的相关知识，适应大数据的分析挖掘需要。

从运营方式的角度看，运营方式的变化要求运营人员提升运营前准备、运营中把握、运营后反馈、修正，提升预见能力和掌控能力。

目前企业对中高职层次的大数据人才相关岗位主要有：数据分析师、挖掘工程师、深度学习/算法/机器学习工程师、大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员、数据运营经理、数据产品经理、数据项目经理、大数据销售工程师。可以看出，行业发展引发技术革命，相对应的岗位及要求也有所变化。

（1）技术层面逐步由“万花筒”向“中国特色”、“中国制造”转变，中国标准逐渐成为业界标准，中国证书逐渐成为业界证书。

（2）技术纵深发展和横向拓展，引发企业对人才需求变化，既有岗位重新细分的高精尖专才需求，又有中等层次的广博复合型人才需求。

目前，长期从事数据库管理、挖掘、编程工作的人，包括传统的量化分析师方面的工程师，以及需要通过数据来进行判断决策的管理者，通过一定的培训或自学，均可成为大数据工程技术人员。

由于我国大数据人才数量较少、缺口较大，因此多数公司的数据部门采用扁平化层级的模式，一般分为数据分析师、资深研究员、部门总监3个级别。规模较大的公司可能按照应用领域的维度来划分不同团队，规模较小的公司则需要身兼数职。大数据工程技术人员可朝着研究方向发展，成为企业重要数据战略人才。此外，大数据工程技术人员对商业和产品的理解较业务部门员工更加深入，也可转向产品部或市场部，乃至高级管理层。

04 未来市场需求

当前信息化对人类经济活动产生深刻影响，正渗透到生产生活方方面面，数据已经成为新的生产要素，大数据行业已成为人们按需使用信息处理、信息存储、信息交互资源的重要模式，也是进行大数据处理和深度挖掘的重要平台，大数据工程技术人员在我国现阶段及未来发挥的作用将日益凸显。

近年来我国大数据行业取得快速发展，赛迪CCID统计，我国大数据市场规模由2019年的619.7亿元增长至2021年的863.1亿元，复合年增长率达到18.0%，大数据市场规模包含了大数据相关硬件、软件、服务市场收入。

在全球新冠肺炎疫情之下，我国经济率先复苏并总体保持恢复态势，伴随国家快速推动数字经济、数字中国、智慧城市等发展建设，未来大数据行业对经济社会的数字化创新驱动、融合带动作用将进一步增强，应用范围将得到进一步拓宽，大数据市场也将保持持续快速的增长态势。

随着大数据、物联网、5G等技术应用的不断发展，社会对该职业从业人员的需求日益增长。预计2025年前大数据人才需求仍将保持30%-40%的增速，需求总量在2000万人左右。

科洛培训（KEY LEARNING）成立于2020年，位于上海市浦东新区康桥工业园区。作为张江机器人谷先导区职工培训中心，科洛自成立以来，立足工业4.0环境下企业发展变革所需，与同济大学中德学院、上海交通大学、上海建桥学院、上海工程技术大学、上海高级技工学校始终保持密切联系，旨在构建协作生态系统，加强产学研合作力度，共同推动职业培训体系转型。