熊磊光讲师-大数据平台优化及开发应用实战专家

教育背景：

2005.09—2008.02 中国农业大学信电学院 自动化硕士

2001.09—2005.07 中国农业大学信电学院 工学学士

从业经历：

2008年到2013年，从事软件开发工作，历任软件工程师，高级工程师，部门经理。

2014年合伙成立北京盛和大地数据科技有限公司，担任公司CTO).公司致力于开发全生命周期的大数据存储，以及大数据平台产品，目前集中在运营商、金融、归档等行业和业务方向。

近期研发项目经验：

某超级计算机集群二级数据备份系统项目

某涉密单位OA系统数据平台项目

广东气象局数据分析平台项目

中国地质调查局数据备份系统项目

广电总局东莞多媒体数据中心数据备份系统项目

国家电网电商部门，第三方电子支付平台数据库架构升级方案，包括支付平台和数据库

近期培训和咨询内容：

广东电信研究院

大数据平台优化及开发应用实战，通过十多天的大数据培训和咨询工作，提升电信网络运维及开发团队的大数据应用实践能力，优化了多个数据分析应用软件的性能，提升了大数据平台的稳定性，提高了客户满意度。

江苏某大型国有银行

银行客户的大数据平台应用培训，通过三个多月的大数据培训和咨询工作，提升银行客户管理团队的运维和开发能力，上线了一批新的数据分析和数据挖掘应用，有效提升了大数据平台的稳定性和易用性。

工作任务：

1.新员工技术培训营

通过编程语言基础、自动化运维技术、虚拟化技术等课程的理论和实战课程，以及考核比赛环节，使新员工具备了岗位所需的研发和运维能力

2.数据分析和挖掘培训

引入第三方的数据分析平台软件后，通过阶段性组织数据分析平台应用开发能力培训，以及实践问题分析研究讨论会议，提升数据分析平台使用水平，而且，基于常见问题形成了相关知识库。（另外，也组织了开发培训，包括传统的数据分析软件SAS/SPSS/Excel，以及新的开发语言 R语言和Python）

3.大数据平台引入和调优

大数据平台是从第三方厂家引入的，配置参数、虚拟资源池工作模式等需要根据实际需要进行调优。通过逐步引入数据分析和挖掘任务，对产生的资源瓶颈和出现的故障等问题进行案例分析和讨论研究，以阶段性实践的方式提升运维团队和数据分析团队的技术能力。

4.团队协作

在新团队磨合过程中，凸现出部门樊篱文化的问题，部门之间协调配合紧密度不强，步调往往不一致，对整体工作效率有负面影响。对此，以Devops为基础，结合公司内部已经在使用的Devops平台产品，组织了部门工作流程管理的系列培训。

四川移动

大数据分析和应用（数据分析，数据挖掘，深度学习以及人工智能），通过两周的大数据实战培训，提升移动数据团队的大数据开发实践水平，并将相关技术应用到了四川移动数据分析的内部示范平台。

南京南瑞

南瑞电力数据管理平台优化，通过一个多月的培训和咨询工作，提升了电力数据管理平台的运算性能，提高了开发和运维团队的数据分析和平台管理能力。引入了深度学习和人工智能技术，引导开发了“智慧电网”的相关应用。有效提升了电力数据平台的业务水平。

中国移动设计研究院

大型电商网站设计和优化，通过培训和咨询工作，使网站架构能够适应在用户数量快速提升的同时保持高可用，提高了开发和运维团队对于海量用户和海量数据的处理能力。引入了去中心化集群技术和跨域资源调度技术，提高了电商网站的可靠性和可维护性。

项目方案要点：

1．客户端优化，统一平台入口，消减内部系统业务连接数量

2.应用CDN技术，静态资源本地化

3.对商品展示资源应用多级数据缓存

4.对业务进行分级，在高峰留恋冲击下，会触发对非关键业务资源的限制，动态释放给核心业务。

5. 去中心化。构建机架内的高可用，以及数据中心级别的高可用。

项目实施情况：

1.通过蓝军部门设计的流量冲击模拟测试和局部故障测试。

2.项目上线后，经过近一个月的调适和经验总结，系统没有出现大的问题，达到了预期的设计要求。

3.业务上线半年后，启动了进一步升级扩容的计划，目前仍在进行中。附件是培训所使用的部分课件。

自我评价：

l 计算机水平： C++/Java，Python，Spark，Hadoop，Hive，Map-Reduce ，R， SQL

l 性格、爱好：热爱学习，进取创新，善于交流，十分热爱技术传播工作。