这次和GrowingIO工程师一起搞事情 | StartDT Hackathon

是的，我们和'GrowingIO'在一起了！

在一起，是数据云和分析云王牌强强联手、服务客户，也是组织融合共同成长，当然，我们的工程师，也“在一起”了！

没错，本届StartDT Hackathon，以“StartDT产品全家桶”为主题，奇点云和GrowingIO的工程师一起来玩！

这是有史以来最开放的一次选题。

奇点云合伙人、黑客马拉松发起人地雷介绍，为从工程师领域推动融合，形成并优化全栈技术方案，实现“真·在一起”，本次选题不限产品，尤其鼓励多产品技术团队联动，在产品融合、打通层面共同创新。

“StartDT产品全家桶”由数据云、分析云两大产品体系组成，包含数据云平台DataSimba、消费者运营平台DataNuza、用户行为分析平台GrowingIO-UBA等王牌产品。

从日常实践、“吃狗粮”中，各产品团队的工程师们挖掘出了不同角度共15个选题，其中以下6题正式入选，并通过提测，进入大赛角逐：

1. DataNuza前端微服务改造 _ 你说的队
2. GrowingIO-UBA、DataNuza融合服务器缩减方案 _ 三秋树
3. 当DataSimba遇到GrowingIO-UBA，一图分析使用情况 _ 十二黄金圣斗士
4. DataNuza-MA的Webhook触点配置化 _ 炒菜队
5. DataSimba全栈支持Kerberos认证 _ 某个组
6. 解耦部署依赖，DataSimba部署再提效 _ 藕粉组

#1

既要无缝融合，又要灵活部署

DataNuza的前端微服务改造挑战

DataNuza是数据驱动的消费者运营平台，包含CDP、MA等模块，GrowingIO-UBA则是用户行为分析和增长平台。

这两款截然不同的产品，在项目实践中迎来了“融合”的要求——有许多客户同时采购了DataNuza和GrowingIO-UBA，数据打通自不必说，模块部署上也希望能更灵活，例如，只部署CDP和UBA，而不部署MA，或此前采购了CDP和MA，希望再增加一个UBA。

然而，DataNuza和UBA使用了不同的前端框架，如何在保留两者的同时完成融合动作，对产品团队是个挑战。

此外，伴随着产品的多年迭代，团队越来越庞大，单个项目体积也愈加庞大，模块之间耦合过重，导致无法对单个模块进行增量升级，未来产品的开发升级和维护效率均会受到影响。

“这是微服务改造的大好时机，可以一并解决上述问题。”“你说的队”队长执剑笑说，“配合本次黑客马拉松的大主题，喜从天降，正中下怀。”

具体而言，他们这样做：

1、构建一个主应用基座，统一门户登录、打通账号体系，通过该基座在子应用之间做数据下发和中转；

2、更改路由系统，改造应用的数据层，将原巨石应用按模块拆分成多个应用，以完成解耦。优化打包方式，使得子应用既可以整合到基座中，又可以独立运行和部署。

经过微服务改造，DataNuza和GrowingIO-UBA能够实现无缝融合，用户可以在同一入口登录并选择模块进行操作，体验上不割裂；

产品层面上，CDP、MA、UBA的各模块相互独立，可以各自进行功能迭代、开发、测试，而不再“牵一发而动全身”；

产品售卖和部署时，也更加灵活，能方便地拆分或组合部署各模块，而无需手动改写；

基于主应用基座，未来还可以接入其他更多第三方产品，消费者运营平台DataNuza也因此具备了更强大的集成和开放能力。

#2

产品融合缩减服务器

成本最高可降43%

部署DataNuza、GrowingIO-UBA两大产品，以往需要分别消耗各自的服务器资源，对客户来说会产生一定负担，分头部署实施和维护起来也有更高的难度。

以本次产品融合为契机，有没有可能探索出服务器缩减的优化方案？

经过对DataNuza、GrowingIO-UBA产品的调研，“三秋树”团队提出了最小部署方案。经过减少应用服务器、合并中间件与数据库服务器等动作，全新的最小部署方案相比分别部署，最高可缩减43%的服务器资源。

彩蛋：“三秋树”组名来自清代文学家郑板桥的作品“删繁就简三秋树，领异标新二月花”，组员们希望能持续删繁就简，为资源减负。

#3

当DataSimba遇到UBA

互相补充，“天生一对”

“很早以前就想给DataSimba选型一套前端埋点工具，来辅助DataSimba的产品运营…很巧的是，我们和拥有宇宙最强用户行为分析工具的GrowingIO在一起了！”十二黄金圣斗士组成员、DataSimba资深产品经理沙加介绍选题缘起，“机会总是留给有缘分的好产品”。

十二黄金圣斗士组在DataSimba上部署了GrowingIO的前端采集工具，将采集到的数据传入DataSimba，并结合DataSimba自有的元仓数据进行联合分析。

最终，通过GrowingIO-UBA的看板，可以准实时地了解到DataSimba产品使用情况，包括各模块访问量、用户量、停留时长、任务出错次数、作业类型占比等等，找到用户痛点，为DataSimba产品体验升级提供参考。

“这只是一个范例，我们用DataSimba的产品运营打了个样，向大家展示了DataSimba和GrowingIO-UBA如何携手实现数据驱动运营和增长。而在客户场景中，还能激发更多价值。”

十二黄金圣斗士组组长东风介绍，“举个例子，以往客户的商城APP或小程序上做前端SDK采集，可以对基础的用户行为进行分析，而现在用户行为数据进入数据云平台DataSimba，还能和商品管理后台的维表等更多源的数据做融合，甚至细化到商品上架信息、库存信息、历史促销记录等等，扩充数据维度，再将关联、融合后的数据输入UBA，做进一步深化分析，为决策提供可靠的支持。”

评委、资深技术专家牧然评价：“这个项目中，行为数据与元仓中的业务数据在DataSimba结合后回到UBA，又增强了行为数据本身，是非常好的融合尝试。”

据悉，“DataSimba + GrowingIO-UBA”实践已形成标准化方案，可快速在各产品（APP、小程序、网站等）或不同环境中部署。

彩蛋：如何评价双方的首次合作？

DataSimba资深前端工程师亦痕首次使用GrowingIO前端SDK采集工具，他表示：“GrowingIO拥有全套标准化的对接文档，这次从学习文档到完成全套部署只花了不到1小时，真正称得上方便快捷。”

十二黄金圣斗士组成员、GrowingIO产品专家千夜在了解DataSimba后，则表示：“这2个产品就是天生一对。”

经历了上一季黑客马拉松DataSimba与DataNuza团队的“红蓝CP”协作，产品经理和工程师们对本次多团队混搭显得游刃有余。

除了上述三大融合战队，还有三个组选择了“专注自身”，分别在DataNuza的配置效率和DataSimba的安全性与部署效率上发力提升，继续往下看。

#4

MA的Webhook触点配置化

效率提升80%

MA（营销自动化）是消费者运营平台DataNuza的重要模块之一，能帮助用户自动执行营销任务，通过短信、公众号、企业微信等多种渠道自动化触达用户，帮助企业组织全局营销战役。

而在为客户配置MA时，由于不同客户提供的接口不同，每配置1套MA的标准触点，就需要花上若干人天来进行手动开发配置。

能不能减少重复动作，节约开发实施时间，用更聪明的方式来完成Webhook触点配置？

基于项目成员们丰富的实施经验，“炒菜队”总结出了常见的对接项，形成界面化的表单配置，而不再需要开发手工进行：

第1步，确定接口地址、请求方法；

第2步，填写请求接口必传的参数信息；

第3步，根据请求客户接口后的返回结果，做映射。

“一共就3步，配置完成、测试通过后，就可以开始使用。”“炒菜队”队长朝歌介绍，“这一套方案更简单、技术门槛更低，而且相比原来的做法，效率能足足提升80%。”

#5

全栈支持Kerberos认证

DataSimba安全再提升

为提升DataSimba的安全性，“某个组”提出了全栈支持Kerberos的选题：DataSimba全栈组件开启Kerberos安全认证，包括Flink、Spark、Impala、Hive、HDFS、HBase、Kafka等等。

Kerberos是一种网络身份验证协议，旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。通过验证，不仅能保证发送者和接收者的身份真实，还能检验来回传递的数据的有效性和完整性，并在传输过程中对数据进行加密。

组员北冥介绍，全栈支持Kerberos后的DataSimba安全性得到进一步加固，并为满足“多租户”场景做好了准备。

#6

守护30分钟纪录

DataSimba部署再提效

DataSimba最快在30分钟内就可以完成部署！

这是让全体StartDT工程师为之骄傲的纪录，而DataSimba升级到R4.2版本后，藕粉组的同学们发现，这个记录可能要守不住了

藕粉组的组长风质谈到：DataSimba R4.2需要在大数据引擎部署完成后才能部署，而客户资源的申请时间有不可控性，会导致DataSimba无法在半小时内成功部署。

解耦DataSimba R4.2和中间件的部署依赖，为DataSimba自动化部署再提效，这就是本次藕粉组的选题。

藕粉组明确了各微服务使用云原生文件系统的方式、挂载存储引擎的方式、HDFS配置方式及配置时机，通过反转服务域和云原生文件系统的依赖关系，由服务域管理云原生文件系统，最终实现k8s大环境下不替换云原生文件系统、HDFS的同时，成功完成解耦动作，不依赖大数据引擎就能启动DataSimba，并保证代码量较少，不加重项目负荷。

#StartDT

数据云+分析云携手并进

今年5月，StartDT“数据云+分析云”产品矩阵正式发布。统一开放、中立安全的数据云作为基础设施，封装复杂技术，为企业高效沉淀数据资产，降低数据管理与资源成本；一站式智能易用的分析云则连接数据与不同业务场景，帮助客户一站式实现数据的探索、发现、预测、决策及行动，进一步用数据驱动价值增长。

那么在实际场景中，“数据云+分析云”如何一体化、有机地赋能客户，又究竟能为客户带来多少价值？

拒绝技术自嗨！在本季黑客马拉松中，StartDT的工程师们就以“DataSimba + GrowingIO-UBA”为例，率先完成了最佳实践。伴随着产品体系的壮大，DataNuza等产品团队亦积极创新，探讨分析云融合方案。

首次参加StartDT Hackathon的评委、GrowingIO资深技术专家周期深感惊喜：“DataSimba+UBA这个项目完成度非常高。UBA结合元仓数据的场景能完成行为数据和业务数据的真正融合，意义很大。特别提一点，从DataSimba和UBA团队做项目过程中那些照片，能感受到工程师同学们共同解决问题那种互相协助、面对问题眼里有光的团队精神，真的很棒！”

评委、资深技术专家大门则表示，本次黑客马拉松是目前看到最有创意的一次。“UBA+DataSimba+DataNuza，三者强强联手，实时的用户分析、实时的数据处理、实时的营销推送，在同等计算资源下要做到最快，在同等速率下要做到最省资源。小伙伴们把整套数据云和分析云的产品玩得很溜，搭建了多个场景，并对其中出现的多个场景提出了颠覆性的整改意见，而且真正解决了某些场景。很高兴能参与其中，和优秀的人一起共事会让自己变得更优秀。”

真需求促进真融合，真痛点推动真创新。

在这群对数据技术充满热忱、行动力高、创造力强的工程师支撑下，StartDT产品“全家桶”将不断进化迭代，真正成为客户DT时代的最佳伙伴。

发奖啦！

本届StartDT Hackathon共有三组喜提奖金：“你说的队”和“某个组”获得并列第二，“十二黄金圣斗士”则以绝对领先的高分拿下一等奖。

二等奖：你说的队

雨晴：感谢公司能够提供这次宝贵的机会，让我能够从中提升自己。我觉得参加这次的黑马特别有意义，让微前端从零到有，能够有所实践。

桐人：每届黑客马拉松都非常有趣，可以感觉到大家各种想法的碰撞，毕竟“人人都是产品经理”。只不过这一次，我们的“微前端改造方案”更加打动大家一点，哈哈哈哈哈～

黛西：当获知我们团队获得“二等奖”的殊荣时, 我的心情无比激动,这是我们全体队员相互协作、齐心协力共同的荣誉！

执剑：感谢本次黑客马拉松的主办，使得我们能有机会挑战一下新技术的同时，站在与商业的交叉点上，产生商业价值。感谢评委们的认可和鼓励，我们将砥砺前行，持续思考，为公司带来新的价值。

并列二等奖：某个组

不愿透露姓名的组员：低调还是能躺赢的。

不愿透露姓名的另一位组员：这才是实力的象征

一等奖：十二黄金圣斗士

圣斗士代表：短短四天，从无到有，特别荣幸和这么有战斗力、主人翁精神的团队一起奋斗。和都是为了做事的人一起工作是种享受，十二黄金圣斗士大家是最棒的！

注：圣斗士之一、资深数据产品经理“沙加”因屡战屡胜，黑客马拉松胜率高达100%，下届起惨遭禁赛。