网易首页 > 网易号 > 正文 申请入驻

当AI遇见数据治理:腾讯游戏如何用大模型重构数据协作新范式?

0
分享至

在上海腾讯游戏的会议室里,一块占满整面墙的数据大屏上,"某新游活动看板近30天PV仅108次,存储成本占比却达5%"的红色预警格外刺眼。运营团队急得直搓手:"活动已经下线一个月了,怎么还在占资源?"开发团队翻遍日志却找不到关联任务——这场"数据幽灵"引发的困局,曾是腾讯游戏数据团队每天都要面对的日常。

作为全球最大的游戏公司之一,腾讯游戏每天承载着700多款游戏的海量数据:从用户点击行为到战斗结算日志,从社交互动关系到付费转化路径,日均数据量以PB级增长。但当业务线从《王者荣耀》扩展到《和平精英》《天涯明月刀》,当数据场景从单一玩法分析蔓延到跨端联动、全球化运营,传统的数据治理模式早已力不从心:规则引擎搞不懂"活动看板下线该删哪些表",人工维护的血缘关系总在组件异构中断裂,跨团队协作时"指标口径对齐"能耗掉40%的开发时间......

直到AI大模型的出现,这场持续多年的数据治理困局才迎来破局曙光。腾讯游戏数据团队用"AI驱动血缘治理+协作效率延伸"的双轮模式,不仅让"数据幽灵"无所遁形,更将数据协作效率提升了3倍以上。今天,我们就来拆解这场发生在游戏行业的"数据治理革命"。



一、腾讯游戏的数据困局:当规模突破EB级,传统治理为何失效?



1.1 游戏数据的特殊性:复杂场景下的"三高"挑战

腾讯游戏的数据治理难题,本质上是超大规模、超高复杂度、超高动态性的游戏业务特性与数据治理传统模式的碰撞。

  • 规模之"高":覆盖国内及海外200+国家和地区,日均新增数据量超10PB,存储总量突破EB级(1EB=1024PB)。仅《王者荣耀》单款游戏,每天产生的用户行为日志就高达500TB,包含点击、移动、释放技能等2000+维度数据。
  • 场景之"杂":从玩法设计(如"赛季皮肤销量分析")、运营活动(如"春节限时副本参与率")到商业化变现(如"皮肤礼包转化漏斗"),再到技术运维(如"服务器负载与用户卡顿关联"),数据应用场景超过500种,且每个场景的数据链路都可能跨3-5个技术组件(Hive、Kafka、ClickHouse等)。
  • 动态之"快":游戏版本迭代以周为单位,大版本更新时数据链路可能发生颠覆性调整。例如《和平精英》2023年"空投节"活动期间,为支持"空投箱轨迹特效"的实时统计,数据团队需要在48小时内搭建全新的实时计算链路,传统治理模式根本跟不上节奏。
1.2 传统治理的三大致命短板

在AI介入前,腾讯游戏的数据治理主要依赖"规则引擎+人工维护"模式,这种模式在EB级数据场景下暴露出三大硬伤:

  • 规则引擎"不懂业务":传统规则引擎仅能识别表名、字段名等表层元数据,无法理解"某活动看板下线需要清理哪些关联任务"的业务语义。例如,当运营团队提出"下线春节活动看板"时,规则引擎可能误删了其他活动仍需使用的用户画像表,导致分析链路中断。
  • 人工维护"没有动力":数据治理的责任被简单压在开发团队身上,但"活动结束后谁来清理无效表"的模糊界定,让开发人员缺乏动力。曾有统计显示,腾讯游戏数据团队中,仅15%的开发人员会主动清理6个月未访问的表,导致历史活动表长期占用30%的存储资源。
  • 协作效率"卡在口径":跨团队协作时,"指标口径对齐"成了最耗时的环节。例如,当策划团队提出"统计新游首月留存率"时,数据团队需要花3-5天与策划、开发反复确认:"次日留存是指激活后第2天登录?还是注册后第2天?""付费用户是否包含小额测试充值?"这种低效沟通直接导致新游上线周期延长20%。
1.3 核心矛盾:需求生命周期的"语义鸿沟"

所有问题的根源,最终指向一个核心矛盾:传统治理模式只能处理"技术生命周期"(如表的创建/修改时间),却无法理解"业务生命周期"(如活动的上线/下线时间)。例如,某活动看板的"技术生命周期"可能长达6个月(因数据需要保留),但它的"业务生命周期"仅45天(活动结束后用户不再关注)。这种语义层面的割裂,导致资源浪费、协作低效等一系列问题。

正如腾讯游戏数据负责人张兴华所说:"数据治理的本质,是让数据资产与业务需求精准匹配。当业务需求像流水一样动态变化时,治理模式也必须是'流动的'——而这正是AI的强项。"

二、AI驱动血缘治理:让数据"自己说话"的三大魔法



面对传统治理的困局,腾讯游戏数据团队提出了"AI驱动血缘治理"的核心思路:通过大模型理解业务语义,将"技术血缘"升级为"业务血缘",让数据资产能够"自我表达",从而实现资源的精准治理与高效协作。

2.1 从"技术血缘"到"业务血缘":AI如何解码数据资产?

传统血缘治理关注的是"表A由任务B生成,任务B依赖表C"的技术链路,但腾讯游戏的AI治理更关注"表A是'某活动参与用户明细',用于'运营复盘活动效果',关联'活动预算500万'"的业务语义。这种转变的关键,在于AI对"业务上下文"的理解能力。

技术实现上,腾讯游戏构建了"三层血缘体系"

  • 底层(技术血缘):通过元数据采集工具(如Apache Atlas),自动抽取表、任务、字段的技术依赖关系,形成基础血缘图谱。
  • 中层(业务血缘):利用大模型对需求文档、开发注释、业务文档进行语义分析,将技术节点(如表、任务)与业务实体(如活动、玩法、指标)关联。例如,识别出"表activity_participation"对应"春节活动参与用户","任务calc_retention"对应"活动留存率计算"。
  • 顶层(价值血缘):结合资源消耗(存储、计算)与业务价值(如活动带来的收入、用户留存提升),为每个数据资产标注"价值密度"。例如,标记"表activity_participation"的价值密度为"高"(支撑活动复盘,直接影响后续活动设计),而"表temp_log_20230101"的价值密度为"低"(仅用于临时调试)。

这种"三层血缘体系"让数据资产从"沉默的技术节点"变成了"会说话的业务伙伴"。以某新游活动看板为例,AI不仅能识别出"看板A依赖表1、表2、表3",还能进一步分析:"表1存储的是活动期间用户登录日志,价值密度高;表2是临时生成的中间结果,活动结束后无业务价值;表3同步至MySQL供BI使用,需保留但可压缩存储。"

2.2 场景一:异动成本解答——让"钱花在哪"一目了然

资源治理的第一步,是让业务团队理解"数据成本从何而来"。传统模式下,业务团队看到的成本账单只是"存储XX元、计算XX元"的抽象数字,而AI治理后,账单变成了"语义化说明"。

典型案例:某业务线月度成本突然上涨5%,传统账单仅显示"新增存储XXG、计算XX核"。AI治理后,系统自动推送:

"本月成本上涨主要由需求A(评估某游戏活动的参与效果)驱动,涉及: 新增任务1(SQL):从游戏日志提取活动行为,生成表1(活动参与用户明细),增加计算资源200核; 新增表2(用户画像增强表):关联用户VIP等级等属性,增加存储500G; 关联看板A:近30天PV 108次,UV 18次,主要用于运营复盘。建议:若活动已结束,可下线看板A及相关任务,预计节省成本30%。"

这种"语义化账单"让业务团队不仅知道"花了多少钱",更明白"钱花在了哪里",主动优化需求的动力提升了60%。

2.3 场景二:系统识别无效链路——让"数据幽灵"无处遁形

过去,无效数据链路的清理依赖人工排查:运营团队发现看板无访问后,需手动联系开发团队溯源,确认关联任务和表,再发起清理流程。整个过程平均耗时7天,且常因"可能还有用"的顾虑导致清理滞后。

AI治理后,系统通过以下步骤实现"自动识别-智能推送-快速处理"的闭环:

  1. 异常检测:实时监控看板、表的访问日志,当连续180天无访问时触发预警;
  2. 血缘解析:通过大模型分析看板关联的任务、表,判断其业务价值(如是否为历史活动、是否有下游依赖);
  3. 智能推送:向业务负责人发送包含"血缘DAG图"的待办通知,说明"看板A已180天无访问,关联任务1、2、3及表1、2、3,预计清理可节省成本XX元";
  4. 自动化处理:若7天内未确认保留,系统自动清理低价值任务和表,释放资源。

试点业务数据显示,该场景使无效链路清理效率提升80%,存储增速下降20%,每年可节省存储成本数千万元。

2.4 治理成果:从"被动救火"到"主动预防"

经过一年多的实践,腾讯游戏的AI血缘治理已取得显著成效:

  • 语义化血缘覆盖提升30%:关键数据资产的业务上下文覆盖率从45%提升至75%,业务团队对数据的理解成本降低50%;
  • 存储资源优化:无效数据清理量增长2倍,存储成本增速从15%降至5%;
  • 资源决策提效:需求上线前的成本预估时间从3天缩短至30分钟,资源分配合理性提升40%。
三、协作效率延伸:AI如何让"数据协作"从"摩擦"变"丝滑"?



数据治理的价值,最终要体现在业务协作效率的提升上。腾讯游戏的AI治理并未止步于资源优化,而是将积累的"语义理解能力"向协作场景延伸,解决了跨团队数据协作的三大痛点。

3.1 痛点一:跨团队数据确认难——"你说的指标和我理解的一样吗?"

在游戏开发中,跨团队协作是常态:策划团队提需求,数据团队做分析,开发团队写代码,运营团队看结果。但"指标口径不一致"成了最大的沟通障碍。例如,策划说"次日留存",可能是指"激活后第2天登录",而数据团队理解为"注册后第2天登录",这种差异可能导致分析结果偏差30%以上。

AI解决方案:通过大模型对历史需求文档、开发注释、业务对话进行训练,构建"业务术语知识库",自动统一指标口径。例如,当策划提出"统计次日留存"时,系统会自动提示:"根据历史协作记录,'次日留存'定义为'激活后第2天登录',是否确认使用该定义?"若需调整,系统会生成标准化的"指标定义模板",确保所有团队使用同一套语义。

3.2 痛点二:需求交付耗时长——"40%的时间花在口径对齐上"

传统需求交付流程中,数据团队需要花大量时间与业务团队确认口径、核对数据链路,导致开发效率低下。例如,一个简单的"统计新游首月付费率"需求,可能需要3轮需求评审、2次数据验证,耗时7天才能进入开发环节。

AI解决方案:通过"需求智能拆解+特征匹配",将需求转化为可执行的SQL任务。例如,当业务团队提出"统计国庆节游戏内玩法参与率"时,系统会自动:

  1. 解析需求关键词:"国庆节"(时间范围10.1-10.7)、"玩法参与率"(参与人数/活跃人数);
  2. 匹配历史相似需求,推荐数据包(如"游戏玩法参与明细数据""活跃用户明细数据");
  3. 生成标准化SQL模板,自动填充时间、指标等参数;
  4. 输出"需求拆解-特征匹配-SQL生成"的全流程说明,开发团队只需验证即可上线。

试点数据显示,该方案使需求交付周期缩短60%,开发团队用于"口径对齐"的时间占比从40%降至10%。

3.3 痛点三:知识沉淀效率低——"经验都存在老员工脑子里"

游戏数据团队的经验积累一直是难题:老员工离职可能导致"数据知识断层",新员工需要花3-6个月才能熟悉业务逻辑。例如,《王者荣耀》的"赛季皮肤销量分析"涉及10+数据表、5个计算任务,这些经验仅存在于少数资深数据工程师的文档中。

AI解决方案:通过大模型对历史项目文档、代码注释、会议记录进行知识抽取,构建"游戏数据知识图谱",将隐性经验转化为显性资产。例如,系统能自动提取"赛季皮肤销量分析"的关键步骤:"需关联活动表、销售表、用户等级表,重点关注高段位用户的购买偏好",并生成标准化的"分析SOP",新员工通过学习知识图谱即可快速上手。

目前,腾讯游戏的"游戏数据知识图谱"已覆盖80%的核心业务场景,新员工培养周期从6个月缩短至2个月,知识传承效率提升5倍。

四、未来趋势:从"资源治理"到"业务加速"的AI进阶之路



站在EB级数据的新起点,腾讯游戏的数据治理正从"资源优化"向"业务加速"进化,未来将聚焦三大方向:

4.1 Data+AI深度融合:让数据"主动服务"业务

腾讯游戏正在探索"大模型+数据工作流"的深度融合。例如,在玩法设计阶段,AI可根据历史玩法的参与率、留存率数据,自动生成"玩法设计建议";在活动上线前,AI能模拟不同活动策略的用户反馈,辅助策划团队选择最优方案。这种"数据驱动决策"的模式,将使新游上线成功率提升30%。

4.2 治理服务化:从"内部工具"到"行业解决方案"

腾讯游戏的数据治理能力正在通过"治理服务化"向行业输出。例如,其推出的"游戏数据协作平台"已开放给中小游戏公司,提供"智能血缘分析""需求快速拆解""跨团队知识共享"等功能,帮助行业整体提升数据协作效率。

4.3 大模型工程化:构建数据治理的"新基建"

腾讯游戏数据团队编著的《大模型工程化:AI驱动下的数据体系》一书,系统总结了其在数据治理中的工程化经验,涵盖"大模型与数据资产的适配""多模态数据的理解与生成""治理流程的自动化编排"等核心技术。这些经验不仅适用于游戏行业,更为金融、零售等其他数据密集型行业提供了可复制的AI治理模板。

结语:数据治理的未来,是"人机协同"的智慧进化

在腾讯游戏的实践中,我们看到的不仅是AI对数据治理的效率提升,更是"人机协同"的智慧进化:AI负责处理重复的技术工作(如血缘解析、任务清理),人类专注于更有价值的业务创新(如玩法设计、用户运营)。这种分工模式的转变,让数据从"成本中心"变成了"价值中心"。

正如张兴华所说:"数据治理的终极目标,不是让数据'听话',而是让数据'懂你'。当AI学会理解业务的'言外之意',数据就能真正成为驱动游戏创新的'燃料'。" 在AI与游戏的碰撞中,我们正在见证一个更高效、更智能的数据治理新时代的到来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
还有后续?华与华老板回应向罗永浩道歉:以后你会懂的……

还有后续?华与华老板回应向罗永浩道歉:以后你会懂的……

柴狗夫斯基
2025-09-16 21:39:53
iOS 26你更新了吗?液态玻璃虽然惊艳,但更新前先听一下我的感受

iOS 26你更新了吗?液态玻璃虽然惊艳,但更新前先听一下我的感受

路飞写代码
2025-09-16 10:33:36
国家钱袋子持续萎缩,“提高财政收入占比”迫在眉睫,如何解决?

国家钱袋子持续萎缩,“提高财政收入占比”迫在眉睫,如何解决?

影史侃谈
2025-09-16 07:24:29
董宇辉回村抱娃,被夸“好爸爸相”,藏在烟火气里的温柔最动人

董宇辉回村抱娃,被夸“好爸爸相”,藏在烟火气里的温柔最动人

易同学爱谈娱乐
2025-09-17 08:29:22
把女人当工具,黄一鸣自曝和王思聪陪玩细节,普通人连想都不敢想

把女人当工具,黄一鸣自曝和王思聪陪玩细节,普通人连想都不敢想

TVB的四小花
2025-09-16 14:45:01
中羽赛冷门不断!2大世界冠军1轮游,国羽4胜2负,男双输头号种子

中羽赛冷门不断!2大世界冠军1轮游,国羽4胜2负,男双输头号种子

刘姚尧的文字城堡
2025-09-16 17:54:10
又亏4亿,洗衣没人用蓝月亮了?

又亏4亿,洗衣没人用蓝月亮了?

快刀财经
2025-09-12 22:50:14
378万中国人血脂研究:“低密度”处于3.05,心血管死亡率最低!

378万中国人血脂研究:“低密度”处于3.05,心血管死亡率最低!

泠泠说史
2025-09-16 13:18:53
西贝二次公关疑抄麻六记作业员工哭到哽咽:老板超好给他们 买鞋

西贝二次公关疑抄麻六记作业员工哭到哽咽:老板超好给他们 买鞋

花心电影
2025-09-14 11:08:08
TikTok框架共识达成,要卖了?中国控制算法,美国保留本地数据?

TikTok框架共识达成,要卖了?中国控制算法,美国保留本地数据?

王五说说看
2025-09-16 18:07:03
医美太吓人!蔡明孙悟空忍了,戚薇机器人忍了,女版伏地魔没忍住

医美太吓人!蔡明孙悟空忍了,戚薇机器人忍了,女版伏地魔没忍住

山河月明史
2025-04-01 16:46:41
“都一年级了,能不能别发了!”家长群太热闹被嫌弃,网友:同感

“都一年级了,能不能别发了!”家长群太热闹被嫌弃,网友:同感

知晓科普
2025-09-10 10:06:23
李在镕儿子服兵役现场曝光!身材壮实剃寸头,妹妹李元珠来送他

李在镕儿子服兵役现场曝光!身材壮实剃寸头,妹妹李元珠来送他

秋姐居
2025-09-16 19:23:36
西贝的史诗级灾难公关,带偏预制菜上市龙头

西贝的史诗级灾难公关,带偏预制菜上市龙头

诗与星空
2025-09-15 08:00:15
3万亿投资砸向新疆,新疆即将逆天改命?

3万亿投资砸向新疆,新疆即将逆天改命?

枫冷慕诗
2025-09-16 19:24:27
5000亿国补凭空蒸发?普通人却抢不到,巨额补贴究竟被谁悄悄瓜分

5000亿国补凭空蒸发?普通人却抢不到,巨额补贴究竟被谁悄悄瓜分

奥字侃剧
2025-09-16 16:11:01
1953年朝鲜停战后,胡宗南在台湾大笑:美国人也打不败彭德怀啊!

1953年朝鲜停战后,胡宗南在台湾大笑:美国人也打不败彭德怀啊!

蜉蝣说
2025-09-16 11:29:12
国家卫健委发文,大批医院将转型

国家卫健委发文,大批医院将转型

华医网
2025-09-17 05:41:15
朝鲜男人烟不离手,金正恩抽什么牌子的香烟?一包烟的价格是多少

朝鲜男人烟不离手,金正恩抽什么牌子的香烟?一包烟的价格是多少

大千世界观
2025-04-06 08:14:26
I.威廉姆斯:马丁内利让我们措手不及,很遗憾尼科不能上场

I.威廉姆斯:马丁内利让我们措手不及,很遗憾尼科不能上场

雷速体育
2025-09-17 08:25:40
2025-09-17 09:07:00
艾米手工作品
艾米手工作品
好物分享
359文章数 3431关注度
往期回顾 全部

游戏要闻

《伊藤润二狂热 : 无止的囹圄》Steam商店页公开

头条要闻

美财长又忽悠:欧洲先对中国动手 美国才跟

头条要闻

美财长又忽悠:欧洲先对中国动手 美国才跟

体育要闻

2022:勇士归来,库里的第四个冠军

娱乐要闻

李小璐母亲:女儿嫁给贾乃亮我好后悔

财经要闻

曝匹克大幅降薪 员工还要进行"三观培训"

科技要闻

英伟达RTX6000D遇冷,中国大厂不买账

汽车要闻

智能体豪华旅行车 享界S9T30.98万元起售

态度原创

艺术
数码
房产
教育
亲子

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

数码要闻

九年历史 AM4 平台再获“新”处理器,AMD 推出锐龙 5 5600F

房产要闻

当海口书包房卷向「未来」,这里的孩子和房价,都在高速超车!

教育要闻

为何说地矿油专业不好?资源产业逻辑解析(3)

亲子要闻

宝宝:我有说我不招了吗?就直接给我上手段

无障碍浏览 进入关怀版