71. DWD&DIM-行为数据 侧输出流&写入Kafka - 1
2023年2月6日 1235观看
【尚硅谷】Flink数据仓库视频教程（一套精通实时数仓项目）
IT/互联网 / 程序设计开发
共292集 31.3万人观看
1课程介绍 - 105:03- 2课程介绍 - 305:09
3项目介绍 - 106:47- 4项目介绍 - 306:55
5采集模块-课程介绍04:56
6采集模块-数仓分层之为什么分层07:45
7采集模块-数仓分层之分层明细 - 105:39- 8采集模块-数仓分层之分层明细 - 305:41
9采集模块-整体需求介绍 - 108:47- 10采集模块-整体需求介绍 - 308:50
11采集模块-离线架构分析之Sqoop&Flume09:35
12采集模块-离线架构分析之FlumeTairDirSource问题提出&解决 - 109:33- 13采集模块-离线架构分析之FlumeTairDirSource问题提出&解决 - 309:38
14采集模块-离线架构分析之Kafka - 114:14- 15采集模块-离线架构分析之Kafka - 314:16
16采集模块-离线架构分析之其他07:55
17采集模块-实时架构分析 - 106:00- 18采集模块-实时架构分析 - 306:12
19采集模块-架构对比 - 105:25- 20采集模块-架构对比 - 305:21
21采集模块-日志数据采集之需求分析05:49
22采集模块-日志数据采集之MockJar包测试05:27
23采集模块-日志数据采集之SpringBoot简单介绍08:13
24采集模块-日志数据采集之SpringBoot创建项目&简单测试 - 108:58- 25采集模块-日志数据采集之SpringBoot创建项目&简单测试 - 309:06
26采集模块-日志数据采集之SpringBoot创建项目&加参数测试03:45
27采集模块-日志数据采集之数据落盘&写入Kafka 编码 - 107:55- 28采集模块-日志数据采集之数据落盘&写入Kafka 编码 - 307:58
29采集模块-日志数据采集之数据落盘&写入Kafka 本地测试05:05
30采集模块-日志数据采集之数据落盘&写入Kafka 单机测试04:57
31采集模块-日志数据采集之Nginx 介绍09:36
32采集模块-日志数据采集之Nginx 配置负载均衡&测试 - 105:09- 33采集模块-日志数据采集之Nginx 配置负载均衡&测试 - 305:18
34采集模块-日志数据采集之集群测试 - 106:30- 35采集模块-日志数据采集之集群测试 - 306:30
36采集模块-业务数据采集之建库&建表05:19
37采集模块-业务数据采集之FlinkCDC 什么是CDC&对比 - 105:15- 38采集模块-业务数据采集之FlinkCDC 什么是CDC&对比 - 305:17
39采集模块-业务数据采集之FlinkCDC 介绍 - 105:38- 40采集模块-业务数据采集之FlinkCDC 介绍 - 305:38
41采集模块-业务数据采集之FlinkCDC DataStream方式 编码 - 110:48- 42采集模块-业务数据采集之FlinkCDC DataStream方式 编码 - 310:52
43采集模块-业务数据采集之FlinkCDC DataStream方式 测试 - 105:19- 44采集模块-业务数据采集之FlinkCDC DataStream方式 测试 - 305:16
45采集模块-业务数据采集之FlinkCDC DataStreamAPI 设置CK&打包&开启集群 - 108:29- 46采集模块-业务数据采集之FlinkCDC DataStreamAPI 设置CK&打包&开启集群 - 308:44
47采集模块-业务数据采集之FlinkCDC DataStreamAPI 打包进行断点续传测试 - 106:08- 48采集模块-业务数据采集之FlinkCDC DataStreamAPI 打包进行断点续传测试 - 306:06
49采集模块-业务数据采集之FlinkCDC FlinkSQLAPI 编码&测试 - 105:53- 50采集模块-业务数据采集之FlinkCDC FlinkSQLAPI 编码&测试 - 306:14
51采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 格式说明 - 106:42- 52采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 格式说明 - 306:46
53采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 编码完成 - 108:25- 54采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 编码完成 - 308:46
55采集模块-业务数据采集之FlinkCDC DataStreamAPI 自定义反序列化器 代码测试06:14
56采集模块-业务数据采集之FlinkCDC DataStreamAPI&FlinkSQL对比03:30
57采集模块-业务数据采集之Maxwell 安装说明&测试 - 106:12- 58采集模块-业务数据采集之Maxwell 安装说明&测试 - 306:11
59采集模块-业务数据采集之Canal 安装说明&测试08:36
60采集模块-业务数据采集之CDC对比 - 107:39- 61采集模块-业务数据采集之CDC对比 - 307:45
62采集模块-业务数据采集之读取MySQL数据并写入Kafka 编码 - 105:55- 63采集模块-业务数据采集之读取MySQL数据并写入Kafka 编码 - 305:59
64采集模块-业务数据采集之读取MySQL数据并写入Kafka 测试04:39
65DWD&DIM-课程介绍06:15
66DWD&DIM-行为数据 需求分析09:51
67DWD&DIM-行为数据 思路整理&消费Kafka数据08:52
68DWD&DIM-行为数据 将数据转换为JSON对象08:15
69DWD&DIM-行为数据 新老用户校验 - 105:43- 70DWD&DIM-行为数据 新老用户校验 - 305:43
71DWD&DIM-行为数据 侧输出流&写入Kafka - 105:35- 72DWD&DIM-行为数据 侧输出流&写入Kafka - 305:35
73DWD&DIM-行为数据 测试 - 105:24- 74DWD&DIM-行为数据 测试 - 305:22
75DWD&DIM-业务数据之需求分析 - 114:21- 76DWD&DIM-业务数据之需求分析 - 314:17
77DWD&DIM-业务数据之代码逻辑梳理06:37
78DWD&DIM-业务数据之代码编写 消费数据并过滤05:01
79DWD&DIM-业务数据之代码编写 读取配置表创建广播流04:11
80DWD&DIM-业务数据之代码编写 配置表字段分析&建表&JavaBean - 111:39- 81DWD&DIM-业务数据之代码编写 配置表字段分析&建表&JavaBean - 311:58
82DWD&DIM-业务数据之代码编写 开启配置表Binlog并测试04:47
83DWD&DIM-业务数据之代码编写 连接主流&广播流并分析业务逻辑08:34
84DWD&DIM-业务数据之代码编写 创建TableProcessFunction并初始化相关参数09:12
85DWD&DIM-业务数据之代码编写 处理广播流数据 解析数据&建表 - 108:57- 86DWD&DIM-业务数据之代码编写 处理广播流数据 解析数据&建表 - 309:07
87DWD&DIM-业务数据之代码编写 处理广播流数据 写入状态01:10
88DWD&DIM-业务数据之代码编写 处理主流数据 读取状态&过滤字段 - 108:37- 89DWD&DIM-业务数据之代码编写 处理主流数据 读取状态&过滤字段 - 308:51
90DWD&DIM-业务数据之代码编写 处理主流数据 补充SinkTable&分流05:15
91DWD&DIM-业务数据之代码编写 检查代码07:17
92DWD&DIM-业务数据之代码编写 测试准备08:20
93DWD&DIM-业务数据之代码编写 测试 - 107:42- 94DWD&DIM-业务数据之代码编写 测试 - 307:39
95DWD&DIM-业务数据之代码编写 将数据写入HBase 编码 - 113:47- 96DWD&DIM-业务数据之代码编写 将数据写入HBase 编码 - 313:58
97DWD&DIM-业务数据之代码编写 将数据写入Kafka 编码 - 110:34- 98DWD&DIM-业务数据之代码编写 将数据写入Kafka 编码 - 310:35
99DWD&DIM-业务数据之整体测试 环境准备06:48
100DWD&DIM-业务数据之整体测试 测试完成 - 107:38- 101DWD&DIM-业务数据之整体测试 测试完成 - 307:59
102ODS&DWD&DIM-小总结 - 105:51- 103ODS&DWD&DIM-小总结 - 305:54
104ODS&DWD&DIM-SQL分享 需求说明&建表&导数据07:19
105ODS&DWD&DIM-SQL分享 方案二 - 109:23- 106ODS&DWD&DIM-SQL分享 方案二 - 309:23
107ODS&DWD&DIM-SQL分享 HiveOnSpark Bug说明02:12
108DWM层-需求分析 - 108:16- 109DWM层-需求分析 - 308:20
110DWM层-访客UV 需求分析09:29
111DWM层-访客UV 代码编写 消费数据并转换为JSON对象04:21
112DWM层-访客UV 代码编写 过滤数据 - 107:40- 113DWM层-访客UV 代码编写 过滤数据 - 307:58
114DWM层-访客UV 代码编写 设置状态超时时间防止状态过大 - 106:38- 115DWM层-访客UV 代码编写 设置状态超时时间防止状态过大 - 306:39
116DWM层-访客UV 代码测试08:18
117DWM层-跳出明细 需求分析 - 106:14- 118DWM层-跳出明细 需求分析 - 306:12
119DWM层-跳出明细 代码编写 - 107:48- 120DWM层-跳出明细 代码编写 - 307:45
121DWM层-跳出明细 代码测试 - 106:12- 122DWM层-跳出明细 代码测试 - 306:12
123DWM层-跳出明细 测试07:55
124DWM层-跳出明细 CEP 循环模式03:08
125DWM层-订单宽表 需求分析05:25
126DWM层-订单宽表 双流JOIN 官方文档说明 - 108:42- 127DWM层-订单宽表 双流JOIN 官方文档说明 - 308:48
128DWM层-订单宽表 双流JOIN 代码编写09:15
129DWM层-订单宽表 双流JOIN 代码测试 - 106:13- 130DWM层-订单宽表 双流JOIN 代码测试 - 306:11
131DWM层-订单宽表 代码编写 消费Kafka数据&转换JavaBean&提取事件时间 - 105:46- 132DWM层-订单宽表 代码编写 消费Kafka数据&转换JavaBean&提取事件时间 - 305:44
133DWM层-订单宽表 代码编写 订单与订单明细表双流JOIN09:13
134DWM层-订单宽表 代码测试 准备工作 - 105:32- 135DWM层-订单宽表 代码测试 准备工作 - 305:38
136DWM层-订单宽表 代码测试 测试完成05:57
137DWM层-订单宽表 关联维度 思路梳理05:13
138DWM层-订单宽表 关联维度 JDBCUtil 返回值&参数说明09:39
139DWM层-订单宽表 关联维度 JDBCUtil 查询&封装泛型对象 - 109:44- 140DWM层-订单宽表 关联维度 JDBCUtil 查询&封装泛型对象 - 309:41
141DWM层-订单宽表 关联维度 JDBCUtil 测试04:14
142DWM层-订单宽表 关联维度 DimUtil封装&优化的必要性 - 107:56- 143DWM层-订单宽表 关联维度 DimUtil封装&优化的必要性 - 307:57
144DWM层-订单宽表 关联维度 优化1旁路缓存 思路分析 - 105:28- 145DWM层-订单宽表 关联维度 优化1旁路缓存 思路分析 - 305:30
146DWM层-订单宽表 关联维度 优化1旁路缓存 Redis工具类&Key的设计 - 107:49- 147DWM层-订单宽表 关联维度 优化1旁路缓存 Redis工具类&Key的设计 - 307:52
148DWM层-订单宽表 关联维度 优化1旁路缓存 代码编写 - 106:52- 149DWM层-订单宽表 关联维度 优化1旁路缓存 代码编写 - 306:54
150DWM层-订单宽表 关联维度 优化1旁路缓存 代码测试08:29
151DWM层-订单宽表 回顾 - 110:42- 152DWM层-订单宽表 回顾 - 310:48
153DWM层-订单宽表 关联维度 优化2 异步IO说明 - 107:21- 154DWM层-订单宽表 关联维度 优化2 异步IO说明 - 307:24
155DWM层-订单宽表 关联维度 优化2 异步IO编码步骤04:51
156DWM层-订单宽表 关联维度 优化2 异步IO编码 初始化函数 - 111:17- 157DWM层-订单宽表 关联维度 优化2 异步IO编码 初始化函数 - 311:40
158DWM层-订单宽表 关联维度 优化2 异步IO编码 异步函数完成 - 112:00- 159DWM层-订单宽表 关联维度 优化2 异步IO编码 异步函数完成 - 312:04
160DWM层-订单宽表 关联维度 优化2 异步IO编码 测试准备 - 108:53- 161DWM层-订单宽表 关联维度 优化2 异步IO编码 测试准备 - 308:51
162DWM层-订单宽表 关联维度 优化2 异步IO编码 测试完成09:52
163DWM层-订单宽表 关联维度 补充其他维度信息08:35
164DWM层-订单宽表 最终测试04:45
165DWM层-订单宽表 不丢维度数据说明06:35
166DWM层-支付宽表 需求分析09:30
167DWM层-支付宽表 代码编写 - 107:56- 168DWM层-支付宽表 代码编写 - 308:01
169DWM层-支付宽表 代码测试08:39
170DWM层-支付宽表 时间工具类说明07:35
171DWS层-课程介绍05:29
172DWS层-访客主题宽表 需求分析 - 106:53- 173DWS层-访客主题宽表 需求分析 - 307:05
174DWS层-访客主题宽表 思路整理&读取Kafka数据 - 106:32- 175DWS层-访客主题宽表 思路整理&读取Kafka数据 - 306:37
176DWS层-访客主题宽表 处理输出流&union&提取时间戳分组 - 108:37- 177DWS层-访客主题宽表 处理输出流&union&提取时间戳分组 - 308:38
178DWS层-访客主题宽表 开窗&聚合 - 109:03- 179DWS层-访客主题宽表 开窗&聚合 - 309:12
180DWS层-访客主题宽表 打印测试 - 108:38- 181DWS层-访客主题宽表 打印测试 - 308:54
182DWS层-ClickHouse 课程介绍03:42
183DWS层-ClickHouse 概述&特点 - 106:37- 184DWS层-ClickHouse 概述&特点 - 306:43
185DWS层-ClickHouse 安装准备工作05:43
186DWS层-ClickHouse 安装&启动 - 105:13- 187DWS层-ClickHouse 安装&启动 - 305:12
188DWS层-ClickHouse 数据类型 - 108:25- 189DWS层-ClickHouse 数据类型 - 308:37
190DWS层-ClickHouse 简单引擎介绍04:32
191DWS层-ClickHouse MergeTree - 105:18- 192DWS层-ClickHouse MergeTree - 305:17
193DWS层-ClickHouse MergeTree之Partition By06:02
194DWS层-ClickHouse MergeTree之Primary Key05:44
195DWS层-ClickHouse MergeTree之Order By04:19
196DWS层-ClickHouse MergeTree之TTL05:26
197DWS层-ClickHouse ReplacingMergeTree07:52
198DWS层-ClickHouse SummingMergeTree06:20
199DWS层-ClickHouse 引擎选择分析 - 107:34- 200DWS层-ClickHouse 引擎选择分析 - 307:37
201DWS层-ClickHouse SQL操作 一 - 106:51- 202DWS层-ClickHouse SQL操作 一 - 306:49
203DWS层-ClickHouse SQL操作 二 - 111:33- 204DWS层-ClickHouse SQL操作 二 - 311:38
205DWS层-ClickHouse 副本机制 - 105:39- 206DWS层-ClickHouse 副本机制 - 305:51
207DWS层-ClickHouse 分片机制 说明07:59
208DWS层-ClickHouse 分片机制 实操 - 106:41- 209DWS层-ClickHouse 分片机制 实操 - 306:41
210DWS层-访客主题 ClickHouseUtil 创建 - 106:40- 211DWS层-访客主题 ClickHouseUtil 创建 - 306:39
212DWS层-访客主题 ClickHouseUtil 封装 - 106:06- 213DWS层-访客主题 ClickHouseUtil 封装 - 306:06
214DWS层-访客主题 ClickHouseUtil 封装完成 - 109:16- 215DWS层-访客主题 ClickHouseUtil 封装完成 - 309:14
216DWS层-访客主题 ClickHouseUtil 测试完成09:24
217DWS层-商品主题 JavaBean说明08:30
218DWS层-商品主题 代码编写 思路整理&消费数据创建流07:51
219DWS层-商品主题 代码编写 处理页面日志&收藏数据&购物车数据 - 108:33- 220DWS层-商品主题 代码编写 处理页面日志&收藏数据&购物车数据 - 308:29
221DWS层-商品主题 代码编写 处理订单&支付数据07:54
222DWS层-商品主题 代码编写 处理退单&评价数据08:51
223DWS层-商品主题 代码编写 分组开窗&聚合09:19
224DWS层-商品主题 代码编写 关联维度&将数据写入ClickHouse09:31
225DWS层-商品主题-整体测试 - 110:50- 226DWS层-商品主题-整体测试 - 310:48
227DWS层-商品主题-需求分析05:10
228DWS层-商品主题 代码编写 创建环境&使用DDL方式读取Kafka数据 - 111:23- 229DWS层-商品主题 代码编写 创建环境&使用DDL方式读取Kafka数据 - 311:39
230DWS层-商品主题 代码编写 分组开窗聚合 - 105:16- 231DWS层-商品主题 代码编写 分组开窗聚合 - 305:18
232DWS层-商品主题 代码编写 将动态表转换为流并打印07:06
233DWS层-商品主题 代码编写 将数据写入ClickHouse&测试 - 105:43- 234DWS层-商品主题 代码编写 将数据写入ClickHouse&测试 - 305:52
235DWS层-关键词主题 需求分析04:21
236DWS层-关键词主题 代码编写 分词工具类封装09:51
237DWS层-关键词主题 代码编写 分词UDTF - 106:02- 238DWS层-关键词主题 代码编写 分词UDTF - 306:04
239DWS层-关键词主题 代码编写 思路分析&读取数据&建表 - 108:30- 240DWS层-关键词主题 代码编写 思路分析&读取数据&建表 - 308:38
241DWS层-关键词主题 代码编写 分词&开窗聚合 - 105:29- 242DWS层-关键词主题 代码编写 分词&开窗聚合 - 305:36
243DWS层-关键词主题 代码编写 动态表转换为流&写入ClickHouse09:10
244DWS层-关键词主题 代码测试04:06
245数据可视化-课程介绍07:35
246数据可视化-Sugar 创建大屏04:09
247数据可视化-Sugar 使用步骤介绍04:11
248数据可视化-数据接口 项目构建05:09
249数据可视化-数据接口 依赖导入&分层说明10:00
250数据可视化-数据接口 GMV接口 Mapper完成05:00
251数据可视化-数据接口 GMV接口 Service&Controller完成09:17
252数据可视化-数据接口 GMV接口 测试03:50
253数据可视化-数据接口 GMV接口 对接Sugar - 107:01- 254数据可视化-数据接口 GMV接口 对接Sugar - 307:06
255数据可视化-数据接口 品牌GMV接口 Mapper完成 - 106:22- 256数据可视化-数据接口 品牌GMV接口 Mapper完成 - 306:42
257数据可视化-数据接口 品牌GMV接口 Service完成05:40
258数据可视化-数据接口 品牌GMV接口 Controller完成03:47
259数据可视化-数据接口 品牌GMV接口 测试完成07:37
260数据可视化-数据接口 品牌GMV接口 对接Sugar03:39
261数据可视化-数据接口 导入代码&品类GMV&SPU GMV08:38
262数据可视化-数据接口 其他需求图表 - 105:58- 263数据可视化-数据接口 其他需求图表 - 305:56
264数据可视化-最终测试 - 106:46- 265数据可视化-最终测试 - 306:45
266Flink优化-课程介绍 - 105:41- 267Flink优化-课程介绍 - 305:40
268Flink优化-资源优化之内存设置 - 107:25- 269Flink优化-资源优化之内存设置 - 307:46
270Flink优化-资源优化之并行度设置 - 105:49- 271Flink优化-资源优化之并行度设置 - 305:53
272Flink优化-资源优化之RockDB配置 - 106:34- 273Flink优化-资源优化之RockDB配置 - 306:39
274Flink优化-资源优化之CheckPoint配置04:25
275Flink优化-资源优化之ParameterTool的介绍08:19
276Flink优化-反压处理之反压介绍&定位 - 113:15- 277Flink优化-反压处理之反压介绍&定位 - 313:14
278Flink优化-反压处理之反压问题解决 - 108:15- 279Flink优化-反压处理之反压问题解决 - 308:14
280Flink优化-数据倾斜之定位问题02:16
281Flink优化-数据倾斜之KeyBy之前的数据倾斜06:40
282Flink优化-数据倾斜之KeyBy之后直接聚合 - 109:29- 283Flink优化-数据倾斜之KeyBy之后直接聚合 - 309:39
284Flink优化-数据倾斜之KeyBy之后开窗聚合 - 107:51- 285Flink优化-数据倾斜之KeyBy之后开窗聚合 - 308:12
286Flink优化-FlinkSQL优化之MiniBatch08:41
287Flink优化-FlinkSQL优化之LocalGlobal03:39
288Flink优化-FlinkSQL优化之SplitDistinct03:34
289Flink优化-FlinkSQL优化之Agg With Filter01:38
290Flink优化-FlinkSQL优化之TopN优化 - 105:06- 291Flink优化-FlinkSQL优化之TopN优化 - 305:18
292Flink优化-FlinkSQL优化之去重方案&其他05:37