173. 尚硅谷-数仓搭建-DWD层日志解析思路
2023年2月6日 911观看
【尚硅谷】2021最新电商数仓V4.0版丨大数据数据仓库项目实战
IT/互联网 / 硬软件系统
共258集 26.8万人观看
1_尚硅谷-电商数仓-课程介绍03:55
2_尚硅谷-数仓概念-数据来源 - 105:28- 3_尚硅谷-数仓概念-数据来源 - 305:33
4_尚硅谷-数仓概念-项目演示03:54
5尚硅谷-数仓概念-总体描述 - 107:52- 6尚硅谷-数仓概念-总体描述 - 307:57
7尚硅谷-数仓需求-需求分析 - 107:00- 8尚硅谷-数仓需求-需求分析 - 307:05
9尚硅谷-数仓架构-选型考虑因素06:14
10尚硅谷-数仓架构-技术选型 - 106:47- 11尚硅谷-数仓架构-技术选型 - 306:47
12尚硅谷-数仓架构-项目流程设计 - 106:21- 13尚硅谷-数仓架构-项目流程设计 - 306:25
14尚硅谷-数仓架构-框架发行版本选择 - 105:26- 15尚硅谷-数仓架构-框架发行版本选择 - 305:31
16尚硅谷-数仓架构-具体版本04:32
17尚硅谷-数仓架构-服务器选择09:34
18尚硅谷-数仓架构-集群规模06:27
19尚硅谷-数仓架构-集群资源规划设计06:10
20尚硅谷-用户行为数据生成-页面日志介绍06:25
21尚硅谷-用户行为数据生成-事件日志介绍01:38
22尚硅谷-用户行为数据生成-曝光日志介绍02:16
23尚硅谷-用户行为数据生成-启动及错误日志介绍02:27
24尚硅谷-用户行为数据生成-埋点方式04:53
25尚硅谷-用户行为数据生成-埋点上报时机02:58
26尚硅谷-用户行为数据生成-埋点日志格式 - 105:40- 27尚硅谷-用户行为数据生成-埋点日志格式 - 305:43
28尚硅谷-用户行为数据生成-模板服务器说明06:17
29尚硅谷-用户行为数据生成-克隆三台服务器 - 105:22- 30尚硅谷-用户行为数据生成-克隆三台服务器 - 305:24
31尚硅谷-用户行为数据生成-阿里云准备（可选） - 111:52- 32尚硅谷-用户行为数据生成-阿里云准备（可选） - 311:53
33尚硅谷-用户行为数据生成-集群同步脚本02:13
34尚硅谷-用户行为数据生成-无密登录配置05:18
35尚硅谷-用户行为数据生成-安装JDK - 105:20- 36尚硅谷-用户行为数据生成-安装JDK - 305:19
37尚硅谷-用户行为数据生成-Linux环境变量说明04:16
38尚硅谷-用户行为数据生成-日志生成07:30
39尚硅谷-用户行为数据生成-日志生成脚本06:49
40尚硅谷-用户行为数据采集-xcall脚本02:44
41尚硅谷-用户行为数据采集-Hadoop安装05:04
42尚硅谷-用户行为数据采集-Hadoop配置（上） - 105:21- 43尚硅谷-用户行为数据采集-Hadoop配置（上） - 305:18
44尚硅谷-用户行为数据采集-Hadoop配置 - 306:58
45尚硅谷-用户行为数据采集-Hadoop历史服务器&日志聚集03:21
46尚硅谷-用户行为数据采集-Hadoop集群启动02:20
47尚硅谷-用户行为数据采集-Hadoop集群启停脚本02:35
48尚硅谷-用户行为数据采集-Hadoop存储多目录03:42
49尚硅谷-用户行为数据采集-Hadoop节点间数据均衡03:25
50尚硅谷-用户行为数据采集-Hadoop磁盘间数据均衡03:06
51尚硅谷-用户行为数据采集-Hadoop配置支持LZO压缩09:04
52尚硅谷-用户行为数据采集-Hadoop配置LZO创建索引06:41
53尚硅谷-用户行为数据采集-Hadoop压测环境准备05:39
54尚硅谷-用户行为数据采集-Hadoop压测写测试 - 106:18- 55尚硅谷-用户行为数据采集-Hadoop压测写测试 - 306:23
56尚硅谷-用户行为数据采集-Hadoop压测读测试02:40
57尚硅谷-用户行为数据采集-Hadoop压测MR计算02:21
58尚硅谷-用户行为数据采集-Hadoop的HDFS参数调优03:57
59尚硅谷-用户行为数据采集-Hadoop的Yarn参数调优02:49
60尚硅谷-用户行为数据采集-Zookeeper安装06:39
61尚硅谷-用户行为数据采集-Zookeeper脚本05:08
62尚硅谷-用户行为数据采集-Kafka安装 - 105:13- 63尚硅谷-用户行为数据采集-Kafka安装 - 305:17
64尚硅谷-用户行为数据采集-Kafka脚本03:48
65尚硅谷-用户行为数据采集-Kafka的API回顾02:19
66尚硅谷-用户行为数据采集-Kafka机器数量03:12
67尚硅谷-用户行为数据采集-Kafka压测环境准备 - 105:17- 68尚硅谷-用户行为数据采集-Kafka压测环境准备 - 305:14
69尚硅谷-用户行为数据采集-Kafka生产压测06:44
70尚硅谷-用户行为数据采集-Kafka消费压测02:58
71尚硅谷-用户行为数据采集-Kafka分区数03:04
72尚硅谷-用户行为数据采集-Flume安装06:11
73尚硅谷-用户行为数据采集-Flume的Source选择05:28
74尚硅谷-用户行为数据采集-Flume的Channel选择05:15
75尚硅谷-用户行为数据采集-Flume的KafkaChannel06:00
76尚硅谷-用户行为数据采集-Flume配置编写 - 107:38- 77尚硅谷-用户行为数据采集-Flume配置编写 - 307:44
78尚硅谷-用户行为数据采集-Flume拦截器单Event - 107:39- 79尚硅谷-用户行为数据采集-Flume拦截器单Event - 307:38
80尚硅谷-用户行为数据采集-Flume拦截器和配置完成08:35
81尚硅谷-用户行为数据采集-Flume-Kafka通道打通04:28
82尚硅谷-用户行为数据采集-Flume脚本nohup04:17
83尚硅谷-用户行为数据采集-Flume脚本停止进程07:32
84尚硅谷-用户行为数据采集-Flume脚本完成08:50
85尚硅谷-用户行为数据采集-消费者Flume组件选型06:33
86尚硅谷-用户行为数据采集-消费者Flume零点漂移说明06:50
87尚硅谷-用户行为数据采集-消费者Flume配置Source08:20
88尚硅谷-用户行为数据采集-消费者Flume配置Channel04:48
89尚硅谷-用户行为数据采集-消费者Flume配置Sink08:58
90尚硅谷-用户行为数据采集-消费者Flume时间戳拦截器 - 105:51- 91尚硅谷-用户行为数据采集-消费者Flume时间戳拦截器 - 305:51
92尚硅谷-用户行为数据采集-消费者Flume时间戳拦截器完成07:17
93尚硅谷-用户行为数据采集-消费者Flume小文件问题处理07:37
94尚硅谷-用户行为数据采集-消费者Flume脚本完成02:26
95尚硅谷-用户行为数据采集-消费者Flume内存优化01:45
96尚硅谷-用户行为数据采集-采集通道总脚本07:03
97尚硅谷-用户行为数据采集-2NN的bug解决04:00
98尚硅谷-业务数据采集-电商业务流程07:01
99尚硅谷-业务数据采集-业务数据库(上) - 114:57- 100尚硅谷-业务数据采集-业务数据库(上) - 314:59
101尚硅谷-业务数据采集-业务数据库(中) - 109:32- 102尚硅谷-业务数据采集-业务数据库(中) - 309:32
103尚硅谷-业务数据采集-业务数据库(下) - 110:05- 104尚硅谷-业务数据采集-业务数据库(下) - 210:05
- 105尚硅谷-业务数据采集-业务数据库(下) - 310:02
106尚硅谷-业务数据采集-安装MySQL - 106:04- 107尚硅谷-业务数据采集-安装MySQL - 306:02
108尚硅谷-业务数据采集-生成业务数据07:11
109尚硅谷-业务数据采集-Sqoop部署09:25
110尚硅谷-业务数据采集-Sqoop使用 - 110:18- 111尚硅谷-业务数据采集-Sqoop使用 - 310:19
112尚硅谷-业务数据采集-同步策略 - 105:36- 113尚硅谷-业务数据采集-同步策略 - 305:40
114尚硅谷-业务数据采集-同步策略分析09:29
115尚硅谷-业务数据采集-Sqoop同步命令编写 - 107:16- 116尚硅谷-业务数据采集-Sqoop同步命令编写 - 307:23
117尚硅谷-业务数据采集-Sqoop同步脚本 - 109:53- 118尚硅谷-业务数据采集-Sqoop同步脚本 - 309:49
119尚硅谷-业务数据采集-部署Hive05:00
120尚硅谷-数仓建模理论-数仓分层概念 - 105:29- 121尚硅谷-数仓建模理论-数仓分层概念 - 305:36
122尚硅谷-数仓建模理论-数据集市概念03:48
123尚硅谷-数仓建模理论-开发规范02:52
124尚硅谷-数仓建模理论-概述02:06
125尚硅谷-数仓建模理论-范式概念05:18
126尚硅谷-数仓建模理论-数仓概述07:27
127尚硅谷-数据仓库理论-三范式理论09:45
128尚硅谷-数仓建模理论-关系建模和维度建模 - 105:30- 129尚硅谷-数仓建模理论-关系建模和维度建模 - 305:40
130尚硅谷-数仓建模理论-维度表和事实表 - 105:57- 131尚硅谷-数仓建模理论-维度表和事实表 - 306:05
132尚硅谷-数仓建模理论-维度模型分类05:36
133尚硅谷-数仓建模理论-ODS层建模思想06:59
134尚硅谷-数仓建模理论-DIM层和DWD层建模思想08:03
135尚硅谷-数仓建模理论-DIM层和DWD层建模演示 - 111:06- 136尚硅谷-数仓建模理论-DIM层和DWD层建模演示 - 311:07
137尚硅谷-数仓建模理论-DWS层和DWT层建模思想07:31
138尚硅谷-数仓建模理论-ADS层建表说明00:37
139尚硅谷-数仓环境搭建-计算模式分析04:09
140尚硅谷-数仓环境搭建-Hive-on-Spark兼容性问题说明04:49
141尚硅谷-数仓环境搭建-Hive-on-Spark配置 - 105:50- 142尚硅谷-数仓环境搭建-Hive-on-Spark配置 - 305:52
143尚硅谷-数仓环境搭建-Hive-on-Spark测试04:13
144尚硅谷-数仓环境搭建-Yarn配置06:01
145尚硅谷-数仓环境搭建-DataGrip使用说明06:02
146尚硅谷-数仓环境搭建-数据准备09:40
147尚硅谷-数仓搭建-ODS层日志表建表语句06:58
148尚硅谷-数仓搭建-ODS层日志表数据装载03:44
149尚硅谷-数仓搭建-ODS层日志表装载脚本06:30
150尚硅谷-数仓搭建-ODS层业务表建表语句04:13
151尚硅谷-数仓搭建-ODS层业务表装载脚本 - 105:30- 152尚硅谷-数仓搭建-ODS层业务表装载脚本 - 305:32
153尚硅谷-数仓搭建-DIM层商品维度表建表语句09:10
154尚硅谷-数仓搭建-DIM层商品维度表数据装载分析 - 105:34- 155尚硅谷-数仓搭建-DIM层商品维度表数据装载分析 - 305:38
156尚硅谷-数仓搭建-DIM层商品维度表数据装载语句 - 106:20- 157尚硅谷-数仓搭建-DIM层商品维度表数据装载语句 - 306:24
158尚硅谷-数仓搭建-LZO索引文件失效说明04:41
159尚硅谷-数仓搭建-DIM层优惠券维度表建表语句02:32
160尚硅谷-数仓搭建-DIM层优惠券维度表数据装载03:38
161尚硅谷-数仓搭建-DIM层活动维度表建表语句02:26
162尚硅谷-数仓搭建-DIM层活动维度表装载语句03:41
163尚硅谷-数仓搭建-DIM层地区维度表02:42
164尚硅谷-数仓搭建-DIM层时间维度表06:43
165尚硅谷-数仓搭建-拉链表概述 - 107:41- 166尚硅谷-数仓搭建-拉链表概述 - 307:39
167尚硅谷-数仓搭建-DIM层用户维度表建表语句02:05
168尚硅谷-数仓搭建-DIM层用户维度表数据装载思路03:33
169尚硅谷-数仓搭建-DIM层用户维度表首日数据装载02:34
170尚硅谷-数仓搭建-DIM层用户维度表每日数据装载 - 110:36- 171尚硅谷-数仓搭建-DIM层用户维度表每日数据装载 - 310:37
172尚硅谷-数仓搭建-DIM层数据装载脚本08:06
173尚硅谷-数仓搭建-DWD层日志解析思路08:18
174尚硅谷-数仓搭建-get_json_object函数03:06
175尚硅谷-数仓搭建-DWD层启动日志表建表语句04:01
176尚硅谷-数仓搭建-DWD层启动日志表数据装载06:47
177尚硅谷-数仓搭建-DWD层页面日志表04:43
178尚硅谷-数据仓库-DWD层动作日志表建表语句03:10
179尚硅谷-数仓搭建-DWD层动作日志表数据装载思路06:07
180尚硅谷-数仓搭建-UDTF函数编码 - 113:29- 181尚硅谷-数仓搭建-UDTF函数编码 - 313:27
182尚硅谷-数仓搭建-UDTF函数创建05:24
183尚硅谷-数仓搭建-DWD层动作日志表数据装载05:51
184尚硅谷-数仓搭建-DWD层曝光日志表05:20
185尚硅谷-数仓搭建-DWD层错误日志表07:30
186尚硅谷-数仓搭建-DWD层数据装载脚本03:03
187尚硅谷-数仓搭建-维度建模回顾05:14
188尚硅谷-数仓搭建-DWD层评价事实表建表语句05:36
189尚硅谷-数仓搭建-DWD层评价事实表数据装载08:38
190尚硅谷-数仓搭建-DWD层订单明细事实表建表语句04:06
191尚硅谷-数仓搭建-DWD层订单明细事实表数据装载 - 108:16- 192尚硅谷-数仓搭建-DWD层订单明细事实表数据装载 - 308:16
193尚硅谷-数仓搭建-DWD层退单事实建表语句03:13
194尚硅谷-数仓搭建-DWD层退单事实表数据装载05:25
195尚硅谷-数仓搭建-DWD层加购事实表06:04
196尚硅谷-数仓搭建-DWD层收藏事实表04:03
197尚硅谷-数仓搭建-DWD层优惠券领用事实表建表语句06:07
198尚硅谷-数仓搭建-DWD层优惠券领用事实表数据装载 - 109:32- 199尚硅谷-数仓搭建-DWD层优惠券领用事实表数据装载 - 309:32
200尚硅谷-数仓搭建-DWD层支付事实表建表语句03:09
201尚硅谷-数仓搭建-DWD层支付事实表数据装载 - 106:07- 202尚硅谷-数仓搭建-DWD层支付事实表数据装载 - 306:06
203尚硅谷-数仓搭建-DWD层退款事实表 - 106:17- 204尚硅谷-数仓搭建-DWD层退款事实表 - 306:14
205尚硅谷-数仓搭建-DWD层订单事实表建表语句08:33
206尚硅谷-数仓搭建-DWD层订单事实表数据装载 - 114:26- 207尚硅谷-数仓搭建-DWD层订单事实表数据装载 - 314:31
208尚硅谷-数仓搭建-DWD层数据装载脚本 - 105:31- 209尚硅谷-数仓搭建-DWD层数据装载脚本 - 305:33
210尚硅谷-数仓搭建-DWS层建模回顾03:00
211尚硅谷-数仓搭建-Hive时间函数和复杂数据类型说明 - 105:14- 212尚硅谷-数仓搭建-Hive时间函数和复杂数据类型说明 - 305:12
213尚硅谷-数仓搭建-DWS层用户主题建表语句08:53
214尚硅谷-数仓搭建-DWS层用户主题数据装载思路分析04:34
215尚硅谷-数仓搭建-DWS层用户主题首日数据装载(上) - 113:45- 216尚硅谷-数仓搭建-DWS层用户主题首日数据装载(上) - 313:49
217尚硅谷-数仓搭建-DWS层用户主题首日数据装载(中) - 114:32- 218尚硅谷-数仓搭建-DWS层用户主题首日数据装载(中) - 314:38
219尚硅谷-数仓搭建-DWS层用户主题首日数据装载(下)05:49
220尚硅谷-数仓搭建-DWS层用户主题每日数据装载 - 111:28- 221尚硅谷-数仓搭建-DWS层用户主题每日数据装载 - 311:32
222尚硅谷-数仓搭建-DWS层访客主题建表语句04:22
223尚硅谷-数仓搭建-新增访客判断逻辑说明05:53
224尚硅谷-数仓搭建-DWS层访客主题数据装载 - 109:40- 225尚硅谷-数仓搭建-DWS层访客主题数据装载 - 309:39
226尚硅谷-数仓搭建-DWS层商品主题建表语句03:11
227尚硅谷-数仓搭建-DWS层商品主题数据装载 - 105:04- 228尚硅谷-数仓搭建-DWS层商品主题数据装载 - 305:08
229尚硅谷-数仓搭建-DWS其余主题表结构07:31
230尚硅谷-数仓搭建-DWS数据装载脚本04:10
231尚硅谷-数仓搭建-DWT层建模思想回顾04:00
232尚硅谷-数仓搭建-DWT用户主题建表语句09:21
233尚硅谷-数仓搭建-DWT用户主题首日数据装载 - 113:53- 234尚硅谷-数仓搭建-DWT用户主题首日数据装载 - 314:02
235尚硅谷-数仓搭建-DWT用户主题每日数据装载 - 112:23- 236尚硅谷-数仓搭建-DWT用户主题每日数据装载 - 312:23
237尚硅谷-数仓搭建-DWT访客主题建表语句03:16
238尚硅谷-数仓搭建-DWT访客主题数据装载 - 108:13- 239尚硅谷-数仓搭建-DWT访客主题数据装载 - 308:21
240尚硅谷-数仓搭建-DWT层其余主题表结构 - 105:51- 241尚硅谷-数仓搭建-DWT层其余主题表结构 - 305:51
242尚硅谷-数仓搭建-DWT层数据装载脚本05:39
243尚硅谷-数仓搭建-ADS层访客统计需求说明06:04
244尚硅谷-数仓搭建-ADS层访客统计需求讲解(上) - 112:56- 245尚硅谷-数仓搭建-ADS层访客统计需求讲解(上) - 312:54
246尚硅谷-数仓搭建-ADS层访客统计需求讲解(下) - 109:07- 247尚硅谷-数仓搭建-ADS层访客统计需求讲解(下) - 309:14
248尚硅谷-数仓搭建-ADS层路径分析需求说明03:41
249尚硅谷-数仓搭建-ADS层路径分析需求讲解 - 110:19- 250尚硅谷-数仓搭建-ADS层路径分析需求讲解 - 310:23
251尚硅谷-数仓搭建-ADS层用户统计需求说明02:36
252尚硅谷-数仓搭建-ADS层用户统计需求讲解 - 107:03- 253尚硅谷-数仓搭建-ADS层用户统计需求讲解 - 307:01
254尚硅谷-数仓搭建-ADS层用户变动统计需求说明02:01
255尚硅谷-数仓搭建-ADS层用户变动统计需求讲解07:58
256尚硅谷-数仓搭建-ADS层漏斗分析需求说明02:20
257尚硅谷-数仓搭建-ADS层漏斗分析需求讲解 - 108:21- 258尚硅谷-数仓搭建-ADS层漏斗分析需求讲解 - 308:20