276. MapReduce DB操作--写数据库操作--需求与DBOutputFormat类
2023年2月6日 805观看
黑马程序员大数据Hadoop3.x全套教程，一套精通Hadoop的大数据必看教程
IT/互联网 / 程序设计开发
共421集 43.8万人观看
1大数据课程导论--大数据概念 - 106:23- 2大数据课程导论--大数据概念 - 306:21
3大数据课程导论--大数据特点（5V特征）08:21
4大数据课程导论--大数据业务分析基本步骤（重要） - 112:42- 5大数据课程导论--大数据业务分析基本步骤（重要） - 312:49
6大数据课程导论--大数据部门组织架构06:18
7分布式技术--分布式概念&分布式、集群区别 - 107:56- 8分布式技术--分布式概念&分布式、集群区别 - 308:04
9分布式技术--负载均衡、故障转移、伸缩性 - 107:38- 10分布式技术--负载均衡、故障转移、伸缩性 - 307:34
11Hadoop概述--Hadoop介绍、发展简史 - 107:40- 12Hadoop概述--Hadoop介绍、发展简史 - 307:42
13Hadoop概述--Hadoop发行版本、架构变迁 - 106:53- 14Hadoop概述--Hadoop发行版本、架构变迁 - 306:57
15Hadoop概述--集群搭建--源码编译08:30
16Hadoop概述--集群搭建--集群角色规划、服务器基础环境准备 - 106:39- 17Hadoop概述--集群搭建--集群角色规划、服务器基础环境准备 - 306:47
18Hadoop概述--集群搭建--安装包目录结构06:32
19Hadoop概述--集群搭建--配置文件详解~2 - 111:22- 20Hadoop概述--集群搭建--配置文件详解~2 - 311:33
21Hadoop概述--集群搭建--namenode format操作及注意事项05:46
22Hadoop概述--集群搭建--集群启动方式和Web UI页面~2 - 108:49- 23Hadoop概述--集群搭建--集群启动方式和Web UI页面~2 - 308:59
24Hadoop概述--Hadoop初体验~2 - 108:34- 25Hadoop概述--Hadoop初体验~2 - 308:32
26课程内容大纲和学习目标08:40
27企业存储系统--了解存储架构类型（DAS、NAS、SAN）06:37
28企业存储系统--文件系统概述、特点、分类 - 109:21- 29企业存储系统--文件系统概述、特点、分类 - 309:27
30场景分析--如何模拟实现分布式文件存储系统 - 110:01- 31场景分析--如何模拟实现分布式文件存储系统 - 310:03
32HDFS分布式文件存储系统--起源发展05:17
33HDFS分布式文件存储系统--设计目标、应用场景 - 106:03- 34HDFS分布式文件存储系统--设计目标、应用场景 - 306:12
35HDFS分布式文件存储系统--重要特性：主从架构、分块存储、副本机制08:38
36HDFS分布式文件存储系统--重要特性：namespace、元数据管理、数据块存储08:32
37HDFS案例：微博数据操作--HDFS Shell CLI客户端用法说明 - 107:08- 38HDFS案例：微博数据操作--HDFS Shell CLI客户端用法说明 - 307:10
39HDFS案例：微博数据操作--HDFS Shell CLI--mkdir、ls、put、copyFromLocal - 108:19- 40HDFS案例：微博数据操作--HDFS Shell CLI--mkdir、ls、put、copyFromLocal - 308:27
41HDFS案例：微博数据操作--HDFS Shell CLI--cat、head、tail、get、getmerge - 106:07- 42HDFS案例：微博数据操作--HDFS Shell CLI--cat、head、tail、get、getmerge - 306:15
43HDFS案例：微博数据操作--HDFS Shell CLI--cp、appendToFile、df、du、mv - 105:20- 44HDFS案例：微博数据操作--HDFS Shell CLI--cp、appendToFile、df、du、mv - 305:22
45HDFS案例：微博数据操作--HDFS Shell CLI--其他命令&Web UI操作05:28
46HDFS Java API客户端--开发环境构建&FileSystem对象 - 107:29- 47HDFS Java API客户端--开发环境构建&FileSystem对象 - 307:37
48HDFS Java API客户端--创建文件夹与客户端用户身份设置09:39
49HDFS Java API客户端--上传文件、下载文件09:29
50HDFS Java API客户端--hadoop本地库环境-winutils07:16
51HDFS Java API客户端--Apache Log4j简单入门使用 - 107:27- 52HDFS Java API客户端--Apache Log4j简单入门使用 - 307:25
53HDFS Java API客户端--Google option简单入门使用 - 107:20- 54HDFS Java API客户端--Google option简单入门使用 - 307:24
55HDFS案例：舆情数据上报--需求解读与实现思路 - 105:39- 56HDFS案例：舆情数据上报--需求解读与实现思路 - 305:39
57HDFS案例：舆情数据上报--开发环境搭建与工具类准备04:23
58HDFS案例：舆情数据上报--数据采集任务实现05:26
59HDFS案例：舆情数据上报--数据上传任务实现03:51
60HDFS案例：舆情数据上报--程序执行功能演示 - 105:29- 61HDFS案例：舆情数据上报--程序执行功能演示 - 305:36
62HDFS客户端概述--shell command、java api、c api06:05
63HDFS REST客户端--WebHDFS介绍和使用 - 109:31- 64HDFS REST客户端--WebHDFS介绍和使用 - 309:32
65HDFS REST客户端--WebHDFS使用--基于http协议上传文件05:35
66HDFS网关代理服务--HttpFS--概述和工作原理08:52
67HDFS网关代理服务--HttpFS--配置、启动、使用06:22
68WebHDFS和HttpFS之间的区别05:11
69HDFS文件存储格式--传统常见的文件存储格式07:13
70HDFS文件存储格式--BigData File Viewer工具使用 - 105:07- 71HDFS文件存储格式--BigData File Viewer工具使用 - 305:12
72HDFS文件存储格式--丰富的文件存储格式（ORC、Parquet、Sequence、Avro） - 110:19- 73HDFS文件存储格式--丰富的文件存储格式（ORC、Parquet、Sequence、Avro） - 310:17
74HDFS文件存储格式--了解Apache Arrow--列式内存数据结构05:17
75HDFS文件压缩格式--概述和对比 - 107:01- 76HDFS文件压缩格式--概述和对比 - 306:59
77HDFS异构存储--4种异构存储介质 - 106:27- 78HDFS异构存储--4种异构存储介质 - 306:31
79HDFS异构存储--块存储类型选择策略 - 105:14- 80HDFS异构存储--块存储类型选择策略 - 305:13
81HDFS异构存储--案例：冷热温分层存储--配置异构存储功能07:49
82HDFS异构存储--案例：冷热温分层存储--存储策略设置和效果检测07:37
83HDFS异构存储--内存存储策略--lazy persist懒持久流程04:17
84HDFS异构存储--内存存储策略--lazy persist设置使用06:24
85HDFS异构存储--案例：银行转账数据冷热分层08:48
86今日课程总结和作业 - 105:14- 87今日课程总结和作业 - 305:12
88课程内容大纲和学习目标 - 105:51- 89课程内容大纲和学习目标 - 305:58
90HDFS NAMENODE--安全模式--现象探究08:38
91HDFS NAMENODE--安全模式--概述与控制进入离开时间和条件 - 106:28- 92HDFS NAMENODE--安全模式--概述与控制进入离开时间和条件 - 306:40
93HDFS高阶优化方案--短路本地读取--背景和两种设计实现方案08:29
94HDFS高阶优化方案--短路本地读取--配置和功能演示验证 - 106:12- 95HDFS高阶优化方案--短路本地读取--配置和功能演示验证 - 306:20
96HDFS高阶优化方案--节点block负载平衡器--Balancer - 108:06- 97HDFS高阶优化方案--节点block负载平衡器--Balancer - 308:04
98（hadoop3.0新功能）HDFS Disk balancer--介绍 - 105:44- 99（hadoop3.0新功能）HDFS Disk balancer--介绍 - 305:54
100（hadoop3.0新功能）HDFS Disk balancer--工作原理 - 106:55- 101（hadoop3.0新功能）HDFS Disk balancer--工作原理 - 307:06
102（hadoop3.0新功能）HDFS Disk balancer--操作使用06:16
103（hadoop3.0新功能）HDFS Erasure Coding--纠删码介绍和原理08:21
104（hadoop3.0新功能）HDFS Erasure Coding--纠删码架构调整06:57
105（hadoop3.0新功能）HDFS Erasure Coding--纠删码操作07:27
106HDFS动态节点管理--节点下线、动态缩容实操 - 105:08- 107HDFS动态节点管理--节点下线、动态缩容实操 - 305:07
108HDFS动态节点管理--黑、白名单机制04:18
109HDFS HA--高可用系统设计核心问题--脑裂和主备数据同步06:20
110HDFS HA--NameNode单点故障问题04:44
111HDFS HA--QJM方案--整体架构和如何解决主备切换、脑裂问题 - 108:31- 112HDFS HA--QJM方案--整体架构和如何解决主备切换、脑裂问题 - 308:31
113HDFS HA--QJM方案--如何解决数据同步问题03:16
114HDFS HA--QJM方案--集群搭建--配置文件详解 - 108:27- 115HDFS HA--QJM方案--集群搭建--配置文件详解 - 308:27
116HDFS HA--QJM方案--集群搭建--初始化启动05:25
117HDFS HA--QJM方案--HA功能演示05:39
118HDFS--了解Federation联邦机制09:31
119HDFS集群滚动升级--非联邦HA集群滚动升级06:35
120HDFS集群滚动升级--联邦+HA集群滚动升级05:43
121HDFS集群滚动升级--非HA集群停机升级01:53
122HDFS集群滚降级和回滚操作 - 106:59- 123HDFS集群滚降级和回滚操作 - 306:51
124HDFS架构剖析--重要特性（主从、分块、副本、namespace） - 106:50- 125HDFS架构剖析--重要特性（主从、分块、副本、namespace） - 306:48
126HDFS Web Interfaces--各模块功能解读梳理 - 105:43- 127HDFS Web Interfaces--各模块功能解读梳理 - 305:50
128HDFS读写流程--写数据流程核心概念--pipeline、ack、3副本策略 - 107:29- 129HDFS读写流程--写数据流程核心概念--pipeline、ack、3副本策略 - 307:33
130HDFS读写流程--写数据流程--分步讲解 - 106:00- 131HDFS读写流程--写数据流程--分步讲解 - 306:07
132HDFS读写流程--读数据流程--分步讲解 - 105:28- 133HDFS读写流程--读数据流程--分步讲解 - 305:32
134HDFS读写流程--NN、DN角色职责高度概括 - 105:41- 135HDFS读写流程--NN、DN角色职责高度概括 - 305:41
136HDFS--NAMENODE元数据管理--相关存储目录05:13
137HDFS--NAMENODE元数据管理--namespaceID、clusterID、blockpoolID概念09:45
138HDFS--NAMENODE元数据管理--相关的文件解读06:08
139HDFS--NAMENODE元数据管理--元数据文件查看（OIV、OEV）08:48
140HDFS--NAMENODE元数据管理--SecondaryNameNode--checkpoint机制07:03
141HDFS--NAMENODE元数据管理--元数据文件恢复方式06:59
142HDFS小文件解决方案--Hadoop Archive--文件归档介绍05:40
143HDFS小文件解决方案--Hadoop Archive--归档使用和注意事项 - 107:10- 144HDFS小文件解决方案--Hadoop Archive--归档使用和注意事项 - 307:10
145Sequence File--序列化文件格式介绍07:25
146课程总结和今日作业 - 106:34- 147课程总结和今日作业 - 306:41
148HDFS Trash垃圾桶--文件系统垃圾桶、回收站背景知识04:26
149HDFS Trash垃圾桶--操作使用06:09
150HDFS Snapshot快照--介绍和作用06:53
151HDFS Snapshot快照--操作命令与实操 - 108:26- 152HDFS Snapshot快照--操作命令与实操 - 308:39
153HDFS权限管理--认证、授权、审计（AAA模型）与权限管理概述 - 105:46- 154HDFS权限管理--认证、授权、审计（AAA模型）与权限管理概述 - 305:57
155HDFS权限管理--UGO权限管理与权限掩码（umask） - 106:21- 156HDFS权限管理--UGO权限管理与权限掩码（umask） - 306:31
157HDFS权限管理--使用命令进行权限修改07:22
158HDFS权限管理--使用Web UI页面进行权限修改&粘滞位功能07:45
159HDFS权限管理--用户身份认证--Simple认证机制09:49
160HDFS权限管理--用户身份认证--了解Kerberos认证机制 - 108:17- 161HDFS权限管理--用户身份认证--了解Kerberos认证机制 - 308:23
162HDFS权限管理--组映射服务（Group Mapping）08:10
163HDFS权限管理--ACL权限管理--产生背景和功能06:04
164HDFS权限管理--ACL权限管理--命令与实操 - 107:41- 165HDFS权限管理--ACL权限管理--命令与实操 - 307:44
166HDFS Proxy User代理用户--概念与配置使用09:04
167HDFS透明加密--技术背景和常见的加密层级 - 105:44- 168HDFS透明加密--技术背景和常见的加密层级 - 305:41
169HDFS透明加密--概述和角色、组件（EZ、DEK、EDEK） - 110:10- 170HDFS透明加密--概述和角色、组件（EZ、DEK、EDEK） - 310:17
171HDFS透明加密--加密、解密流程梳理09:17
172HDFS透明加密--KMS服务配置与启动 - 105:17- 173HDFS透明加密--KMS服务配置与启动 - 305:20
174HDFS透明加密--操作与使用06:50
175Hadoop源码编译--编译源码的原因和本地库概念09:00
176Hadoop源码编译--如何进行源码编译07:04
177Hadoop源码编译--Linux平台编译--编译环境软件、依赖安装07:56
178Hadoop源码编译--Linux平台编译--maven执行编译04:38
179Hadoop源码编译--了解如何在windows平台编译05:30
180HDFS核心源码解读--IDEA中Debug功能介绍与快捷键使用 - 106:33- 181HDFS核心源码解读--IDEA中Debug功能介绍与快捷键使用 - 306:45
182HDFS核心源码解读--客户端核心类--Configuration09:05
183HDFS核心源码解读--客户端核心类--FileSystem - 105:37- 184HDFS核心源码解读--客户端核心类--FileSystem - 305:49
185HDFS核心源码解读--RPC协议介绍与Hadoop RPC接口介绍 - 106:40- 186HDFS核心源码解读--RPC协议介绍与Hadoop RPC接口介绍 - 306:52
187HDFS核心源码解读--Hadoop RPC接口之ClientDataNodeProtocol05:08
188HDFS核心源码解读--Hadoop RPC接口之DataNodeProtocol08:30
189HDFS核心源码解读--写数据流程源码分析（1）--客户端请求NameNode07:33
190HDFS核心源码解读--写数据流程源码分析（2）--NameNode执行请求操作检查04:51
191HDFS核心源码解读--写数据流程源码分析（3）--DataStreamer写数据 - 106:51- 192HDFS核心源码解读--写数据流程源码分析（3）--DataStreamer写数据 - 307:01
193HDFS核心源码解读--读数据流程源码分析（1）--客户端请求NameNode - 105:06- 194HDFS核心源码解读--读数据流程源码分析（1）--客户端请求NameNode - 305:19
195HDFS核心源码解读--读数据流程源码分析（2）--getBlockLocations04:50
196HDFS核心源码解读--读数据流程源码分析（3）--客户端读数据块06:15
197课程内容大纲和学习目标 - 105:08- 198课程内容大纲和学习目标 - 305:04
199初识MapReduce--理解MapReduce思想：先分再合，分而治之09:11
200初识MapReduce--场景：如何模拟实现分布式计算 - 108:14- 201初识MapReduce--场景：如何模拟实现分布式计算 - 308:14
202初识MapReduce--Hadoop团队MapReduce设计构思 - 106:03- 203初识MapReduce--Hadoop团队MapReduce设计构思 - 306:12
204Hadoop MapReduce编程--架构体系与实例进程05:00
205Hadoop MapReduce编程--用户编程规范06:51
206Hadoop MapReduce编程--MR内部执行流程--基础版04:56
207Hadoop序列化机制和数据类型--Writable - 106:50- 208Hadoop序列化机制和数据类型--Writable - 306:52
209MapReduce入门案例：WordCount--业务需求与编程思路05:24
210MapReduce入门案例：WordCount--开发环境搭建06:04
211MapReduce入门案例：WordCount--Mapper类实现--输入输出类型确定 - 105:47- 212MapReduce入门案例：WordCount--Mapper类实现--输入输出类型确定 - 305:52
213MapReduce入门案例：WordCount--Mapper类实现--重写map方法实现业务 - 106:01- 214MapReduce入门案例：WordCount--Mapper类实现--重写map方法实现业务 - 306:10
215MapReduce入门案例：WordCount--Reducer类实现--输入输出类型确定04:52
216MapReduce入门案例：WordCount--Reducer类实现--重写reduce方法实现业务 - 105:05- 217MapReduce入门案例：WordCount--Reducer类实现--重写reduce方法实现业务 - 305:07
218MapReduce入门案例：WordCount--客户端驱动程序类 - 107:22- 219MapReduce入门案例：WordCount--客户端驱动程序类 - 307:24
220MapReduce入门案例：WordCount--使用ToolRunner提交程序07:51
221MapReduce程序运行--运行模式与参数设置05:29
222MapReduce程序运行--YARN集群模式运行实操 - 106:55- 223MapReduce程序运行--YARN集群模式运行实操 - 306:57
224MapReduce程序运行--Local本地模式运行实操08:11
225MapReduce程序运行--如何区分运行模式07:05
226MapReduce输入、输出梳理及注意事项 - 105:50- 227MapReduce输入、输出梳理及注意事项 - 305:59
228MapReduce流程简单梳理--WordCount是怎样计算的09:06
229MapReduce流程简单梳理--Map阶段执行过程 - 105:20- 230MapReduce流程简单梳理--Map阶段执行过程 - 305:17
231MapReduce流程简单梳理--Reduce阶段执行过程07:00
232MapReduce Partition--数据分区机制 - 106:56- 233MapReduce Partition--数据分区机制 - 306:54
234MapReduce Combiner--规约组件介绍、使用与注意事项 - 108:02- 235MapReduce Combiner--规约组件介绍、使用与注意事项 - 308:02
236MapReduce编程指南与技巧（把握住key） - 105:46- 237MapReduce编程指南与技巧（把握住key） - 305:46
238MapReduce美国新冠疫情案例--疫情汇总统计--业务需求与实现思路08:06
239MapReduce美国新冠疫情案例--疫情汇总统计--自定义对象及序列化实现08:27
240MapReduce美国新冠疫情案例--疫情汇总统计--Mapper、Reducer代码实现08:53
241MapReduce美国新冠疫情案例--疫情汇总统计--驱动类编写与程序执行08:35
242MapReduce美国新冠疫情案例--疫情汇总倒序统计--需求与实现思路 - 106:42- 243MapReduce美国新冠疫情案例--疫情汇总倒序统计--需求与实现思路 - 306:41
244MapReduce美国新冠疫情案例--疫情汇总倒序统计--重写对象排序规则04:55
245MapReduce美国新冠疫情案例--疫情汇总倒序统计--代码开发实现 - 108:23- 246MapReduce美国新冠疫情案例--疫情汇总倒序统计--代码开发实现 - 308:22
247MapReduce美国新冠疫情案例--疫情按州分区统计--自定义分区器09:52
248MapReduce美国新冠疫情案例--疫情按州分区统计--代码开发与实现 - 105:40- 249MapReduce美国新冠疫情案例--疫情按州分区统计--代码开发与实现 - 305:53
250MapReduce--探究分区个数和reducetask个数关系07:02
251MapReduce美国新冠疫情案例--各州Top1确诊县城--需求与实现思路 - 105:36- 252MapReduce美国新冠疫情案例--各州Top1确诊县城--需求与实现思路 - 305:43
253HDFS读写流程--读数据流程--分步讲解 - 105:28- 254HDFS读写流程--读数据流程--分步讲解 - 305:31
255MapReduce美国新冠疫情案例--各州Top1确诊县城--自定义分组规则 - 106:00- 256MapReduce美国新冠疫情案例--各州Top1确诊县城--自定义分组规则 - 306:10
257MapReduce美国新冠疫情案例--各州Top1确诊县城--提交执行03:08
258MapReduce美国新冠疫情案例--(扩展)各州TopN确诊县城统计08:16
259MapReduce--reduce分组中key和values迭代器之间的关系（重点难点） - 109:48- 260MapReduce--reduce分组中key和values迭代器之间的关系（重点难点） - 309:52
261MapReduce--并行度机制--maptask并行度机制（逻辑规划） - 108:44- 262MapReduce--并行度机制--maptask并行度机制（逻辑规划） - 308:47
263MapReduce--工作机制详解--maptask工作机制详解 - 110:09- 264MapReduce--工作机制详解--maptask工作机制详解 - 310:14
265MapReduce--工作机制详解--reducetask工作机制详解 - 106:30- 266MapReduce--工作机制详解--reducetask工作机制详解 - 306:28
267MapReduce Counter--计数器概念和内置计数器介绍 - 106:34- 268MapReduce Counter--计数器概念和内置计数器介绍 - 306:32
269MapReduce Counter--自定义计数器的使用 - 105:03- 270MapReduce Counter--自定义计数器的使用 - 305:12
271MapReduce DB操作--读数据库操作--需求与DBInputFormat类06:20
272MapReduce DB操作--读数据库操作--自定义对象实现DBWritable - 106:11- 273MapReduce DB操作--读数据库操作--自定义对象实现DBWritable - 306:14
274MapReduce DB操作--读数据库操作--代码开发实现 - 111:51- 275MapReduce DB操作--读数据库操作--代码开发实现 - 311:57
276MapReduce DB操作--写数据库操作--需求与DBOutputFormat类05:10
277MapReduce DB操作--写数据库操作--代码开发实现 - 111:20- 278MapReduce DB操作--写数据库操作--代码开发实现 - 311:28
279MapReduce Join关联操作--join背景知识04:02
280MapReduce Join关联操作--reduce side join--案例需求与实现思路07:23
281MapReduce Join关联操作--reduce side join--Mapper类代码实现 - 108:24- 282MapReduce Join关联操作--reduce side join--Mapper类代码实现 - 308:36
283MapReduce Join关联操作--reduce side join--Reducer类与驱动程序代码实现 - 108:10- 284MapReduce Join关联操作--reduce side join--Reducer类与驱动程序代码实现 - 308:20
285MapReduce Join关联操作--reduce side join--结果优化排序 - 105:48- 286MapReduce Join关联操作--reduce side join--结果优化排序 - 305:52
287MapReduce DistributedCache--分布式缓存08:17
288MapReduce Join关联操作--map side join--实现原理和优势05:56
289MapReduce Join关联操作--map side join--案例需求与实现思路06:29
290MapReduce Join关联操作--map side join--如何读取分布式缓存文件09:28
291MapReduce Join关联操作--map side join--程序执行 - 105:44- 292MapReduce Join关联操作--map side join--程序执行 - 305:44
293MapReduce 工作流--背景原理和需求05:22
294MapReduce 工作流--代码开发实现 - 106:18- 295MapReduce 工作流--代码开发实现 - 306:23
296Debug环境准备--IDEA工程和源码工程如何关联09:53
297Debug环境准备--IDEA模式介绍与调试相关按键 - 106:26- 298Debug环境准备--IDEA模式介绍与调试相关按键 - 306:29
299Debug环境准备--IDEA远程Debug的使用 - 105:16- 300Debug环境准备--IDEA远程Debug的使用 - 305:26
301MapReduce Job提交源码追踪--Job类和开启实时状态追踪08:01
302MapReduce Job提交源码追踪--submit--(1)跟运行环境建立连接 - 106:18- 303MapReduce Job提交源码追踪--submit--(1)跟运行环境建立连接 - 306:20
304MapReduce Job提交源码追踪--submit--(2)提交全流程剖析 - 107:50- 305MapReduce Job提交源码追踪--submit--(2)提交全流程剖析 - 307:50
306Map阶段执行流程源码解析--MapTask类--功能区划分08:35
307Map阶段执行流程源码解析--MapTask类--Map阶段准备部分07:23
308Map阶段执行流程源码解析--MapTask类--Map阶段工作部分 - 110:14- 309Map阶段执行流程源码解析--MapTask类--Map阶段工作部分 - 310:18
310Map阶段执行流程源码解析--(1)数据输入--InputFormat--LineRecordReader读数据09:38
311Map阶段执行流程源码解析--(2)数据处理--Mapper类map方法04:58
312Map阶段执行流程源码解析--(3)数据输出--OutputCollector不同实现04:26
313Map阶段执行流程源码解析--(3)数据输出--Partition分区计算07:09
314Map阶段执行流程源码解析--(3)数据输出--MapOutputBuffer--环形缓冲区介绍09:26
315Map阶段执行流程源码解析--(3)数据输出--环形缓冲区初始化和数据收集06:57
316Map阶段执行流程源码解析--(3)数据输出--merge05:05
317Map阶段执行流程源码解析--(3)数据输出--Combiner02:44
318Reduce阶段执行流程源码解析--ReduceTask类梳理解读 - 110:43- 319Reduce阶段执行流程源码解析--ReduceTask类梳理解读 - 310:47
320Reduce阶段执行流程源码解析--shuffle过程--init、run - 106:52- 321Reduce阶段执行流程源码解析--shuffle过程--init、run - 307:01
322Reduce阶段执行流程源码解析--shuffle过程--copy - 106:27- 323Reduce阶段执行流程源码解析--shuffle过程--copy - 306:40
324Reduce阶段执行流程源码解析--shuffle过程--merge、sort - 105:38- 325Reduce阶段执行流程源码解析--shuffle过程--merge、sort - 305:48
326Reduce阶段执行流程源码解析--reduce数据处理过程 - 105:44- 327Reduce阶段执行流程源码解析--reduce数据处理过程 - 305:41
328Reduce阶段执行流程源码解析--OutputFormat输出数据02:36
329MapReduce美国新冠疫情案例--各州Top1确诊县城--重写排序规则 - 105:15- 330MapReduce美国新冠疫情案例--各州Top1确诊县城--重写排序规则 - 305:17
331课程内容大纲和学习目标07:18
332MapReduce应用场景及优缺点 - 110:01- 333MapReduce应用场景及优缺点 - 309:59
334MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr生成Seq文件需求02:35
335MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr生成Seq文件代码05:31
336MapReduce应用场景及优缺点 - 109:57- 337MapReduce应用场景及优缺点 - 309:56
338MapReduce属性优化--shuffle优化--减少spill和merge次数03:32
339MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr读取Seq文件代码06:00
340MapReduce IO性能优化--文件存储格式--MapFile--介绍04:15
341MapReduce IO性能优化--文件存储格式--MapFile--使用mr生成MapFile04:58
342MapReduce IO性能优化--文件存储格式--MapFile--使用mr读取MapFile05:53
343MapReduce IO性能优化--文件存储格式--ORC File--介绍05:36
344MapReduce IO性能优化--文件存储格式--ORC File--使用mr生成ORC File09:33
345MapReduce IO性能优化--文件存储格式--ORC File--使用mr读取ORC File05:34
346MapReduce数据压缩优化--压缩概念和压缩的设置 - 106:33- 347MapReduce数据压缩优化--压缩概念和压缩的设置 - 306:39
348MapReduce数据压缩优化--Gzip压缩--使用mr生成Gzip压缩08:43
349MapReduce数据压缩优化--Gzip压缩--使用mr解压Gzip压缩文件04:04
350MapReduce数据压缩优化--Snappy压缩--使用mr生成Snappy压缩文件07:13
351MapReduce数据压缩优化--Snappy压缩--shuffle过程使用snappy压缩05:22
352MapReduce数据压缩优化--Snappy压缩--使用mr解压snappy压缩文件04:35
353MapReduce数据压缩优化--Lzo压缩--介绍与安装配置05:37
354MapReduce数据压缩优化--Lzo压缩--使用mr生成lzo压缩文件04:26
355MapReduce数据压缩优化--Lzo压缩--使用mr解压lzo压缩文件03:38
356MapReduce属性优化--mr的基准测试07:43
357MapReduce属性优化--Uber模式使用07:40
358MapReduce属性优化--JVM重用机制02:06
359MapReduce属性优化--推测执行机制03:36
360MapReduce属性优化--小文件合并优化--CombineTextInputFormat08:25
361Reduce阶段执行流程源码解析--shuffle机制09:11
362MapReduce属性优化--shuffle优化--减少spill和merge次数03:45
363课程内容大纲和学习目标04:23
364Hadoop YARN概述--起源和发展简史--对yarn的需求06:29
365Hadoop YARN--简介05:59
366Hadoop YARN--集群安装部署--角色部署规划05:52
367Hadoop YARN--集群安装部署--基础环境准备05:24
368Hadoop YARN--集群安装部署--配置文件修改详解 - 106:27- 369Hadoop YARN--集群安装部署--配置文件修改详解 - 306:30
370Hadoop YARN--集群安装部署--集群启动06:36
371Hadoop YARN--集群安装部署--yarn集群初体验04:58
372Hadoop YARN--RM重启机制、状态恢复 - 107:14- 373Hadoop YARN--RM重启机制、状态恢复 - 307:16
374Hadoop YARN--HA集群--概念及架构实现原理 - 106:10- 375Hadoop YARN--HA集群--概念及架构实现原理 - 306:13
376Hadoop YARN--HA集群--配置启动09:41
377Hadoop YARN--HA集群--HA模式体验及故障转移测试04:59
378Hadoop YARN--架构体系06:25
379Hadoop YARN--架构体系--3大组件功能职责及容器Container作用 - 105:30- 380Hadoop YARN--架构体系--3大组件功能职责及容器Container作用 - 305:35
381Hadoop YARN--架构体系--通信协议03:42
382Hadoop YARN--架构体系--程序提交执行交互流程08:33
383课程内容大纲和学习目标04:40
384YARN WebUI服务--WebUI v1使用及页面功能讲解09:49
385YARN WebUI服务--JobHistory Server介绍与配置使用 - 106:48- 386YARN WebUI服务--JobHistory Server介绍与配置使用 - 306:45
387YARN WebUI服务--Timeline Server介绍与配置使用08:12
388YARN操作维护命令--User用户命令讲解 - 107:31- 389YARN操作维护命令--User用户命令讲解 - 307:30
390YARN操作维护命令--Admin管理命令讲解08:14
391YARN资源管理与隔离 - 106:03- 392YARN资源管理与隔离 - 306:05
393YARN资源调度器Scheduler--概述 - 105:20- 394YARN资源调度器Scheduler--概述 - 305:26
395YARN资源调度器Scheduler--FIFO Scheduler先进先出04:25
396YARN资源调度器Scheduler--Capacity Scheduler容量--概念及核心配置参数 - 106:47- 397YARN资源调度器Scheduler--Capacity Scheduler容量--概念及核心配置参数 - 306:55
398YARN资源调度器Scheduler--Capacity Scheduler容量--动态加载更新配置03:09
399YARN资源调度器Scheduler--案例：Capacity调度配置--需求和配置参数分析05:48
400YARN资源调度器Scheduler--案例：Capacity调度配置--功能实现06:18
401YARN资源调度器Scheduler--Fair Scheduler公平--概念及和配置参数 - 107:37- 402YARN资源调度器Scheduler--Fair Scheduler公平--概念及和配置参数 - 307:35
403YARN资源调度器Scheduler--案例--Fari公平调度实现多租户资源隔离 - 110:57- 404YARN资源调度器Scheduler--案例--Fari公平调度实现多租户资源隔离 - 311:00
405YARN资源调度器Scheduler--恢复默认设置04:26
406YARN核心参数梳理 - 105:04- 407YARN核心参数梳理 - 305:12
408YARN Resource资源配置05:46
409YARN应用开发--概述 - 105:53- 410YARN应用开发--概述 - 305:58
411YARN应用开发--客户端Client开发05:59
412YARN应用开发--ApplicationMaster开发 - 106:37- 413YARN应用开发--ApplicationMaster开发 - 306:46
414YARN应用开发--编程开发库应用 - 105:49- 415YARN应用开发--编程开发库应用 - 305:54
416YARN源码剖析--MapReduce程序提交YARN流程--整体概述09:52
417YARN源码剖析--MapReduce程序提交YARN流程--源码阅读环境04:15
418YARN源码剖析--MapReduce程序提交YARN流程--客户端提交程序到RM - 109:07- 419YARN源码剖析--MapReduce程序提交YARN流程--客户端提交程序到RM - 309:04
420YARN源码剖析--MapReduce程序提交YARN流程--YARN启动AM07:07
421YARN源码剖析--MapReduce程序提交YARN流程--调度执行应用进程08:07
相关视频
07:55“终点由我不由天！”论文致谢刷屏博士黄国平母校演讲2021年6月28日8.5万观看
05:53导师寄语精选版本 - 12022年11月2日2506观看
31:05【系列讲座第五讲】突发性公共事件下的自我心理平衡 ｜ 厦门大学心理咨询与教育中心 祝婧媛副教授 - 32022年11月9日2077观看
第27/41集 · 11:43南开大学人的宣言-人,要认识你自己 20讲 朱进富主讲(20) - 3
大学课程2022年11月5日6668观看
第2/3集 · 28:31【系列讲座第四讲】社会科学定类数据分析与应用｜ 厦门大学社会与人类学院 陈福平教授 - 2大学课程2022年11月9日978观看
第3/3集 · 28:58【系列讲座第三讲】“中国之治”的传统文化资源 ｜ 厦门大学新闻传播学院 谢清果教授 - 3大学课程2022年11月9日2275观看
25:23复旦大学通识课：姜鹏教授告诉你对历史的认知不应该只有一种大学课程2020年3月11日9.3万观看
29:37清华大学教授刘嘉最新演讲，建议反复观看2年前6.8万观看
17:55【直播回放】周黎安教授《从经济学视角洞察教育之于国运与人生》 - 22022年11月9日2266观看
01:20【亲爱的来吃饭】校友篇·励志！从专升本开始，女博士后两年一步走出大山！2023年8月8日1527观看
38:31温铁军教授北京大学讲座： 《全球危机与中国乡村振兴战略！》 - 12022年11月7日7364观看
第23/23集 · 19:02复旦大学 凝聚态 潘庶亨视频教程(2-010) - 3大学课程2022年11月6日1967观看
52:59清华大学图灵院士姚期智桂电讲座 - 32022年11月5日1527观看
09:03西法大第六届刑辩高峰论坛，清华大学劳东燕教授精彩发言回顾5月前2653观看
02:13曾教授：这一种人早晚会飞上枝头，成为人上人的！2022年12月8日12.1万观看
00:31倪云华教授在某高校MBA总裁班讲授AI领导力8月前2618观看