199. 初识MapReduce--理解MapReduce思想：先分再合，分而治之

黑马程序员大数据Hadoop3.x全套教程，一套精通Hadoop的大数据必看教程

IT/互联网 / 程序设计开发

共421集 43.8万人观看

---

• 
  1大数据课程导论--大数据概念 - 1

  06:23
• 
  2大数据课程导论--大数据概念 - 3

  06:21
• 
  3大数据课程导论--大数据特点（5V特征）

  08:21
• 
  4大数据课程导论--大数据业务分析基本步骤（重要） - 1

  12:42
• 
  5大数据课程导论--大数据业务分析基本步骤（重要） - 3

  12:49
• 
  6大数据课程导论--大数据部门组织架构

  06:18
• 
  7分布式技术--分布式概念&分布式、集群区别 - 1

  07:56
• 
  8分布式技术--分布式概念&分布式、集群区别 - 3

  08:04
• 
  9分布式技术--负载均衡、故障转移、伸缩性 - 1

  07:38
• 
  10分布式技术--负载均衡、故障转移、伸缩性 - 3

  07:34
• 
  11Hadoop概述--Hadoop介绍、发展简史 - 1

  07:40
• 
  12Hadoop概述--Hadoop介绍、发展简史 - 3

  07:42
• 
  13Hadoop概述--Hadoop发行版本、架构变迁 - 1

  06:53
• 
  14Hadoop概述--Hadoop发行版本、架构变迁 - 3

  06:57
• 
  15Hadoop概述--集群搭建--源码编译

  08:30
• 
  16Hadoop概述--集群搭建--集群角色规划、服务器基础环境准备 - 1

  06:39
• 
  17Hadoop概述--集群搭建--集群角色规划、服务器基础环境准备 - 3

  06:47
• 
  18Hadoop概述--集群搭建--安装包目录结构

  06:32
• 
  19Hadoop概述--集群搭建--配置文件详解~2 - 1

  11:22
• 
  20Hadoop概述--集群搭建--配置文件详解~2 - 3

  11:33
• 
  21Hadoop概述--集群搭建--namenode format操作及注意事项

  05:46
• 
  22Hadoop概述--集群搭建--集群启动方式和Web UI页面~2 - 1

  08:49
• 
  23Hadoop概述--集群搭建--集群启动方式和Web UI页面~2 - 3

  08:59
• 
  24Hadoop概述--Hadoop初体验~2 - 1

  08:34
• 
  25Hadoop概述--Hadoop初体验~2 - 3

  08:32
• 
  26课程内容大纲和学习目标

  08:40
• 
  27企业存储系统--了解存储架构类型（DAS、NAS、SAN）

  06:37
• 
  28企业存储系统--文件系统概述、特点、分类 - 1

  09:21
• 
  29企业存储系统--文件系统概述、特点、分类 - 3

  09:27
• 
  30场景分析--如何模拟实现分布式文件存储系统 - 1

  10:01
• 
  31场景分析--如何模拟实现分布式文件存储系统 - 3

  10:03
• 
  32HDFS分布式文件存储系统--起源发展

  05:17
• 
  33HDFS分布式文件存储系统--设计目标、应用场景 - 1

  06:03
• 
  34HDFS分布式文件存储系统--设计目标、应用场景 - 3

  06:12
• 
  35HDFS分布式文件存储系统--重要特性：主从架构、分块存储、副本机制

  08:38
• 
  36HDFS分布式文件存储系统--重要特性：namespace、元数据管理、数据块存储

  08:32
• 
  37HDFS案例：微博数据操作--HDFS Shell CLI客户端用法说明 - 1

  07:08
• 
  38HDFS案例：微博数据操作--HDFS Shell CLI客户端用法说明 - 3

  07:10
• 
  39HDFS案例：微博数据操作--HDFS Shell CLI--mkdir、ls、put、copyFromLocal - 1

  08:19
• 
  40HDFS案例：微博数据操作--HDFS Shell CLI--mkdir、ls、put、copyFromLocal - 3

  08:27
• 
  41HDFS案例：微博数据操作--HDFS Shell CLI--cat、head、tail、get、getmerge - 1

  06:07
• 
  42HDFS案例：微博数据操作--HDFS Shell CLI--cat、head、tail、get、getmerge - 3

  06:15
• 
  43HDFS案例：微博数据操作--HDFS Shell CLI--cp、appendToFile、df、du、mv - 1

  05:20
• 
  44HDFS案例：微博数据操作--HDFS Shell CLI--cp、appendToFile、df、du、mv - 3

  05:22
• 
  45HDFS案例：微博数据操作--HDFS Shell CLI--其他命令&Web UI操作

  05:28
• 
  46HDFS Java API客户端--开发环境构建&FileSystem对象 - 1

  07:29
• 
  47HDFS Java API客户端--开发环境构建&FileSystem对象 - 3

  07:37
• 
  48HDFS Java API客户端--创建文件夹与客户端用户身份设置

  09:39
• 
  49HDFS Java API客户端--上传文件、下载文件

  09:29
• 
  50HDFS Java API客户端--hadoop本地库环境-winutils

  07:16
• 
  51HDFS Java API客户端--Apache Log4j简单入门使用 - 1

  07:27
• 
  52HDFS Java API客户端--Apache Log4j简单入门使用 - 3

  07:25
• 
  53HDFS Java API客户端--Google option简单入门使用 - 1

  07:20
• 
  54HDFS Java API客户端--Google option简单入门使用 - 3

  07:24
• 
  55HDFS案例：舆情数据上报--需求解读与实现思路 - 1

  05:39
• 
  56HDFS案例：舆情数据上报--需求解读与实现思路 - 3

  05:39
• 
  57HDFS案例：舆情数据上报--开发环境搭建与工具类准备

  04:23
• 
  58HDFS案例：舆情数据上报--数据采集任务实现

  05:26
• 
  59HDFS案例：舆情数据上报--数据上传任务实现

  03:51
• 
  60HDFS案例：舆情数据上报--程序执行功能演示 - 1

  05:29
• 
  61HDFS案例：舆情数据上报--程序执行功能演示 - 3

  05:36
• 
  62HDFS客户端概述--shell command、java api、c api

  06:05
• 
  63HDFS REST客户端--WebHDFS介绍和使用 - 1

  09:31
• 
  64HDFS REST客户端--WebHDFS介绍和使用 - 3

  09:32
• 
  65HDFS REST客户端--WebHDFS使用--基于http协议上传文件

  05:35
• 
  66HDFS网关代理服务--HttpFS--概述和工作原理

  08:52
• 
  67HDFS网关代理服务--HttpFS--配置、启动、使用

  06:22
• 
  68WebHDFS和HttpFS之间的区别

  05:11
• 
  69HDFS文件存储格式--传统常见的文件存储格式

  07:13
• 
  70HDFS文件存储格式--BigData File Viewer工具使用 - 1

  05:07
• 
  71HDFS文件存储格式--BigData File Viewer工具使用 - 3

  05:12
• 
  72HDFS文件存储格式--丰富的文件存储格式（ORC、Parquet、Sequence、Avro） - 1

  10:19
• 
  73HDFS文件存储格式--丰富的文件存储格式（ORC、Parquet、Sequence、Avro） - 3

  10:17
• 
  74HDFS文件存储格式--了解Apache Arrow--列式内存数据结构

  05:17
• 
  75HDFS文件压缩格式--概述和对比 - 1

  07:01
• 
  76HDFS文件压缩格式--概述和对比 - 3

  06:59
• 
  77HDFS异构存储--4种异构存储介质 - 1

  06:27
• 
  78HDFS异构存储--4种异构存储介质 - 3

  06:31
• 
  79HDFS异构存储--块存储类型选择策略 - 1

  05:14
• 
  80HDFS异构存储--块存储类型选择策略 - 3

  05:13
• 
  81HDFS异构存储--案例：冷热温分层存储--配置异构存储功能

  07:49
• 
  82HDFS异构存储--案例：冷热温分层存储--存储策略设置和效果检测

  07:37
• 
  83HDFS异构存储--内存存储策略--lazy persist懒持久流程

  04:17
• 
  84HDFS异构存储--内存存储策略--lazy persist设置使用

  06:24
• 
  85HDFS异构存储--案例：银行转账数据冷热分层

  08:48
• 
  86今日课程总结和作业 - 1

  05:14
• 
  87今日课程总结和作业 - 3

  05:12
• 
  88课程内容大纲和学习目标 - 1

  05:51
• 
  89课程内容大纲和学习目标 - 3

  05:58
• 
  90HDFS NAMENODE--安全模式--现象探究

  08:38
• 
  91HDFS NAMENODE--安全模式--概述与控制进入离开时间和条件 - 1

  06:28
• 
  92HDFS NAMENODE--安全模式--概述与控制进入离开时间和条件 - 3

  06:40
• 
  93HDFS高阶优化方案--短路本地读取--背景和两种设计实现方案

  08:29
• 
  94HDFS高阶优化方案--短路本地读取--配置和功能演示验证 - 1

  06:12
• 
  95HDFS高阶优化方案--短路本地读取--配置和功能演示验证 - 3

  06:20
• 
  96HDFS高阶优化方案--节点block负载平衡器--Balancer - 1

  08:06
• 
  97HDFS高阶优化方案--节点block负载平衡器--Balancer - 3

  08:04
• 
  98（hadoop3.0新功能）HDFS Disk balancer--介绍 - 1

  05:44
• 
  99（hadoop3.0新功能）HDFS Disk balancer--介绍 - 3

  05:54
• 
  100（hadoop3.0新功能）HDFS Disk balancer--工作原理 - 1

  06:55
• 
  101（hadoop3.0新功能）HDFS Disk balancer--工作原理 - 3

  07:06
• 
  102（hadoop3.0新功能）HDFS Disk balancer--操作使用

  06:16
• 
  103（hadoop3.0新功能）HDFS Erasure Coding--纠删码介绍和原理

  08:21
• 
  104（hadoop3.0新功能）HDFS Erasure Coding--纠删码架构调整

  06:57
• 
  105（hadoop3.0新功能）HDFS Erasure Coding--纠删码操作

  07:27
• 
  106HDFS动态节点管理--节点下线、动态缩容实操 - 1

  05:08
• 
  107HDFS动态节点管理--节点下线、动态缩容实操 - 3

  05:07
• 
  108HDFS动态节点管理--黑、白名单机制

  04:18
• 
  109HDFS HA--高可用系统设计核心问题--脑裂和主备数据同步

  06:20
• 
  110HDFS HA--NameNode单点故障问题

  04:44
• 
  111HDFS HA--QJM方案--整体架构和如何解决主备切换、脑裂问题 - 1

  08:31
• 
  112HDFS HA--QJM方案--整体架构和如何解决主备切换、脑裂问题 - 3

  08:31
• 
  113HDFS HA--QJM方案--如何解决数据同步问题

  03:16
• 
  114HDFS HA--QJM方案--集群搭建--配置文件详解 - 1

  08:27
• 
  115HDFS HA--QJM方案--集群搭建--配置文件详解 - 3

  08:27
• 
  116HDFS HA--QJM方案--集群搭建--初始化启动

  05:25
• 
  117HDFS HA--QJM方案--HA功能演示

  05:39
• 
  118HDFS--了解Federation联邦机制

  09:31
• 
  119HDFS集群滚动升级--非联邦HA集群滚动升级

  06:35
• 
  120HDFS集群滚动升级--联邦+HA集群滚动升级

  05:43
• 
  121HDFS集群滚动升级--非HA集群停机升级

  01:53
• 
  122HDFS集群滚降级和回滚操作 - 1

  06:59
• 
  123HDFS集群滚降级和回滚操作 - 3

  06:51
• 
  124HDFS架构剖析--重要特性（主从、分块、副本、namespace） - 1

  06:50
• 
  125HDFS架构剖析--重要特性（主从、分块、副本、namespace） - 3

  06:48
• 
  126HDFS Web Interfaces--各模块功能解读梳理 - 1

  05:43
• 
  127HDFS Web Interfaces--各模块功能解读梳理 - 3

  05:50
• 
  128HDFS读写流程--写数据流程核心概念--pipeline、ack、3副本策略 - 1

  07:29
• 
  129HDFS读写流程--写数据流程核心概念--pipeline、ack、3副本策略 - 3

  07:33
• 
  130HDFS读写流程--写数据流程--分步讲解 - 1

  06:00
• 
  131HDFS读写流程--写数据流程--分步讲解 - 3

  06:07
• 
  132HDFS读写流程--读数据流程--分步讲解 - 1

  05:28
• 
  133HDFS读写流程--读数据流程--分步讲解 - 3

  05:32
• 
  134HDFS读写流程--NN、DN角色职责高度概括 - 1

  05:41
• 
  135HDFS读写流程--NN、DN角色职责高度概括 - 3

  05:41
• 
  136HDFS--NAMENODE元数据管理--相关存储目录

  05:13
• 
  137HDFS--NAMENODE元数据管理--namespaceID、clusterID、blockpoolID概念

  09:45
• 
  138HDFS--NAMENODE元数据管理--相关的文件解读

  06:08
• 
  139HDFS--NAMENODE元数据管理--元数据文件查看（OIV、OEV）

  08:48
• 
  140HDFS--NAMENODE元数据管理--SecondaryNameNode--checkpoint机制

  07:03
• 
  141HDFS--NAMENODE元数据管理--元数据文件恢复方式

  06:59
• 
  142HDFS小文件解决方案--Hadoop Archive--文件归档介绍

  05:40
• 
  143HDFS小文件解决方案--Hadoop Archive--归档使用和注意事项 - 1

  07:10
• 
  144HDFS小文件解决方案--Hadoop Archive--归档使用和注意事项 - 3

  07:10
• 
  145Sequence File--序列化文件格式介绍

  07:25
• 
  146课程总结和今日作业 - 1

  06:34
• 
  147课程总结和今日作业 - 3

  06:41
• 
  148HDFS Trash垃圾桶--文件系统垃圾桶、回收站背景知识

  04:26
• 
  149HDFS Trash垃圾桶--操作使用

  06:09
• 
  150HDFS Snapshot快照--介绍和作用

  06:53
• 
  151HDFS Snapshot快照--操作命令与实操 - 1

  08:26
• 
  152HDFS Snapshot快照--操作命令与实操 - 3

  08:39
• 
  153HDFS权限管理--认证、授权、审计（AAA模型）与权限管理概述 - 1

  05:46
• 
  154HDFS权限管理--认证、授权、审计（AAA模型）与权限管理概述 - 3

  05:57
• 
  155HDFS权限管理--UGO权限管理与权限掩码（umask） - 1

  06:21
• 
  156HDFS权限管理--UGO权限管理与权限掩码（umask） - 3

  06:31
• 
  157HDFS权限管理--使用命令进行权限修改

  07:22
• 
  158HDFS权限管理--使用Web UI页面进行权限修改&粘滞位功能

  07:45
• 
  159HDFS权限管理--用户身份认证--Simple认证机制

  09:49
• 
  160HDFS权限管理--用户身份认证--了解Kerberos认证机制 - 1

  08:17
• 
  161HDFS权限管理--用户身份认证--了解Kerberos认证机制 - 3

  08:23
• 
  162HDFS权限管理--组映射服务（Group Mapping）

  08:10
• 
  163HDFS权限管理--ACL权限管理--产生背景和功能

  06:04
• 
  164HDFS权限管理--ACL权限管理--命令与实操 - 1

  07:41
• 
  165HDFS权限管理--ACL权限管理--命令与实操 - 3

  07:44
• 
  166HDFS Proxy User代理用户--概念与配置使用

  09:04
• 
  167HDFS透明加密--技术背景和常见的加密层级 - 1

  05:44
• 
  168HDFS透明加密--技术背景和常见的加密层级 - 3

  05:41
• 
  169HDFS透明加密--概述和角色、组件（EZ、DEK、EDEK） - 1

  10:10
• 
  170HDFS透明加密--概述和角色、组件（EZ、DEK、EDEK） - 3

  10:17
• 
  171HDFS透明加密--加密、解密流程梳理

  09:17
• 
  172HDFS透明加密--KMS服务配置与启动 - 1

  05:17
• 
  173HDFS透明加密--KMS服务配置与启动 - 3

  05:20
• 
  174HDFS透明加密--操作与使用

  06:50
• 
  175Hadoop源码编译--编译源码的原因和本地库概念

  09:00
• 
  176Hadoop源码编译--如何进行源码编译

  07:04
• 
  177Hadoop源码编译--Linux平台编译--编译环境软件、依赖安装

  07:56
• 
  178Hadoop源码编译--Linux平台编译--maven执行编译

  04:38
• 
  179Hadoop源码编译--了解如何在windows平台编译

  05:30
• 
  180HDFS核心源码解读--IDEA中Debug功能介绍与快捷键使用 - 1

  06:33
• 
  181HDFS核心源码解读--IDEA中Debug功能介绍与快捷键使用 - 3

  06:45
• 
  182HDFS核心源码解读--客户端核心类--Configuration

  09:05
• 
  183HDFS核心源码解读--客户端核心类--FileSystem - 1

  05:37
• 
  184HDFS核心源码解读--客户端核心类--FileSystem - 3

  05:49
• 
  185HDFS核心源码解读--RPC协议介绍与Hadoop RPC接口介绍 - 1

  06:40
• 
  186HDFS核心源码解读--RPC协议介绍与Hadoop RPC接口介绍 - 3

  06:52
• 
  187HDFS核心源码解读--Hadoop RPC接口之ClientDataNodeProtocol

  05:08
• 
  188HDFS核心源码解读--Hadoop RPC接口之DataNodeProtocol

  08:30
• 
  189HDFS核心源码解读--写数据流程源码分析（1）--客户端请求NameNode

  07:33
• 
  190HDFS核心源码解读--写数据流程源码分析（2）--NameNode执行请求操作检查

  04:51
• 
  191HDFS核心源码解读--写数据流程源码分析（3）--DataStreamer写数据 - 1

  06:51
• 
  192HDFS核心源码解读--写数据流程源码分析（3）--DataStreamer写数据 - 3

  07:01
• 
  193HDFS核心源码解读--读数据流程源码分析（1）--客户端请求NameNode - 1

  05:06
• 
  194HDFS核心源码解读--读数据流程源码分析（1）--客户端请求NameNode - 3

  05:19
• 
  195HDFS核心源码解读--读数据流程源码分析（2）--getBlockLocations

  04:50
• 
  196HDFS核心源码解读--读数据流程源码分析（3）--客户端读数据块

  06:15
• 
  197课程内容大纲和学习目标 - 1

  05:08
• 
  198课程内容大纲和学习目标 - 3

  05:04
• 
  199初识MapReduce--理解MapReduce思想：先分再合，分而治之

  09:11
• 
  200初识MapReduce--场景：如何模拟实现分布式计算 - 1

  08:14
• 
  201初识MapReduce--场景：如何模拟实现分布式计算 - 3

  08:14
• 
  202初识MapReduce--Hadoop团队MapReduce设计构思 - 1

  06:03
• 
  203初识MapReduce--Hadoop团队MapReduce设计构思 - 3

  06:12
• 
  204Hadoop MapReduce编程--架构体系与实例进程

  05:00
• 
  205Hadoop MapReduce编程--用户编程规范

  06:51
• 
  206Hadoop MapReduce编程--MR内部执行流程--基础版

  04:56
• 
  207Hadoop序列化机制和数据类型--Writable - 1

  06:50
• 
  208Hadoop序列化机制和数据类型--Writable - 3

  06:52
• 
  209MapReduce入门案例：WordCount--业务需求与编程思路

  05:24
• 
  210MapReduce入门案例：WordCount--开发环境搭建

  06:04
• 
  211MapReduce入门案例：WordCount--Mapper类实现--输入输出类型确定 - 1

  05:47
• 
  212MapReduce入门案例：WordCount--Mapper类实现--输入输出类型确定 - 3

  05:52
• 
  213MapReduce入门案例：WordCount--Mapper类实现--重写map方法实现业务 - 1

  06:01
• 
  214MapReduce入门案例：WordCount--Mapper类实现--重写map方法实现业务 - 3

  06:10
• 
  215MapReduce入门案例：WordCount--Reducer类实现--输入输出类型确定

  04:52
• 
  216MapReduce入门案例：WordCount--Reducer类实现--重写reduce方法实现业务 - 1

  05:05
• 
  217MapReduce入门案例：WordCount--Reducer类实现--重写reduce方法实现业务 - 3

  05:07
• 
  218MapReduce入门案例：WordCount--客户端驱动程序类 - 1

  07:22
• 
  219MapReduce入门案例：WordCount--客户端驱动程序类 - 3

  07:24
• 
  220MapReduce入门案例：WordCount--使用ToolRunner提交程序

  07:51
• 
  221MapReduce程序运行--运行模式与参数设置

  05:29
• 
  222MapReduce程序运行--YARN集群模式运行实操 - 1

  06:55
• 
  223MapReduce程序运行--YARN集群模式运行实操 - 3

  06:57
• 
  224MapReduce程序运行--Local本地模式运行实操

  08:11
• 
  225MapReduce程序运行--如何区分运行模式

  07:05
• 
  226MapReduce输入、输出梳理及注意事项 - 1

  05:50
• 
  227MapReduce输入、输出梳理及注意事项 - 3

  05:59
• 
  228MapReduce流程简单梳理--WordCount是怎样计算的

  09:06
• 
  229MapReduce流程简单梳理--Map阶段执行过程 - 1

  05:20
• 
  230MapReduce流程简单梳理--Map阶段执行过程 - 3

  05:17
• 
  231MapReduce流程简单梳理--Reduce阶段执行过程

  07:00
• 
  232MapReduce Partition--数据分区机制 - 1

  06:56
• 
  233MapReduce Partition--数据分区机制 - 3

  06:54
• 
  234MapReduce Combiner--规约组件介绍、使用与注意事项 - 1

  08:02
• 
  235MapReduce Combiner--规约组件介绍、使用与注意事项 - 3

  08:02
• 
  236MapReduce编程指南与技巧（把握住key） - 1

  05:46
• 
  237MapReduce编程指南与技巧（把握住key） - 3

  05:46
• 
  238MapReduce美国新冠疫情案例--疫情汇总统计--业务需求与实现思路

  08:06
• 
  239MapReduce美国新冠疫情案例--疫情汇总统计--自定义对象及序列化实现

  08:27
• 
  240MapReduce美国新冠疫情案例--疫情汇总统计--Mapper、Reducer代码实现

  08:53
• 
  241MapReduce美国新冠疫情案例--疫情汇总统计--驱动类编写与程序执行

  08:35
• 
  242MapReduce美国新冠疫情案例--疫情汇总倒序统计--需求与实现思路 - 1

  06:42
• 
  243MapReduce美国新冠疫情案例--疫情汇总倒序统计--需求与实现思路 - 3

  06:41
• 
  244MapReduce美国新冠疫情案例--疫情汇总倒序统计--重写对象排序规则

  04:55
• 
  245MapReduce美国新冠疫情案例--疫情汇总倒序统计--代码开发实现 - 1

  08:23
• 
  246MapReduce美国新冠疫情案例--疫情汇总倒序统计--代码开发实现 - 3

  08:22
• 
  247MapReduce美国新冠疫情案例--疫情按州分区统计--自定义分区器

  09:52
• 
  248MapReduce美国新冠疫情案例--疫情按州分区统计--代码开发与实现 - 1

  05:40
• 
  249MapReduce美国新冠疫情案例--疫情按州分区统计--代码开发与实现 - 3

  05:53
• 
  250MapReduce--探究分区个数和reducetask个数关系

  07:02
• 
  251MapReduce美国新冠疫情案例--各州Top1确诊县城--需求与实现思路 - 1

  05:36
• 
  252MapReduce美国新冠疫情案例--各州Top1确诊县城--需求与实现思路 - 3

  05:43
• 
  253HDFS读写流程--读数据流程--分步讲解 - 1

  05:28
• 
  254HDFS读写流程--读数据流程--分步讲解 - 3

  05:31
• 
  255MapReduce美国新冠疫情案例--各州Top1确诊县城--自定义分组规则 - 1

  06:00
• 
  256MapReduce美国新冠疫情案例--各州Top1确诊县城--自定义分组规则 - 3

  06:10
• 
  257MapReduce美国新冠疫情案例--各州Top1确诊县城--提交执行

  03:08
• 
  258MapReduce美国新冠疫情案例--(扩展)各州TopN确诊县城统计

  08:16
• 
  259MapReduce--reduce分组中key和values迭代器之间的关系（重点难点） - 1

  09:48
• 
  260MapReduce--reduce分组中key和values迭代器之间的关系（重点难点） - 3

  09:52
• 
  261MapReduce--并行度机制--maptask并行度机制（逻辑规划） - 1

  08:44
• 
  262MapReduce--并行度机制--maptask并行度机制（逻辑规划） - 3

  08:47
• 
  263MapReduce--工作机制详解--maptask工作机制详解 - 1

  10:09
• 
  264MapReduce--工作机制详解--maptask工作机制详解 - 3

  10:14
• 
  265MapReduce--工作机制详解--reducetask工作机制详解 - 1

  06:30
• 
  266MapReduce--工作机制详解--reducetask工作机制详解 - 3

  06:28
• 
  267MapReduce Counter--计数器概念和内置计数器介绍 - 1

  06:34
• 
  268MapReduce Counter--计数器概念和内置计数器介绍 - 3

  06:32
• 
  269MapReduce Counter--自定义计数器的使用 - 1

  05:03
• 
  270MapReduce Counter--自定义计数器的使用 - 3

  05:12
• 
  271MapReduce DB操作--读数据库操作--需求与DBInputFormat类

  06:20
• 
  272MapReduce DB操作--读数据库操作--自定义对象实现DBWritable - 1

  06:11
• 
  273MapReduce DB操作--读数据库操作--自定义对象实现DBWritable - 3

  06:14
• 
  274MapReduce DB操作--读数据库操作--代码开发实现 - 1

  11:51
• 
  275MapReduce DB操作--读数据库操作--代码开发实现 - 3

  11:57
• 
  276MapReduce DB操作--写数据库操作--需求与DBOutputFormat类

  05:10
• 
  277MapReduce DB操作--写数据库操作--代码开发实现 - 1

  11:20
• 
  278MapReduce DB操作--写数据库操作--代码开发实现 - 3

  11:28
• 
  279MapReduce Join关联操作--join背景知识

  04:02
• 
  280MapReduce Join关联操作--reduce side join--案例需求与实现思路

  07:23
• 
  281MapReduce Join关联操作--reduce side join--Mapper类代码实现 - 1

  08:24
• 
  282MapReduce Join关联操作--reduce side join--Mapper类代码实现 - 3

  08:36
• 
  283MapReduce Join关联操作--reduce side join--Reducer类与驱动程序代码实现 - 1

  08:10
• 
  284MapReduce Join关联操作--reduce side join--Reducer类与驱动程序代码实现 - 3

  08:20
• 
  285MapReduce Join关联操作--reduce side join--结果优化排序 - 1

  05:48
• 
  286MapReduce Join关联操作--reduce side join--结果优化排序 - 3

  05:52
• 
  287MapReduce DistributedCache--分布式缓存

  08:17
• 
  288MapReduce Join关联操作--map side join--实现原理和优势

  05:56
• 
  289MapReduce Join关联操作--map side join--案例需求与实现思路

  06:29
• 
  290MapReduce Join关联操作--map side join--如何读取分布式缓存文件

  09:28
• 
  291MapReduce Join关联操作--map side join--程序执行 - 1

  05:44
• 
  292MapReduce Join关联操作--map side join--程序执行 - 3

  05:44
• 
  293MapReduce 工作流--背景原理和需求

  05:22
• 
  294MapReduce 工作流--代码开发实现 - 1

  06:18
• 
  295MapReduce 工作流--代码开发实现 - 3

  06:23
• 
  296Debug环境准备--IDEA工程和源码工程如何关联

  09:53
• 
  297Debug环境准备--IDEA模式介绍与调试相关按键 - 1

  06:26
• 
  298Debug环境准备--IDEA模式介绍与调试相关按键 - 3

  06:29
• 
  299Debug环境准备--IDEA远程Debug的使用 - 1

  05:16
• 
  300Debug环境准备--IDEA远程Debug的使用 - 3

  05:26
• 
  301MapReduce Job提交源码追踪--Job类和开启实时状态追踪

  08:01
• 
  302MapReduce Job提交源码追踪--submit--(1)跟运行环境建立连接 - 1

  06:18
• 
  303MapReduce Job提交源码追踪--submit--(1)跟运行环境建立连接 - 3

  06:20
• 
  304MapReduce Job提交源码追踪--submit--(2)提交全流程剖析 - 1

  07:50
• 
  305MapReduce Job提交源码追踪--submit--(2)提交全流程剖析 - 3

  07:50
• 
  306Map阶段执行流程源码解析--MapTask类--功能区划分

  08:35
• 
  307Map阶段执行流程源码解析--MapTask类--Map阶段准备部分

  07:23
• 
  308Map阶段执行流程源码解析--MapTask类--Map阶段工作部分 - 1

  10:14
• 
  309Map阶段执行流程源码解析--MapTask类--Map阶段工作部分 - 3

  10:18
• 
  310Map阶段执行流程源码解析--(1)数据输入--InputFormat--LineRecordReader读数据

  09:38
• 
  311Map阶段执行流程源码解析--(2)数据处理--Mapper类map方法

  04:58
• 
  312Map阶段执行流程源码解析--(3)数据输出--OutputCollector不同实现

  04:26
• 
  313Map阶段执行流程源码解析--(3)数据输出--Partition分区计算

  07:09
• 
  314Map阶段执行流程源码解析--(3)数据输出--MapOutputBuffer--环形缓冲区介绍

  09:26
• 
  315Map阶段执行流程源码解析--(3)数据输出--环形缓冲区初始化和数据收集

  06:57
• 
  316Map阶段执行流程源码解析--(3)数据输出--merge

  05:05
• 
  317Map阶段执行流程源码解析--(3)数据输出--Combiner

  02:44
• 
  318Reduce阶段执行流程源码解析--ReduceTask类梳理解读 - 1

  10:43
• 
  319Reduce阶段执行流程源码解析--ReduceTask类梳理解读 - 3

  10:47
• 
  320Reduce阶段执行流程源码解析--shuffle过程--init、run - 1

  06:52
• 
  321Reduce阶段执行流程源码解析--shuffle过程--init、run - 3

  07:01
• 
  322Reduce阶段执行流程源码解析--shuffle过程--copy - 1

  06:27
• 
  323Reduce阶段执行流程源码解析--shuffle过程--copy - 3

  06:40
• 
  324Reduce阶段执行流程源码解析--shuffle过程--merge、sort - 1

  05:38
• 
  325Reduce阶段执行流程源码解析--shuffle过程--merge、sort - 3

  05:48
• 
  326Reduce阶段执行流程源码解析--reduce数据处理过程 - 1

  05:44
• 
  327Reduce阶段执行流程源码解析--reduce数据处理过程 - 3

  05:41
• 
  328Reduce阶段执行流程源码解析--OutputFormat输出数据

  02:36
• 
  329MapReduce美国新冠疫情案例--各州Top1确诊县城--重写排序规则 - 1

  05:15
• 
  330MapReduce美国新冠疫情案例--各州Top1确诊县城--重写排序规则 - 3

  05:17
• 
  331课程内容大纲和学习目标

  07:18
• 
  332MapReduce应用场景及优缺点 - 1

  10:01
• 
  333MapReduce应用场景及优缺点 - 3

  09:59
• 
  334MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr生成Seq文件需求

  02:35
• 
  335MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr生成Seq文件代码

  05:31
• 
  336MapReduce应用场景及优缺点 - 1

  09:57
• 
  337MapReduce应用场景及优缺点 - 3

  09:56
• 
  338MapReduce属性优化--shuffle优化--减少spill和merge次数

  03:32
• 
  339MapReduce IO性能优化--文件存储格式--SequenceFile--使用mr读取Seq文件代码

  06:00
• 
  340MapReduce IO性能优化--文件存储格式--MapFile--介绍

  04:15
• 
  341MapReduce IO性能优化--文件存储格式--MapFile--使用mr生成MapFile

  04:58
• 
  342MapReduce IO性能优化--文件存储格式--MapFile--使用mr读取MapFile

  05:53
• 
  343MapReduce IO性能优化--文件存储格式--ORC File--介绍

  05:36
• 
  344MapReduce IO性能优化--文件存储格式--ORC File--使用mr生成ORC File

  09:33
• 
  345MapReduce IO性能优化--文件存储格式--ORC File--使用mr读取ORC File

  05:34
• 
  346MapReduce数据压缩优化--压缩概念和压缩的设置 - 1

  06:33
• 
  347MapReduce数据压缩优化--压缩概念和压缩的设置 - 3

  06:39
• 
  348MapReduce数据压缩优化--Gzip压缩--使用mr生成Gzip压缩

  08:43
• 
  349MapReduce数据压缩优化--Gzip压缩--使用mr解压Gzip压缩文件

  04:04
• 
  350MapReduce数据压缩优化--Snappy压缩--使用mr生成Snappy压缩文件

  07:13
• 
  351MapReduce数据压缩优化--Snappy压缩--shuffle过程使用snappy压缩

  05:22
• 
  352MapReduce数据压缩优化--Snappy压缩--使用mr解压snappy压缩文件

  04:35
• 
  353MapReduce数据压缩优化--Lzo压缩--介绍与安装配置

  05:37
• 
  354MapReduce数据压缩优化--Lzo压缩--使用mr生成lzo压缩文件

  04:26
• 
  355MapReduce数据压缩优化--Lzo压缩--使用mr解压lzo压缩文件

  03:38
• 
  356MapReduce属性优化--mr的基准测试

  07:43
• 
  357MapReduce属性优化--Uber模式使用

  07:40
• 
  358MapReduce属性优化--JVM重用机制

  02:06
• 
  359MapReduce属性优化--推测执行机制

  03:36
• 
  360MapReduce属性优化--小文件合并优化--CombineTextInputFormat

  08:25
• 
  361Reduce阶段执行流程源码解析--shuffle机制

  09:11
• 
  362MapReduce属性优化--shuffle优化--减少spill和merge次数

  03:45
• 
  363课程内容大纲和学习目标

  04:23
• 
  364Hadoop YARN概述--起源和发展简史--对yarn的需求

  06:29
• 
  365Hadoop YARN--简介

  05:59
• 
  366Hadoop YARN--集群安装部署--角色部署规划

  05:52
• 
  367Hadoop YARN--集群安装部署--基础环境准备

  05:24
• 
  368Hadoop YARN--集群安装部署--配置文件修改详解 - 1

  06:27
• 
  369Hadoop YARN--集群安装部署--配置文件修改详解 - 3

  06:30
• 
  370Hadoop YARN--集群安装部署--集群启动

  06:36
• 
  371Hadoop YARN--集群安装部署--yarn集群初体验

  04:58
• 
  372Hadoop YARN--RM重启机制、状态恢复 - 1

  07:14
• 
  373Hadoop YARN--RM重启机制、状态恢复 - 3

  07:16
• 
  374Hadoop YARN--HA集群--概念及架构实现原理 - 1

  06:10
• 
  375Hadoop YARN--HA集群--概念及架构实现原理 - 3

  06:13
• 
  376Hadoop YARN--HA集群--配置启动

  09:41
• 
  377Hadoop YARN--HA集群--HA模式体验及故障转移测试

  04:59
• 
  378Hadoop YARN--架构体系

  06:25
• 
  379Hadoop YARN--架构体系--3大组件功能职责及容器Container作用 - 1

  05:30
• 
  380Hadoop YARN--架构体系--3大组件功能职责及容器Container作用 - 3

  05:35
• 
  381Hadoop YARN--架构体系--通信协议

  03:42
• 
  382Hadoop YARN--架构体系--程序提交执行交互流程

  08:33
• 
  383课程内容大纲和学习目标

  04:40
• 
  384YARN WebUI服务--WebUI v1使用及页面功能讲解

  09:49
• 
  385YARN WebUI服务--JobHistory Server介绍与配置使用 - 1

  06:48
• 
  386YARN WebUI服务--JobHistory Server介绍与配置使用 - 3

  06:45
• 
  387YARN WebUI服务--Timeline Server介绍与配置使用

  08:12
• 
  388YARN操作维护命令--User用户命令讲解 - 1

  07:31
• 
  389YARN操作维护命令--User用户命令讲解 - 3

  07:30
• 
  390YARN操作维护命令--Admin管理命令讲解

  08:14
• 
  391YARN资源管理与隔离 - 1

  06:03
• 
  392YARN资源管理与隔离 - 3

  06:05
• 
  393YARN资源调度器Scheduler--概述 - 1

  05:20
• 
  394YARN资源调度器Scheduler--概述 - 3

  05:26
• 
  395YARN资源调度器Scheduler--FIFO Scheduler先进先出

  04:25
• 
  396YARN资源调度器Scheduler--Capacity Scheduler容量--概念及核心配置参数 - 1

  06:47
• 
  397YARN资源调度器Scheduler--Capacity Scheduler容量--概念及核心配置参数 - 3

  06:55
• 
  398YARN资源调度器Scheduler--Capacity Scheduler容量--动态加载更新配置

  03:09
• 
  399YARN资源调度器Scheduler--案例：Capacity调度配置--需求和配置参数分析

  05:48
• 
  400YARN资源调度器Scheduler--案例：Capacity调度配置--功能实现

  06:18
• 
  401YARN资源调度器Scheduler--Fair Scheduler公平--概念及和配置参数 - 1

  07:37
• 
  402YARN资源调度器Scheduler--Fair Scheduler公平--概念及和配置参数 - 3

  07:35
• 
  403YARN资源调度器Scheduler--案例--Fari公平调度实现多租户资源隔离 - 1

  10:57
• 
  404YARN资源调度器Scheduler--案例--Fari公平调度实现多租户资源隔离 - 3

  11:00
• 
  405YARN资源调度器Scheduler--恢复默认设置

  04:26
• 
  406YARN核心参数梳理 - 1

  05:04
• 
  407YARN核心参数梳理 - 3

  05:12
• 
  408YARN Resource资源配置

  05:46
• 
  409YARN应用开发--概述 - 1

  05:53
• 
  410YARN应用开发--概述 - 3

  05:58
• 
  411YARN应用开发--客户端Client开发

  05:59
• 
  412YARN应用开发--ApplicationMaster开发 - 1

  06:37
• 
  413YARN应用开发--ApplicationMaster开发 - 3

  06:46
• 
  414YARN应用开发--编程开发库应用 - 1

  05:49
• 
  415YARN应用开发--编程开发库应用 - 3

  05:54
• 
  416YARN源码剖析--MapReduce程序提交YARN流程--整体概述

  09:52
• 
  417YARN源码剖析--MapReduce程序提交YARN流程--源码阅读环境

  04:15
• 
  418YARN源码剖析--MapReduce程序提交YARN流程--客户端提交程序到RM - 1

  09:07
• 
  419YARN源码剖析--MapReduce程序提交YARN流程--客户端提交程序到RM - 3

  09:04
• 
  420YARN源码剖析--MapReduce程序提交YARN流程--YARN启动AM

  07:07
• 
  421YARN源码剖析--MapReduce程序提交YARN流程--调度执行应用进程

  08:07