Hadoop大数据解决方案平台技术培训

【培训对象】
网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。

【培训收益】

第一部分：Hadoop的基本框架
1、大数据时代面临的问题
2、当前解决大数据的技术方案
3、Hadoop架构和云计算
4、Hadoop简史及安装部署
5、Hadoop设计理念和生态系统

第二部分：HDFS分布式文件系统--海量数据存储的摇篮
1、HDFS的设计目标
2、HDFS的基本架构
NameNode名称节点
SecondaryNameNode第二名称节点
DataNode数据节点
3、HDFS的存储模型
数据块存储
元数据存储（空间镜像与编辑日志）
多副本存储
4、多副本放置策略
5、多数据节点管理机制与交互过程
6、文件系统操作与管理
读文件过程
写文件过程（数据流管道）
7、数据完整性机制
数据校验和
数据完整性扫描线程
元数据备份与合并
8、数据可靠性设计
安全模式（数据块与节点映射关系管理）
心跳检测机制（节点失效管理）
租约机制（多线程并发控制）
9、其它
HDFS的安全机制
负载均衡
文件压缩
10、操作接口与编程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演练：HDFS文件操作命令
演练：HDFS编程示例

第三部分：MapReduce分布式计算系统--海量数据处理的利器
1、MapReduce的三层设计理念
分布治之的设计思想（Map与Reduce）
数据处理引擎（编程模型）
运行时环境（任务调度与执行）
2、MapReduce的基本架构
JobTracker作业跟踪器
TaskTracker任务跟踪器
MapReduce与HDFS的部署关系
3、MapReduce编程模型概述
编程接口介绍
Hadoop工作流实现原理
4、MapReduce作业调度机制
MapReduce作业生命周期
作业调度策略
静态资源管理方案
5、数据并行处理机制（五步骤）
Input阶段实现
Map阶段实现
Shuffle阶段实现
Reduce阶段实现
Output阶段
6、MapReduce容错机制
任务失败与重新尝试
节点失效与重调度
单点故障
7、MapReduce性能优化
优化方向与思路
磁盘IO性能优化
分片优化
线程数量优化
内存优化
压缩优化
8、MapReduce操作接口
Job Shell
Web UI
案例演练：MapReduce编程示例
9、YARN：下一代通用资源管理系统
MRv1的局限性
YARN基本框架
NN HA：解决单点故障
HDFS Federation：解决扩展性问题

第四部分：HBase非关系型数据库--海量数据的黎明
1、HBase的使用场景
2、HBase的基本架构
Zookeeper分布式协调服务器
Master主控服务器
Region Server区域服务器
3、HBase的数据模型
HBase的表结构
行键、列键、时间戳
4、HBase的存储模型
基本单位Region
存储格式HFile
5、数据分裂机制Split
6、数据合并机制Compaction
minor compaction
major compaction
7、HLog写前日志
8、数据库读写操作
数据库写入
数据库读取
三次寻址
9、HBase操作接口
Native Java API
HBase Shell
批量加载工具
HiveQL操作
10、HBase性能优化
写速度优化
读速度优化
11、HBase集群监控与管理
案例演练：HBase命令操作实例

第五部分：Hive分布式数据仓库--高级的编程语言
1、Hive是什么
2、Hive与关系数据库的区别
3、Hive系统架构
用户接口层
元数据存储层
驱动层
4、Hive常用服务
5、Hive元数据的三种部署模式
6、Hive的命名空间
7、Hive数据类型与存储格式
数据类型
TextFile/SequenceFile/RCFile
8、Hive的数据模型
管理表
外部表
分区表
桶表
9、HQL语言命令实例
DDL数据定义语言
DML数据操作语言
QUERY数据查询语言
10、Hive自定义函数
基本函数（UDF）
聚合函数（UDAF）
表生成函数（UDTF）
11、Hive性能优化
动态分区
压缩
索引
JVM重用
案例演练：Hive命令操作实例

第六部分：Sqoop数据交互工具--与传统数据库的桥梁
1、Sqoop是什么
2、Sqoop的架构和功能
Sqoop1架构
Sqoop2架构
3、数据双向交换
数据导入过程
数据导出过程
4、数据导入工具与命令介绍
案例演练：Sqoop数据导入/导出实际操作

第七部分：Pig数据流处理引擎--数据脚本语言
1、Pig介绍
2、命令行交互工具Grunt
3、Pig数据类型
4、Pig Latin脚本语言介绍
基础知识
输入和输出
关系操作
调用静态Java函数
5、Pig Latin高级应用
6、开发与测试Pig Latin脚本
开发工具
任务状态监控
调试技巧
7、脚本性能优化
8、用户自定义函数UDF
案例演练：Pig Latin脚本编写、测试与运行操作

结束：课程总结与问题答疑。 

• 宽带接入与智慧家庭技术培训

   

  时间 内容 ..

  ￥   元/ 天

  人气：1043  

  

• 面向全业务的宽带传输技术培训

   

  一、通信产业发展背景和趋势1.全球互联网流量现状和趋势2.全球无线接入流量变化趋势3.全球消费者网络视频变化趋势4.中国网民规模和结构二、四川移动全业务布局和实现1.电信运营商全业务格局2.全业务运营的概念和特点3.中国移动全业务运营现状4.全业务竞争下客户的典型需求5.中国移动全业务布局6.全业务基础通信..

  ￥   元/ 天

  人气：648  

  

• 面向全业务的传送网络技术培训

   

  一、通信产业发展背景和趋势1.全球互联网流量现状和趋势2.全球无线接入流量变化趋势3.全球消费者网络视频变化趋势4.中国网民规模和结构二、中国移动全业务布局和实现1.电信运营商全业务格局2.全业务运营的概念和特点3.中国移动全业务运营现状4.全业务竞争下客户的典型需求5.中国移动全业务布局6.全业务基础通信..

  ￥   元/ 天

  人气：755  

  

• 本地网PON技术培训

   

  一、达州移动网络架构和技术选择1.达州移动网络架构2.达州移动业务类型3.达州移动本地网技术选择4.不同业务的技术实现二、PON关键技术1.接入网技术概述2.PON的概念及技术分类3.光进铜退的概念4.PON网络工作原理和网络质量5.OLT设备和工作原理6.ONU设备和工作原理三、影响接入网网络质量..

  ￥   元/ 天

  人气：814  

  

• 全业务综合故障解决方案培训、装维技术培训

   

  时间 内容 收益 ..

  ￥   元/ 天

  人气：741  

  

• 物联网智能技术培训

   

  Topics/题目 Contents/内容 时长/Time ..

  ￥   元/ 天

  人气：952