分布式文件操作和存储、分布式数据库、批处理计算模型、并行计算引擎、流计算模型

【培训对象】
1、对大数据、分布式存储、分布式计算等感兴趣的朋友； 2、Java、PHP、C等任意一门编程语言的开发者； 3、大型网站、电商网站等运维人员； 4、云计算、大数据从业者； 5、熟悉Hadoop生态体系，想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友； 6、系统架构师、系统分析师、高级程序员、资深开发人员； 7、牵涉到大数据处理的数据中心运行、规划、设计负责人； 8、政府机关，金融保险、移动互联网等大数据单位的负责人； 9、高校、科研院所大数据研究人员，涉及到大数据与分布式数据处理的人员； 10、数据仓库管理人员、建模人员，分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员；

【培训收益】

时间 内容 备注
第一天
第1个主题：分布式基础理论知识（深入剖析分布式原理与理论，并为分布式学习奠定基础）（60分钟）
1、大数据技术
2、分布式技术
3、CAP理
4、BASE思想
5、消息机制
6、分布式协调器
7、心跳机制
8、日志结构文件系统
9、RWN理论
10、跨操作系统调度资源

第2个主题：Hadoop大数据分布式平台概述（系统性介绍Hadoop大数据分布式平台）（30分钟）
1、Hadoop是大数据架构的事实标准
2、Hadoop工作原理及架构
3、Hadoop生态体系介绍
4、Hadoop应用现状
5、Hadoop发展趋势
6、Hadoop优势
7、实例分享：双十一亿背后的开源技术

第3个主题：Hadoop分布式集群部署与运维（动手搭建Hadoop集群及运维）（30分钟）
1、SaltStack
2、Maven
3、禁用IPV6
4、SSH无密码登录
5、Hadoop HA部署介绍
6、Hadoop集群部署
7、Hadoop集群的监控
8、Hadoop集群的运维

第4个主题：分布式文件操作和存储（深入理解大数据分布式文件系统的原理与机制）（120分钟）
1、HDFS架构剖析
2、NameNode、DataNode、SecondaryNameNode介绍
3、NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、CLI操作HDFS
7、Java操作HDFS
8、RESTful操作HDFS
9、动态修改Hadoop的Replication数目
10、Hadoop序列化
11、Hadoop流压缩
12、Hadoop RPC
13、SequenceFile与MapFile
14、Hadoop Avro

第5个主题：分布式资源调度框架剖析（深入剖析和使用分布式资源调度框架的能力）（30分钟）
1、YARN介绍
2、YARN的设计思想
3、YARN的核心组件
4、YARN为核心的生态系统
5、Yarn的 HA机制
6、YARN应用程序编写
7、ResourceManager深入剖析
8、ClientRMService与AdminService
9、NodeManager深入剖析
10、Container

第6个主题：分布式批处理计算模型MapReduce（深入剖析MapReduce原理及开发MapReduce程序能力思维方法论）（120分钟）
1、MapReduce算法剖析
2、MapReduce编程思想
3、MapReduce常用算法
4、MapReduce命令操作
5、wordcount运行过程解析
6、MapReduce如何将HDFS文件转化为Key-Value供Map解析与处理
7、Hadoop的调度器介绍
8、Combiner的使用原则
9、Partitioner的使用最佳实践
10、MapReduce排序算法剖析
11、自定义排序算法
12、Hadoop内置的分组算法
13、自定义分组算法
14、MapReduce常见场景和算法实现
15、MapReduce新旧API的区别以及如何使用API
16、MapReduce程序打包并在命令行运行
17、Hadoop Streaming
18、动态增加Hadoop的Slave节点
19、学员动手编写MapReduce程序

第7个主题：分布式内存数据库（介绍当前主流的分布式内存数据库，深入剖析分布式内存库系统的原理与机制）（30分钟）
1、业界主要应用的分布式内存库有哪些
2、分布式内存库的应用情况
a)大数据非结构化数据的应用场景（TFS）
b)大数据历史明细查询的应用场景
c)秒杀高并发的应用场景
d)实时高并发业务的应用场景
e)在线实时统计分析的应用场景
3、应用的具体案例
a)分布式内存库在运营商话单详单查询系统中的应用
b)分布式内存库在金融行业流水业务查询系统中的应用
c)分布式内存库在微博自媒体业务中应用
4、分布式内存库的特性
5、CAP理论
6、BASE思想
7、RWN理论
8、分布式关系型内存库
a)MySQL Cluster
9、分布式NoSQL列式内存库
a)HBase
b)Cassandra
c)GemFire
10、分布式文档内存库
a)MongoDB
11、案例：GemFire在实时交易系统12306的使用案例分享

第8个主题：分布式协调器（深入剖析分布式协调器技术原理和实现技术）（30分钟）
1、Zookeeper介绍
2、Paxos算法
3、Paxos 算法应用场景
4、Zookeeper的数据模型
5、Zookeeper的节点
6、Zookeeper的角色
7、Zookeeper工作原理
8、Leader选举
9、部署ZooKeeper
10、Shell操作Zookeeper
11、Java程序操作Zookeeper
12、Zookeeper典型使用场景

时间 内容 备注

 

 

 

 

 

 

第二天
第9个主题：分布式数据库NoSQL技术（深入剖析分布式NoSQL技术及原理并实操）（30分钟）
1、分布式数据库概述
2、HBase介绍
3、HBase的特点
4、HBase逻辑模型
5、HBase列族与列
6、HBase时间戳
7、行式数据库 vs 列式数据库
8、HBase物理模型
9、数据存储结构:LSM
10、HBase的REST接口
11、HBase安装部署
12、HBase Shell
13、倒排索引
14、开发实践分享：微博
15、HBase应用
16、HBase Filter
17、HBase Coprocessor

第10个主题：分布式NoSQL数据库编程思维训练（老师带领学员用HBase在课上亲自动手完成微博项目的开发过程，使学员掌握分布式NoSQL编程思维方法）（90分钟）
1、HBase开发环境搭建过程介绍
2、倒排索引
3、案例实战：微博项目
4、微博业务概述
5、微博业务功能说明
6、微博逻辑架构设计
7、微博开发使用的组件
8、HBase表结构设计
9、基于HBase的微博表结构设计
10、基于HBase的微博项目代码开发
11、基于HBase的微博项目的总结
12、HBase API剖析
13、HBase研发案例分享
14、HBase应用
15、基于HTable的MapReduce分析
16、HBase Filter
17、HBase Filters
18、SingleColumnValueFilter示例

第11个主题：分布式内存数据库库Redis（深入剖析Redis的技术原理）（60分钟）
1、Redis数据库原理
2、Redis数据库应用
3、Redis开发实践（倒排索引）
4、Redis开发调试
5、Redis优化
6、Redis发布订阅机制剖析
7、Redis集群搭建
8、Codis介绍
9、Codis整体设计
10、Codis架构
11、Codis组件介绍

第12个主题：分布式文档内存库MongoDB（深入剖析分布式内存库MongoDB文档数据库功能与项目应用案例）（60分钟）
1、什么是MongoDB
2、MongoDB发展现状与趋势
3、介绍MongoDB基础概念
4、MongoDB架构剖析
5、MongoDB文档与集合
6、MongoDB集群搭建
7、MongoDB状态监控
8、MongoDB安全认证
9、MongoDB备份和恢复
10、MongoDB Shell操作
11、MongoDB数据类型
12、文档的增加、修改与删除
13、Java访问MongoDB文档的调试
14、MongoDB查询介绍
15、MongoDB MapReduce统计分析
16、MongoDB索引
17、MongoDB性能优化
18、MongoDB主从复制
19、MongoDB Sharding分片
20、MongoDB项目案例：运营商话务数据分析案例剖析

第13个主题：关系型分布式内存库MySQL Cluster（深入剖析关系型分布式内存库MySQL Cluster数据库功能与实现原理）（60分钟）
1、什么是MySQL Cluster
2、MySQL Cluster发展现状与趋势
3、介绍MySQL Cluster基础概念
4、MySQL Cluster架构剖析
5、NDB Cluster存储引擎
6、无共享体系结构
7、管理(MGM)节点
8、数据节点
9、SQL节点
10、标准MySQL客户端
11、MySQL Cluster应用场景
12、案例分享：MySQL Cluster在电商平台中的应用

第14个主题：分布式并行计算引擎（深入剖析分布式并行计算引擎实现原理）（60分钟）
1、分布式并行计算引擎概述
2、分布式并行计算引擎原理
3、Spark介绍
4、Spark架构剖析
5、Spark RDD计算模型解析
6、Spark开发分析
7、Spark的执行机制解析
8、Spark的调试与任务分配
9、Spark与MapReduce对比分析
10、Spark的容错机制剖析
11、Spark集群部署
12、Spark Shell
13、构建与运行Spark应用
14、Spark RDD操作剖析
15、Shark基于Spark的综合应用
16、Spark作业测试解析
17、Spark的性能调优
18、Spark生态体系剖析
19、Spark应用现状
20、Spark应用优势
21、Spark应用案例
22、Spark案例解析

第15个主题：分布式流计算模型（深入剖析分布式流计算模型的实现原理及开发实战）（120分钟）
1、Spark Streaming概述
2、Spark Streaming原理剖析
3、Spark Streaming流数据处理框架介绍
4、Spark Streaming编程剖析
5、初始化StreamingContext
6、Discretized Streams (DStreams)
7、输入DStreams与Receivers
8、基于DStreams的Transformations
9、基于DStreams的输出操作
10、Accumulators和Broadcast Variables
11、DataFrame和SQL操作
12、MLlib操作
13、Caching与Persistence
14、Checkpointing
15、运行Spark Streaming程序
16、性能调优：减少批处理时间
17、性能调优：设置正确的批处理间隔时间
18、内存调优
19、容错元语
20、实战案例：Spark Streaming与Kafka整合实现数据实时数据分析处理设计与分析

时间 内容 备注

 

 

 

 

第三天

 

 

 

 

第16个主题：分布式流计算模型（深入剖析分布式流计算模型的实现原理）（30分钟）
1、Storm基础知识
2、Storm集群安装
3、Storm打包运行测试
4、Storm基本api介绍
5、Storm Topology的并发度
6、Storm消息机制原理讲解
7、Storm DRPC实战讲解
8、Storm Transaction原理
9、Strom Trident编程
10、Storm案例实战

第17个主题：Storm架构原理剖析与开发实战（深入剖析Storm架构原理与实现技术）（60分钟）
1、Storm基本概念
2、Storm逻辑架构
3、Storm Topology的并发度
4、进程拓扑关系
5、Storm序列化
6、Storm Topology并发度配置
7、Storm核心API介绍
8、Storm核心API编程
9、Storm的Ack框架
10、Storm消息机制原理讲解
11、Spout的Tail特性
12、Stream Groupings策略
13、实例讲解Grouping策略及并发
14、Storm在高压力场景下高可靠性实现
15、Storm记录级容错的基本原理
16、Storm DRPC整体工作流程
17、DRPC实现框架
18、Storm DRPC实战讲解
19、Storm Windowing原理与实现
20、滑动Windowing
21、滚动Windowing
22、Join Streams
23、Storm RESTful API
24、Storm多语言支持
25、Storm Transaction原理
26、Transactional Topology框架功能
27、Storm事务API及案例分析
28、Storm事务案例实战

第18个主题：Strom Trident剖析与开发实战（深入剖析Storm Trident实现原理及开发方法）（60分钟）
1、Strom Trident介绍
2、Trident API介绍
3、Strom Trident消息
4、Strom TridentTopology的构建器
5、Strom Trident的SpoutNode
6、Trident Spout类型
7、Strom Trident的容错Spout
8、Strom Trident操作与处理节点
9、Strom Trident中的Bolt
10、Strom Trident的存储
11、Strom Trident流的基本操作
12、Strom Trident中流的交互操作
13、Strom Trident的执行优化
14、Strom Trident与DRPC
15、Strom Trident编程实战

第19个主题：分布式并行计算引擎Impala（分布式计算引擎Impala的工作原理）（120分钟）
1、分布式并行计算引擎概述
2、Impala介绍
3、Impala是什么
4、Impala与Hive、Pig有何不同
5、Impala与关系数据库有何不同
6、Impala的限制和未来发展方向
7、运用 Impala Shell
8、Impala分布式集群部署
9、Impala分布式架构原理
10、Impala数据模型
11、Impala作业基本运行原理
12、Impala使用注意事项
13、Impala DDL、DML、SQL、函数
14、Impala作业资源占用
15、案例：银行在线支付统计的案例
16、Impala调优可概述
17、Impala参数调优
18、Impala SQL调优
19、Impala分区调优
20、其他常用调优方法
21、数据倾斜处理方法
22、Impala与Shark、Hive、Pig区别剖析
23、案例：Impala调优案例

第20个主题：如何研发分布式系统？（本主题强调一个好的分布式系统离不开真实的业务需求）（60分钟）
1、深入分析企业业务数据特点
2、TFS思想的应用
3、事务剖析
4、分布式事务剖析
5、分布式系统的职责分离思想
6、大数据+简单算法
7、精准小数据+复杂算法

第21个主题：分布式系统架构设计（介绍分布式系统架构设计需要遵循原则与设计技巧）（60分钟）
1、CAP理论
2、BASE思想
3、日志结构文件系统
4、RWN理论
5、分布式系统迁移策略
a)数据迁移
b)计算迁移
6、冷热分离原则
7、算法优化策略
a)读取+计算+显示
b)读取+显示
8、数据序列化
9、RESTful架构剖析 

尹老师
多年从事人工智能、深度学习、大数据、区块链、云计算、物联网研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，主要研究方向包括人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、云计算、移动开发、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、云计算、PaaS平台研发工作。
IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、物联网、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个人工智能、深度学习、机器学习、数据挖掘、数据分析、区块链、物联网、私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：呼叫中心人工智能客服研发项目、贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。
尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技术平台的应用与运维。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。

图1. 大数据行业公认的Cloudera认证

图2. 含金量较高的PMP认证

讲师经验
1、阿里巴巴集团云计算、大数据、区块链、物联网咨询师
2、百度云计算、大数据、区块链、物联网咨询师及讲师
3、中国移动多省人工智能、大数据、区块链、物联网、云计算特聘讲师
4、中国移动多省Docker特聘讲师
5、中国移动研究院微特聘讲师
6、中国联通总部人工智能、大数据、区块链、物联网、云计算特聘讲师
7、中国电信人工智能、大数据、区块链、物联网、云计算、虚拟化特约讲师
8、中国人民银行人工智能、大数据、区块链、物联网特聘讲师
9、中国工商银行人工智能、大数据、区块链、物联网讲师
10、花旗银行人工智能、大数据、区块链、物联网讲师
11、招商银行人工智能、大数据调优、区块链、物联网讲师
12、中信银行人工智能、分布式数据库、区块链、物联网讲师
13、中国航天三院人工智能、大数据、区块链、物联网咨询师
14、中国石油人工智能、大数据、区块链、物联网、云计算特聘讲师
15、中国石化人工智能、大数据、云计算特聘讲师
16、中国电力科学研究院流计算特聘讲师
17、西安电信十所人工智能、大数据架构设计、区块链、物联网讲师
18、RedHat（中国）大数据咨询师
19、中电28所人工智能、大数据、区块链、物联网特聘讲师
20、北京中电普华人工智能、大数据、区块链、物联网特聘讲师
21、中国石油东方地球物理公司大数据咨询师
22、当当网人工智能、云计算、大数据咨询师
23、北航人工智能、云计算、大数据、区块链、物联网特聘企业讲师
24、阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师
25、中石油工程设计西南分公司云计算数据中心建设项目
26、广东发展信用卡精准营销项目
27、广东发展银行电营、运维大数据分析项目
28、电商库存预测大数据分析项目
29、中航国际大综贸易云计算规划项目咨询、培训讲师
30、北京民生软件SaaS平台研发咨询师
31、北京立达资本项目管理信息系统解决方案咨询师
32、曾任大型ERP、电子商务、CRM、电子政务等项目经理

项目经验
1、云呼叫中心人工智能客服项目研发
2、云呼叫中心PaaS平台首席架构师
3、贵州省政府云呼叫中心建设项目
4、广东发展信用卡智能精准营销项目
5、广东发展银行电营、运维大数据分析、区块链、物联网项目
6、中石油工程设计西南分公司云计算项目评审委员、培训讲师
7、中石油人工智能、大数据挖掘、区块链、物联网项目，项目经理
8、电商库存预测大数据分析项目
9、智能物流、智能供应链管理项目
10、中航国际大综贸易云计算规划项目咨询、培训讲师
11、北京民生软件SaaS平台研发咨询师
12、北京立达资本项目管理信息系统解决方案咨询师
13、曾任大型ERP、电子商务、CRM、电子政务等多个项目的项目经理