数据分析与数据挖掘方法论与工具

【培训对象】
1、即将投身于大数据、数据分析、数据挖掘领域的企业或者个人； 2、本课程适合于想通过数据化决策制定企业战略的决策者； 3、适合于经常需要汇报工作的管理者； 4、对数据可视化分析、数据可视化展现等感兴趣的人士； 5、对数据分析、数据挖掘算法等感兴趣的人士； 6、大型集团公司、大型网站、电商网站等数据挖掘、数据分析人员； 7、云计算、大数据从业者； 8、系统架构师、系统分析师、高级程序员、资深开发人员； 9、牵涉到大数据的数据中心运维、规划、设计负责人； 10、政府机关，金融保险、移动互联网、能源行业等大数据相关人员； 11、高校、科研院所统计分析研究员，涉及到数据处理的人员；

【培训收益】

时间 内容
第一天
第1个主题：数据分析与数据挖掘概述（深入剖析数据数据分析与数据挖掘的过程与方法，介绍数据建模中的机器学习与数据挖掘）（60分钟）
1、数据分析与建模的概念
2、数据分析与建模过程
3、数据分析模型开发过程
4、数据建模概述
5、机器学习概念
6、机器学习算法剖析
7、算法库分类
8、算法库
9、深度学习
10、神经网络
11、人工智能
12、商业智能

第2个主题：数据挖掘和应用（介绍数据挖掘和应用）（60分钟）
1、数据挖掘的基本任务
2、数据挖掘建模过程
a)定义挖掘目标
b)数据取样
c)数据探索
d)数据预处理
e)挖掘建模
f)建立模型
g)业务理解
h)模型拟合
i)训练集
j)测试集
k)模型评价
3、常用的数学预测模型
a)线性回归
b)回归（预测）与分类
c)决策树与随机森林
d)聚类分析（kmeans）
e)关联规则
f)时序模式
g)离群点检测
h)深度学习
i)人工智能
j)神经网络
4、案例：如何从数据中挖掘出有价值的信息

第3个主题：数据预处理（剖析数据预处理技术）（60分钟）
1、数据分析挖掘的过程
2、建立数据库的方法
3、企业对数据分析挖掘的错误认识
4、有效运用数据为客户提供针对性、主动化服务（精准营销）
5、数据源
6、数据采集
7、随机抽样
8、数据去重
9、数据缺失值处理
10、检验数据逻辑错误
11、离群点检测
12、数据转换
13、数据分组
14、课堂实操：数据预处理案例讲解

第4个主题：数据的描述性分析（深入剖析数据的描述性分析）（60分钟）
1、统计学基本概念
2、统计数据的计量尺度
3、常用基本统计量
4、集中趋势的描述指标
5、离散趋势的描述指标
6、中心极限定理
7、大数定律
8、数据的分布
9、正态分布的特征
10、偏度和峰度
11、检测数据集的分布
12、数据的分布拟合检验与正态性检验
13、抽样标准
14、假设检验
15、T检验
16、置信区间

第5个主题：数据的可视化（实践数据可视化）（90分钟）
1、散点图
2、直方图
3、经验分布函数
4、QQ图
5、茎叶图
6、离群点检测
7、箱型图检验离群值
8、盖帽法
9、课堂实操：SPSS描述性统计分析实现航空业客户描述和行为分析模型

第6个主题：主成分分析和因子分析（深入剖析主成分分析及因子分析）（30分钟）
1、主成分分析
2、总体主成分
3、样本主成分
4、主成分分析模型
5、案例：SPSS主成分分析模型实现
6、课堂实操：SPSS主成分分析模型实现

第7个主题：方差分析（深入剖析方差分析方法及SPSS实现）（30分钟）
1、单因素方差分析
2、单因素方差分析模型
3、因素效应的显著性检验
4、因素各水平均值的估计与比较
5、两因素等重复试验下的方差分析
6、统计模型
7、交互效应及因素效应的显著性检验
8、无交互效应时各因素均值的估计与比较
9、有交互效应时因素各水平组合上的均值估计与比较
10、两因素非重复试验下的方差分析
11、金融案例：SPSS方差分析实现
12、课堂实操：SPSS方差分析实现

第8个主题：Bayes统计分析（深入剖析Bayes统计分析）（30分钟）
1、Baves统计模型
2、Bayes统计分析的基本思想
3、Bayes统计模型
4、Bayes统计推断原则
5、先验分布的Bayes假设与不变先验分布
6、共轭先验分布
7、先验分布中超参数的确定
8、Baves统计推断
9、参数的Bayes点估计
10、Bayes区间估计
11、Bayes假设检验
12、案例：SPSS实现Bayes统计分析建模
13、课堂实操：SPSS实现Bayes统计分析建模

时间 内容
第二天
第9个主题：数学建模（深入剖析数学建模）（30分钟）
1、数学建模
2、数学预测模型
3、模型评估
4、模型参数优化

第10个主题：回归分析与分类分析原理与应用（深入剖析数据的回归分析与分类分析的原理以及应用）（120分钟）
1、回归与分类
2、回归分析概念
3、线性回归模型及其参数估计
4、一元线性回归
5、一元线性回归模型
6、一元线性回归模型求解参数
7、损失函数
8、求偏导
9、回归方程的显著性检验
10、残差分析
11、误差项的正态性检验
12、残差图分析
13、统计推断与预测
14、回归模型的选取
15、穷举法
16、逐步回归法
17、岭回归分析
18、SPSS一元线性回归
19、金融案例：SPSS一元线性回归模型检验
20、多元线性回归概述
21、多元线性回归模型
22、金融案例：SPSS多元线性回归实现航空业信用打分和评级模型

第11个主题：Logistic回归分析（剖析Logistic回归与其它回归分析方法）（60分钟）
1、Logistic回归介绍
2、Logistic函数
3、Logistic回归模型
4、案例：SPSS Logistic回归实现
5、课堂实操：SPSS Logistic回归实现航空业欺诈预测模型
6、课堂实操：SPSS Logistic回归实现航空业风险分析模型

第12个主题：非线性回归原理及应用（剖析非线性回归原理及应用实践）（60分钟）
1、非线性回归
2、双曲线函数
3、幂函数
4、指数函数
5、对数函数
6、S型曲线
7、案例：SPSS非线性回归实现
8、课堂实操：SPSS非线性回归实现航空业经营分析和绩效分析模型

第13个主题：数据建模常用距离（深入剖析数据建模过程中常用的距离模型）（30分钟）
1、数据挖掘常用距离
2、欧氏距离
3、曼哈顿距离
4、切比雪夫距离
5、闵可夫斯基距离
6、标准化欧氏距离
7、马氏距离
8、夹角余弦
9、汉明距离
10、杰卡德距离 & 杰卡德相似系数
11、相关系数 & 相关距离
12、信息熵

时间 内容

第14个主题：聚类分析与建模实现（深入剖析聚类分析以及通过SPSS聚类算法模型分析数据）（60分钟）
1、聚类分析
2、聚类算法
3、样品间相近性的度量
4、快速聚类法
5、快速聚类法的步骤
6、用Lm距离进行快速聚类
7、谱系聚类法
8、类间距离及其递推公式
9、谱系聚类法的步骤
10、变量聚类
11、案例：SPSS聚类实现及绘图
12、案例：Kmeans应用案例剖析
13、课堂实操：编写程序实现Kmeans应用案例剖析

第15个主题：决策树分析与实现（深入剖析决策树分析以及通过SPSS决策树模型分析数据）（60分钟）
1、决策树分析
2、决策树
3、决策树构成要素
4、决策树算法原理
5、决策树法的决策过程
6、决策树算法
7、案例：SPSS实现决策树分析
8、课堂实操：SPSS实现航空业客户细分模型
9、随机森林

第16个主题：关联规则分析与实现（深入剖析关联规则分析以及通过SPSS关联规则算法模型分析数据）（60分钟）
1、关联规则
2、支持度与置信度
3、关联规则挖掘的过程
4、Apriori算法
5、关联规则案例
6、支持度与置信度计算
7、案例：SPSS实现关联规则
8、课堂实操：SPSS实现航空业数据关联规则分析

第17个主题：数据建模时序模式分析与实现（深入剖析时序模式分析）（60分钟）
1、时序模式
2、时间序列分析
3、时间序列分析
4、时间序列
5、序列分析的三个阶段
6、课堂实操：SPSS实现航空业客户流失模型

第18个主题：数据分析工具SPSS/SAS在金融行业应用案例（深入剖析数据分析工具SPSS/SAS在金融行业应用案例）（60分钟）
1、案例：风险分析模型
2、案例：信用打分和评级模型
3、案例：客户细分模型
4、案例：客户描述和行为分析模型
5、案例：欺诈预测模型
6、案例：客户流失模型
7、案例：经营分析和绩效分析模型
8、案例：交叉销售和增量销售模型
9、案例：SPSS实现航空业客户流失模型建模
10、课堂实操：SPSS实现金融行业客户流失模型建模

第19个主题：大数据个性化精准推荐实战（深入理解大数据个性化精准推荐原理和实现技术）（60分钟）
1、个性化推荐的理论依据
2、个性化推荐的价值
3、个性化推荐能达到的目的
4、个性化推荐的原则
5、个性化推荐技术发展史
6、个性化推荐的相关技术
7、基于用户的常用推荐算法
8、基于用户的协同过滤推荐
9、课堂实操：SPSS实现航空业交叉销售和增量销售模型 

尹老师
多年从事人工智能、深度学习、大数据、区块链、云计算、物联网研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，主要研究方向包括人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、云计算、移动开发、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、云计算、PaaS平台研发工作。
IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、物联网、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个人工智能、深度学习、机器学习、数据挖掘、数据分析、区块链、物联网、私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：呼叫中心人工智能客服研发项目、贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。
尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技术平台的应用与运维。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。

图1. 大数据行业公认的Cloudera认证

图2. 含金量较高的PMP认证

讲师经验
1、阿里巴巴集团云计算、大数据、区块链、物联网咨询师
2、百度云计算、大数据、区块链、物联网咨询师及讲师
3、中国移动多省人工智能、大数据、区块链、物联网、云计算特聘讲师
4、中国移动多省Docker特聘讲师
5、中国移动研究院微特聘讲师
6、中国联通总部人工智能、大数据、区块链、物联网、云计算特聘讲师
7、中国电信人工智能、大数据、区块链、物联网、云计算、虚拟化特约讲师
8、中国人民银行人工智能、大数据、区块链、物联网特聘讲师
9、中国工商银行人工智能、大数据、区块链、物联网讲师
10、花旗银行人工智能、大数据、区块链、物联网讲师
11、招商银行人工智能、大数据调优、区块链、物联网讲师
12、中信银行人工智能、分布式数据库、区块链、物联网讲师
13、中国航天三院人工智能、大数据、区块链、物联网咨询师
14、中国石油人工智能、大数据、区块链、物联网、云计算特聘讲师
15、中国石化人工智能、大数据、云计算特聘讲师
16、中国电力科学研究院流计算特聘讲师
17、西安电信十所人工智能、大数据架构设计、区块链、物联网讲师
18、RedHat（中国）大数据咨询师
19、中电28所人工智能、大数据、区块链、物联网特聘讲师
20、北京中电普华人工智能、大数据、区块链、物联网特聘讲师
21、中国石油东方地球物理公司大数据咨询师
22、当当网人工智能、云计算、大数据咨询师
23、北航人工智能、云计算、大数据、区块链、物联网特聘企业讲师
24、阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师
25、中石油工程设计西南分公司云计算数据中心建设项目
26、广东发展信用卡精准营销项目
27、广东发展银行电营、运维大数据分析项目
28、电商库存预测大数据分析项目
29、中航国际大综贸易云计算规划项目咨询、培训讲师
30、北京民生软件SaaS平台研发咨询师
31、北京立达资本项目管理信息系统解决方案咨询师
32、曾任大型ERP、电子商务、CRM、电子政务等项目经理

项目经验
1、云呼叫中心人工智能客服项目研发
2、云呼叫中心PaaS平台首席架构师
3、贵州省政府云呼叫中心建设项目
4、广东发展信用卡智能精准营销项目
5、广东发展银行电营、运维大数据分析、区块链、物联网项目
6、中石油工程设计西南分公司云计算项目评审委员、培训讲师
7、中石油人工智能、大数据挖掘、区块链、物联网项目，项目经理
8、电商库存预测大数据分析项目
9、智能物流、智能供应链管理项目
10、中航国际大综贸易云计算规划项目咨询、培训讲师
11、北京民生软件SaaS平台研发咨询师
12、北京立达资本项目管理信息系统解决方案咨询师
13、曾任大型ERP、电子商务、CRM、电子政务等多个项目的项目经理 

• 业务数据分析II（Excel）

   

  【课程背景】数据分析有多个含义，普通含义的数据分析包括展现数据的趋势，对数据做分类汇总，发现其中的TOPN数据，对比数据的不同与变化等。这些常规分析可以通过数据透视表来完成。这些内容在课程《业务数据分析I》中已经详细介绍了。而对数据的深入分析还包括发现数据之间的模式，规律，相关性及因果关系，预测未来业务数据，对数据进行统计分析从而发现问题等等。 ..

  ￥   元/ 天

  人气：1001  

  

• 业务数据分析I（Excel）

   

  【课程背景】数据分析是数据应用的重要目的。海量的，纷繁复杂的原始数据只有经过分析才能抽取关键信息，获得对数据的准确认知，才能对未来起到知道作用。本课程从准备数据开始，一步一步的经过数据整理，分析，最终做出报表呈现分析结果，并通过各个领域的案例，使您可以快速将学习到的分析和预测方法落实到您的实际工作中。【课程大纲】（..

  ￥   元/ 天

  人气：942  

  

• 数据分析与图示化呈现技巧

   

  课程背景据统计，我们日常工作中，通过视觉获取的信息超过70%，所以如何将数据图示化、视觉化，如果让老板、领导或者客户、消费者在短时间内迅速get到你想表达的信息在当今信息化时代显得尤为重要。基于商务应用需要，Office高效办公专家李宪磊老师以多年的企业实战工作经验和企业实际需求为出发点，开发出《数据分析与图示化呈现技巧》课程。本课程结合日常的数据信..

  ￥   元/ 天

  人气：828  

  

• 服装行业终端店长——店铺商品数据分析课程

   

  【课程大纲】1.店铺商品的构成分析2.店铺商品的订货方法3.店铺商品数据分析的要点4.店铺商品陈列的方法5.店铺商品促销管理方法6. 店铺商品库存管理

  ￥   元/ 天

  人气：1225  

  

• 新零售用户行为数据分析与产品优化

   

  第一单元 用户分类1.用户分析集中的三个方面u用户统计监控u用户定向营销u用户调研2.互联网思维——用户为中心u顾客-用户u顾客为中心-用户为中心u顾客至上-用户体验至上3.用户分析的指标u访问用户数u新用户数u活跃用户数u流失用户数4.新老用户5.新活跃用户和流失用户 ..

  ￥   元/ 天

  人气：955  

  

• 移动互联网时代的精焳营销-数据分析

   

  一、大数据未来的通行证美国的大数据、阿里的大数据大数据改变未来未来谁是王者案例：未来的一天、IBM的规划二、数据分析五步法1）数据搜集数据搜集不等CRM2）数据清洗3）数据建模4) 数据整理三、市场调查1）市场调研带来哪些价值机会点研究品牌研究广告促销研究满意度研究四、数据分..

  ￥   元/ 天

  人气：2165