模块三：大数据技术及行业创新应用案例

一、大数据系统平台总体架构及部署
1、大数据系统平台总体架构描述
（1）大数据的业务目标
（2）大数据总体架构模型
（3）大数据总体架构特点
（4）大数据系统的物理架构
（5）大数据系统的逻辑架构
（6）大数据系统与现有系统的关系
（7）传统应用如何成为大数据系统的应用
2、大数据平台工作流程
（1）大数据采集系统架构及工作流程
（2）大数据存储架构及工作流程
（3）大数据处理架构及工作流程
（4）大数据挖掘分析架构及工作流程
（5）大数据展现平台及工作流程
3、大数据平台技术体系构成
（1）大数据采集技术（多样性：多源数据融合，数据抽取、转换和加载的过程优化）
（2）大数据存储技术（海量：结构化、半结构化和非结构化数据）
（3）大数据处理技术（快速：并行计算、流计算）
（4）大数据挖掘分析技术（价值：数据挖掘、商业智能）
（5）大数据可视化展示技术（价值：数据可视化）
（6）大数据隐私安全
4、大数据相关概念与相关技术概览
（1）数据结构：结构化数据与非结构化数据
（2）数据库数据模型：关系型数据库与非关系型数据库
（3）数据处理特性：OLTP与OLAP
（4）数据一致性：强一致性与最终一致性
（5）数据存储方式：行式存储与列式存储
（6）数据库存储与处理架构：SMP与MPP
（7）数据存储架构：传统分布式文件与新型分布式文件
（8）数据处理架构：基于并行计算的分布式数据处理技术（MapReduce）
5、大数据存储和处理技术
（1）分布式存储和计算平台- Hadoop
（2）分布式文件系统-HDFS
（3）分布式计算框架-YARN/MapReduce
（4）分布式数据库-NoSQL
6、大数据查询和分析技术：SQL on Hadoop
（1）Hive：基本的Hadoop 查询和分析
（2）Hive 2.0：Hive 的优化和升级
（3）实时互动的SQL：Impala 和drill
（4）基于PostgreSQL 的SQL on Hadoop
（5）大数据高级分析和可视化技术
（6）传统数据仓库与联机分析处理技术
（7）大数据挖掘与高级分析
（8）大数据挖掘与高级分析库：Mahout
（9）非结构化复杂数据分析
（10）实时预测分析
（11）开源可视化工具：R语言
（12）可视化技术
7、大数据Hadoop2.0平台架构及组件
（1）Hadoop2.0平台总体架构解析
Hadoop2.0平台层次划分及构成
Hadoop2.0平台软件系统构成
Hadoop2.0平台各组件介绍
（2）Hadoop2.0平台各组件功能描述
分布式文件系统-HDFS
分布式批处理计算-YARN/MapReduce
分布式数据库-HBase
分布式数据仓库-Hive
分布式协作服务-ZooKeeper
数据分析挖掘-Pig
数据采集系统-Chukwa
高吞吐量分布式消息系统-Kafka
系统监控- Ambari
跨语言服务间通信-Thrift
日志收集与转运工具-Flume
数据结果与线上决策的交互-Redis
流计算基础平台-Storm vs Spark
流式计算框架Spark Streaming
二、大数据应用实践方法及行业应用案例分析
1、大数据应用实践方法
（1）业务需求定义
（2）大数据应用现状分析与标杆比较
（3）大数据系统平台规划和设计
（4）大数据技术切入与实施
（5）大数据试用和评估
（6）大数据应用推广
2、业务需求定义
（1）分析业务战略，了解战略层面的大数据需求
（2）调研业务经营模式、管理现状、进行大数据需求分析，发现应用机会和场景
（3）发现大数据应用对企业的机会和挑战
（4）标杆应用研究
3、各行业大数据应用的个性需求分析方法
（1）“互联网与电子商务行业”大数据应用需求分析
（2）“电信运营业”大数据应用需求分析
（3）“政府”大数据应用需求分析
（4）“金融业”大数据应用需求分析
（5）“零售业”大数据应用需求分析
（6）“教育业”大数据应用需求分析
（7）“医疗业”大数据应用需求分析
（8）“能源业”大数据应用需求分析
（9）“制造业”大数据应用需求分析
（10）“交通物流业”大数据应用需求分析
（11）企业级大数据应用的共性需求分析
（12）客户分析
（13）绩效分析
（14）欺诈和风险评估
4、大数据应用现状分析与标杆比较
（1）分析数据应用现状和能力
（2）分析应用场景和数据容量、种类和速度
（3）确定大数据评价指标体系
（4）应用场景的数据源和样本分析
（5）标杆数据分析研究
5、大数据系统平台规划和设计
（1）大数据战略目标定义
（2）大数据系统平台架构设计
提出大数据架构
细化获取架构
处理和存储架构
分析架构
信息安全架构
大数据组织架构
6、关键技术系统设计
7、技术选型和采购建议
8、技术实施规划
（1）大数据技术切入与实施
大数据技术试验
试点和数据采集、存储和分析
平台部署
（2）大数据试用和评估
大数据试用
大数据评估
9、大数据应用推广
（1）需求分析
（2）应用推广准备
（3）启动新的项目
10、以电信运营商客户分析为例的大数据实施案例分析
（1）大数据客户分析业务需求
（2）大数据客户分析现状与标杆比较
（3）大数据客户分析应用架构规划与设计
（4）大数据客户分析实施、试点和推广 

博士
北京信息科技大学副教授
人工智能、数据挖掘专家
IEEE Access等SCI期刊特约审稿人
中博智学教育公司常年签约讲师。
在AI技术高速发展的今天，王老师希望凭借他在深度学习、数据挖掘、大数据技术、云计算技术和移动通信技术方面完整的知识体系及融会贯通的能力，加上深厚的数学功底，通过技术培训和咨询为信息通信、高校科研团队、AI从业者长远发展助一臂之力！在软件测试流程设计及优化、自动化测试框架的实现、性能优化等领域具有多年的实战经验，擅长自动化测试解决方案的制定与实施。
【主要工作】
长期从事人工智能、数据挖掘、大数据领域研究生、自动化测试、企业员工教学培训与地震人工智能科研工作；多次参与行业人工智能技术引用研讨及大会发言；在大唐电信、中国地质科学院等单位长期全职、兼职从事深度学习、数据挖掘相关技术的培训及软件研发；在高校从事数据挖掘、深度学习教学8年。
【主要研究领域】
基于对AI行业的长期研究，对现在AI技术的发展与演进、深度学习算法的推导、地震人工智能、自动化测试、物联网、智慧城市、大数据、云计算、TD-LTE都有着深入的理解，并且也一直在一线从事相关项目的咨询服务工作，积累的丰富的实操经验，保证课程的时效性和落地性，课程受到相关高校以及相关政府部门的高度好评。
【授课特点】
既有雄厚而扎实的AI理论基础、精湛而熟练的技术，又有丰富的理论及实践教学经验和技巧，做过项目课题、参加过通信计费结算软件、建筑软件、遥感图像处理软件、地震预测预报等软件开发工作。
在长期的教学与培训实践中形成了独具特色、自成体系的教学风格和教学方法，最大特点在于以人文的思想与方法进行教学，生动活泼，富于激情与感染力；教学针对性强，知识全面、思路清晰、逻辑严密、结合丰富的案例进行教学，深入浅出、诙谐幽默；通过互动教学，解决学员在实际工作中遇到的各种问题，让学员在短时间内取得较大收获。教授过得学院上千人，学生对教学效果评估满意率均达 90%以上。
【精品课程】
人工
智能 人工智能技术概述及发展前景展望：人工智能背景与历史、深度学习、脑认知、行业发展现状、发展趋势 Python基础：列表、元组、字符串、字典、条件、循环控制、函数、异常处理、文件操作、多线程
大数据处理：Numpy、Pandas、Matplotilb、OpenCV、特征抽取、特征转换、归一化 机器学习：线性回归、KNN、逻辑回归、梯度下降算法、牛顿法、决策树、随机森林、GBDT算法、支持向量机、K-means、朴素贝叶斯算法、隐马尔可夫模型、最大熵模型
深度学习平台：TensorFlow、PyTorch、Keras
深度学经典模型及应用：
CNN、RNN、LSTM、GAN、Seq2Seq

强化学习：Q-Learning、Sarsa、DQN、Policy Gradient、Actor Critic 爬虫技术：urllib3、requests、lxml、bs4、Srapy、Selenium、PhantomJS
深度学习项目进阶实践：人脸识别系统、智能推荐系统、情感分析系统、智能对话系统
大数据及数据挖掘 大数据技术概述及演变趋势 大数据时代的业务支撑系统
MapReduce技术架构 Hadoop 分布式程序开发
Spark内存程序开发 HBase数据存储原理及应用
MongoDB数据库开发
数据挖掘技术概述 协同过滤——基于用户的显式推荐算法
协同过滤——隐式评级及基于物品的过滤 内容过滤机及分类——基于物品属性的过滤
算法评估及KNN 概率及朴素贝叶斯：贝叶斯定理、非结构化文本分类
聚类：K-MEANS聚类、SSE及散度

【近几年主持、参与的科研项目】
（1）国家自然科学基金，模拟地震监测波形记录矢量化关键算法研究与系统开发（数字图像处理、数据挖掘方向）（国家级，主持）。
（2）大唐电信软件公司计费结算部工程师，设计开发了内蒙联通计费结算系统，河北铁通计费系统，河南移动计费系统。
（3）多次指导学生参加阿里天池杯大数据竞赛，2015年度40个国家2100支队伍参与的“淘宝穿衣搭配算法” 竞赛决赛取得排名189名；2016年度40个国家3046支队伍参与的“机场客流量的时空分布预测”竞赛决赛中决赛排名115名，优异成绩；2017年，在全球1143支队伍参与的“余震捕捉AI大赛”中指导学生排名45名。
（4）中博教育人工智能研发部技术总监，人工智能公考软件技术负责人。
（5）校级人才引进支持计划A类（人工智能方向），主持。
（6）中国地质调查局工作项目子课题，陆域天然气水合物大数据处理与存储（数据挖掘方向）（省部级，排名第2）。
（7）中国地震局教师科研基金，活动断裂带重点区域用地变化检测技术研究（数据挖掘方向）（省部级，主持）。
（8）中央高校基本科研创新团队项目子课题，基于多源地震遥感数据融合的断层识别技术研究（数据挖掘方向）（主持）。
（9）国家重大科技专项子课题，高分遥感应急示范工程先期攻关项目--多源地震信息融合技术研究（数据挖掘方向）（国家级，排名第2）。
（10）中央高校基本科研业务费青年教师资助计划，基于HRTEM和STM图像的石墨烯晶体结构缺陷识别（数字图像处理、数据挖掘方向）（主持）。
（11）中国地震局教师科研基金，主震地震参数与后续最大地震震级之间的统计关系研究（人工智能方向）（排名第2）。
（12）河北省科学技术厅河北省科技计划项目，基于大数据技术的流体观测数据前兆异常自动识别算法研究（人工智能方向）（排名第3）。
（13）校级教育研究与教学改革项目， 情景式教学方法在《UML与设计模式》教学中的应用（主持）。
【近几年发表的论文（第一作者）】
(1)A new program on digitizing analog seismograms, Computers & Geosciences, 2016, 93,70-76.(SCI，IF 2.8)
(2)Recognition of Defect Structure of Graphene by Image Processing Technique, Journal of Computational and Theoretical Nanoscience, 2014, 11(2), 391-395. (SCI)
(3)Recognition of amount of carbon atoms of graphite STM images, Journal of Computational and Theoretical Nanoscience, 2011, 8(11), 2204-2208. (SCI)
(4)Recognition of atomically-resolved STM images of graphite, Journal of Computational and Theoretical NanoScience, 2010, 7(2), 404-407 (SCI)
(5)Recognition of chiral vector angle of individual single-walledcarbon nanotubes by image processing techniques, Journal of Computational and Theoretical NanoScience, 2009, 6 (5), 1008-1012. (SCI)
(6) Land use Change Detecting using Remote Sensing in Xiadian Fault Zone, Journal of Residuals Science & Technology, 2016,12(8), 185-186. (SCI 刊源)
(7)Fault Diagnosis of Sucker-Rod Pumping System Using Support Vector Machine, Communications in Computer and Information Science, 2012, 289,179-189.(EI)
(8)Study of oil-gas yield model of a suck-rod pumping well based on thedata mining of pump dynamometer cards，The 2th International Conference onComputer Science and Service System, 2012.
(9)Recognition of topology feature of Graphene by image processing technique, Advanced Materials Research, 2013, 756-759: 4133-4137. (EI)
(10)Analysis of the Relationship between Main Shock and Aftershocks Based on Association Rules, Advanced Materials Research , 2013, 760 -762: 1174-1177 (EI).
(11)Energy Field Filling of NEIC Broadband Radiated Energy Catalogue Based on Method of Least Squares, Advanced Materials Research (Volumes 760-762), 1339-1342, 2013. (EI)
(12)A New Curve Tracing Algorithm Based on Local Feature in the Vectorization of Paper Seismograms, Sensors & Transducers Journal, 2014 165: 108-111, 2014. (EI)
(13)Spatial characteristics of the major surface rupture in Lushan area to the south of Dujiangyan city by analyzing remote sensing images, 2014 International Conference on Information GIS and Resource Management, 2014.
(14)Researches on key algorithms in analogue seismogram records vectorization，Sensors & Transducers Journal, 2014, 178 (9): 209-213.
(15)A new waveform mosaic algorithm in the vectorization of paper seismograms, Sensors & Transducers Journal,Vol. 2014, 182 (11), 203-206.
(16)Energy field filling of neic broadband radiated energy catalogue based on Support Vector Machine regression model, Applied Mechanics and Materials. 2014, 687-691, 1514-1517. (EI)
(17)Analysis of the relationship between apparent stress and main-after shocks magnitude difference on association rules, energy education science and technology part a. 2015. 33(1): 425-434.
【主要培训经历】
1、拥有5年以上的通信行业工作经验，先后为全国多家通信公司有过项目开发合作及授课。曾为北京大唐电信、河北联通等多家省市通信公司讲授大数据系统、AI研发技术系统培训、数据挖掘技术、Nosql数据库、移动互联网等相关技术。
2、曾为温州大学、石家庄铁道大学、中国地质科学院及北京城市学院等多家院校讲授《人工智能算法在医学数据分类上的应用（CNN及Reinforcement Learning）》、《人工智能技术概述及典型算法培训》、《人工智能在地学资料文本数据挖掘方向的应用》、《计算机网络》、《数字图像处理》、《计算机程序设计语言》等高级核心课程。