大数据

【培训对象】
技术人员

【培训收益】
了解大数据概念及应用

 课时一：概念综述

1、 大数据的定义由来和原因

2、 大数据的6V特征

3、 从数据库，数据仓库到大数据

4、 大数据相关技术和处理

 

课时二：Hadoop生态圈、spark生态圈、搜索引擎概述

1、 hadoop：HDFS、Map-Reduce、Hbase、Hive等

2、 spark：scala、spark-SQL、spark-Streaming等

3、 搜索引擎：lucene（solr）、ES

4、 并发的机器学习工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

 

课时三：存储在hbase中的数据

1、 NoSQL（key-value）

2、 Hbase：安装

3、 行键与列簇

4、 如何利用Hbase的特点存储数据

5、 应用程序如何访问Hbase中的数据

6、 数据迁移：sqoop

7、 Hbase的应用场景

 

课时四：Hive：为用SQL的开发者留的活路

1、 Hive：安装（单用户与多用户）

2、 Hive：基本操作

3、 Hive：与典型的关系型数据库的区别

4、 如果“想慢”，你可以这样…（不恰当使用hive的案例介绍）

5、 Hive的应用场景

 

课时五：Spark各组件在卫生领域的应用

1、 Hadoop最大的特点是什么？

2、 Spark概述与安装

3、 Scala：你可以一直“点”下去

4、 RDD：“映射”、“转换”解决一切

5、 spark-SQL

6、 spark-streaming

7、 spark的其他组件

8、 应用场景

 

课时六：机器学习算法介绍—I

1、 综述（人工智能、数据挖掘、机器学习、机器智能、大数据：这些词的确切含义）

2、 监督学习、无监督学习与强化学习

3、 工具：R、Python等

4、 决策树详解（熵、贪心法、连续的和离散的）

5、 神经网络详解（神经元、激励函数、前馈神经网络的BP算法，其他神经网络）

 

课时七：机器学习算法介绍—II

1、 关联规则详解（频繁项集、Apriori、支持度、置信度）

2、 聚类详解（k-means、k-medoid）

常见算法的简述（Naïve-Bayes、k-NN、HMM、SVM等）

 

叶梓，上海交通大学计算机专业博士毕业，高级工程师。主研方向：数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家，市级行业大数据平台技术负责人。

 

长期负责城市信息化智能平台的建设工作，开展行业数据的智能化应用研发工作，牵头多个省级、市级行业智能化信息系统的建设，主持设计并搭建多个省级、市级行业大数据平台。参与国家级人工智能课题，牵头上海市级人工智能示范应用课题研究。

 

带领团队在相关行业领域研发多款人工智能创新产品，成功落地多项大数据、人工智能前沿项目，其中信息化智能平台项目曾荣获：“上海市信息技术优秀应用成果奖”。带领团队在参加国际NLP算法大赛，获得Top1%的成绩。参与国家级、省级大数据技术标准的制定，曾获省部级以上的科技创新一等奖。

 

1.      论文发表/项目经历

在国内外期刊、会议中发表论文27篇，其中被SCI/EI收录4篇

 

项目经历：

l  上海市城市信息化人工智能项目 项目负责人

ü  研发智能服务系统，包括：元宇宙与虚拟数字人、基于人工智能的内容生成（AIGC）、基于NLP技术的对话系统、基于深度学习的图像识别系统、基于智能推理的行业推荐系统。

相关工作：

作为项目总负责，负责项目管理、产品研发、系统分析、技术指导、算法指导等。

 

l  上海市城市智能信息化工程 总工程师

ü  采用大数据技术，建设市级信息平台，完成试点单位接入并采集居民相关信息，实现市级平台档案等服务，并实现所有单位的全面接入。

ü  为解决超量数据的存储与计算的问题，搭建了存储全市数据的云计算平台，并在其上进行了基于大数据的分析和挖掘工作。

相关工作：

作为总工程师，负责技术管理、系统分析、云平台数据存储设计、数据分析与挖掘指导、开发指导。

 

l  上海市城市信息化领域智能联网工程 技术经理

ü  建设内容包括：接入单位的联网；智能卡的实现；城市信息化智能平台的升级；科研平台的扩展与升级；建立决策支持系统；评估体系的展示设计；短信平台的实现；违规操作的提醒；协同智能服务平台的实现等。

相关工作：

作为技术经理负责总体架构设计、接口设计、大数据平台设计、AI技术指导等。

 

 

3. 主攻方向

具有扎实的数据挖掘、机器学习、深度学习等人工智能理论基础；了解AIGC等技术前沿动态。

精通机器学习、深度学习的理论、模型、算法、调优等；精通算法设计；

熟悉深度学习在自然语言处理、计算机视觉两大核心领域的实用技巧；

15年以上的程序开发经验，熟悉常用程序开发架构，独立完成多个产品级软件的设计与开发。

 

• 大数据及人工智能背景下消费和小微信贷线上获客、产品设计、风控应对策略

   

  第一部分：金融科技发展状况的介绍一、金融科技的现状与发展趋势（一）宏观背景1、金融科技（支付宝人脸识别技术、APPLEPAY、虹膜技术、二维码支付技术）2、利率市场化3、金融脱媒（二）移动互联技术的发展使互联网金融成为可能1、移动互联网技术2、移动支付技术3、H5、APP（三）互联网金融对传统银行资产业务的颠覆和冲..

  ￥   元/ 天

  人气：657  

  

• 大数据时代——提升患者管理，构建专业药房

   

  【课程导言】：移动互联时代下，实体门店面临巨大的挑战，同时也是一种机会。马云说：不是实体门店不行了，而是你的实体门店不行了。面临新的冲击实体店如何进行创新，如何守住老阵地，如何利用新武器，这是所有实体连锁共同面临的问题。课程从互联网环境对我们的实体店挑战和我们面临的消费者消费习惯和方式的的变化入手，通过分析新零售良品铺子，海澜之家，名创优品的..

  ￥   元/ 天

  人气：541  

  

• 电商互联网大数据营销之落地实践铁律

   

  课程背景：未来人货场一切数字化，数据将成为一种资源，没有数据没有未来，企业如何构建自己的大数据未来？人工智能已经来临，人工智能在营销板块的应用本质就是大数据营销！企业的ERP、CRM、报表等等仅仅是零散的死数据，如何激活流动产生闭环，产生效益？经验将成为负债，未来将利用数据产品规划、定位、策划、人群分析、活动策划，数据成为商业的起点！人为..

  ￥19,100   元/ 天

  人气：938  

  

• 电商互联网智能商业：大数据营销分析与落地实践

   

  课程背景：数据是未来企业唯一资源，大数据营销意味着高效、精准、成本低、全自动化，让企业从人海战、广告战、渠道战的泥潭中拔出来为什么搜索广告效果差了？为什么团购效果也差了？为什么传统的用户细分、STP在大数据提出的用户画像面前苍白了？为什么独角兽全靠增长黑客模式崛起？企业未来如何搭建科学的大数据营销队伍，建立科学的数字营销体！通过互动获取数据，..

  ￥19,100   元/ 天

  人气：985  

  

• 大数据基础原理与应用

   

  一、运营商网络架构和技术选择1.运营商网络架构2.运营商业务类型3.接入网技术选择4.不同业务的技术实现二、全业务运营技术实现1.集团业务分类及特点2.集团高等级业务特点及业务场景3.集团低等级业务特点及业务场景4.集团高、低等级业务要求及技术选择5.数据专线业务及技术实现6.互联网专线业务及技术实现7.集..

  ￥   元/ 天

  人气：811  

  

• 大数据、物联网、云计算行业应用及发展趋势

   

  一、信息通信产业发展的背景和趋势1、信息通信产业用户现状和发展趋势2、国内外信息化发展战略3、中国信息化发展现状和趋势4、信息通信网络发展趋势5、电信业转型新趋势二、ICT前沿技术(一)云计算1、云计算发展的商业动力与技术趋势1.1云计算基本概念1.2云计算的商业动力：企业ICT转型1.3云计算特点..

  ￥   元/ 天

  人气：916