大数据与人工智能

（一）统计分析、数据仓库与可视化表达
1、综述（大数据、人工智能、数据挖掘、机器学习：这些词的确切含义）
2、假设检验：“小数据”时代是怎么玩的？
3、“回归”是数据挖掘算法吗？
4、度量、指标与维度
5、星型模型与雪花模型
6、下钻与上卷
7、数据仓库的应用案例
8、图表该怎么画才对？

（二）大数据相关技术综述
1、hadoop：HDFS、Map-Reduce、Hbase、Hive、sqoop、pig、oozie等
2、spark：scala、spark-SQL、spark-Streaming等
3、搜索引擎：lucene（solr）、ES
4、并发的机器学习工具：R-hadoop、spark-MLLIB、 spark-R、pyspark

（三）存储在hbase中的数据
1、NoSQL（key-value）
2、Hbase：安装
3、行键与列簇
4、如何利用Hbase的特点存储行业数据
5、应用程序如何访问Hbase中的数据
6、数据迁移工具：sqoop
7、Hbase的应用场景

（四）Hive：为SQL开发者留的活路
1、Hive：安装（单用户与多用户）
2、Hive：基本操作
3、Hive：与典型的关系型数据库的区别
4、存储业务数据时的注意点
5、如果“想慢”，你还可以这样…（不恰当使用hive的案例介绍）
6、Hive的应用场景

（六）Spark各组件的应用
1、Hadoop最大的特点是什么？
2、Spark概述与安装
3、Scala：你可以一直“点”下去
4、RDD：“映射”、“转换”解决一切
5、spark-SQL
6、spark-streaming
7、spark-graphX
8、spark-MLLIB
9、应用场景

（七）机器学习-1
1、数据挖掘、知识发现与机器学习
2、工具：（早期）SPSS、SAS；
3、目前流行的工具R、Python等
4、决策树（熵、贪心法、连续的和离散的）
5、聚类（k-means、k-medoid）
6、监督学习、无监督学习的差异
7、机器学习性能评价指标

（八）机器学习-2
1、KNN
2、关联规则（频繁项集、Apriori、支持度、置信度、提升度）
3、神经网络（神经元、激励函数、前馈神经网络的BP算法）
4、SVM（最大间隔、核函数、多分类的支持向量机）

（九）机器学习-3
1、 “概率派”与“贝叶斯派”
2、朴素贝叶斯模型（皮马印第安人患糖尿病风险预测）
3、极大似然估计与EM算法
4、HMM（三个基本问题：评估、解码、学习）

（十）机器学习-4
1、遗传算法 （交叉、选择、变异，“同宿舍”问题）
2、无监督学习
3、集成学习（adaboost、RF）
4、强化学习

（十一）深度学习-1
1、连接主义的兴衰
2、地形要更陡：改进的目标函数
3、0.9的100次方等于几？克服梯度消散的方法（改进的激励函数、BN）
4、利用“惯性”下山：改进的优化算法（Adagrad、RMSprop、Adam）
5、防止“大锅饭”：dropout
6、记忆的关键是“合理的忘记”：weight decay

（十二）深度学习-2
1、让AI理解图像：典型CNN
2、各种CNN
3、让AI理解语言：RNN与LSTM、GRU
4、左右互搏术：GAN
5、电子游戏的新玩法：DQN
 

叶梓，上海交通大学计算机专业博士毕业，高级工程师。主研方向：数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家，市级行业大数据平台技术负责人。

长期负责城市信息化智能平台的建设工作，开展行业数据的智能化应用研发工作，牵头多个省级、市级行业智能化信息系统的建设，主持设计并搭建多个省级、市级行业大数据平台。参与国家级人工智能课题，牵头上海市级人工智能示范应用课题研究。

带领团队在相关行业领域研发多款人工智能创新产品，成功落地多项大数据、人工智能前沿项目，其中信息化智能平台项目曾荣获：“上海市信息技术优秀应用成果奖”。带领团队在参加国际NLP算法大赛，获得Top1%的成绩。参与国家级、省级大数据技术标准的制定，曾获省部级以上的科技创新一等奖。

1.      论文发表/项目经历

在国内外期刊、会议中发表论文27篇，其中被SCI/EI收录4篇

项目经历：

l  上海市城市信息化人工智能项目 项目负责人

ü  研发智能服务系统，包括：元宇宙与虚拟数字人、基于人工智能的内容生成（AIGC）、基于NLP技术的对话系统、基于深度学习的图像识别系统、基于智能推理的行业推荐系统。

相关工作：

作为项目总负责，负责项目管理、产品研发、系统分析、技术指导、算法指导等。

l  上海市城市智能信息化工程 总工程师

ü  采用大数据技术，建设市级信息平台，完成试点单位接入并采集居民相关信息，实现市级平台档案等服务，并实现所有单位的全面接入。

ü  为解决超量数据的存储与计算的问题，搭建了存储全市数据的云计算平台，并在其上进行了基于大数据的分析和挖掘工作。

相关工作：

作为总工程师，负责技术管理、系统分析、云平台数据存储设计、数据分析与挖掘指导、开发指导。

l  上海市城市信息化领域智能联网工程 技术经理

ü  建设内容包括：接入单位的联网；智能卡的实现；城市信息化智能平台的升级；科研平台的扩展与升级；建立决策支持系统；评估体系的展示设计；短信平台的实现；违规操作的提醒；协同智能服务平台的实现等。

相关工作：

作为技术经理负责总体架构设计、接口设计、大数据平台设计、AI技术指导等。

3. 主攻方向

具有扎实的数据挖掘、机器学习、深度学习等人工智能理论基础；了解AIGC等技术前沿动态。

精通机器学习、深度学习的理论、模型、算法、调优等；精通算法设计；

熟悉深度学习在自然语言处理、计算机视觉两大核心领域的实用技巧；

15年以上的程序开发经验，熟悉常用程序开发架构，独立完成多个产品级软件的设计与开发。

• 5G物联网及人工智能

   

  课程背景：人工智能时代已经开启，其中物联网技术的运用就是最新尝试。将成为继互联网之后下有一个万亿级数的产业。本课程详细介绍物联网及人工智能的现状、发展、案例和技术发展。课程目标：1.了解物联网及可人工智能的基本知识2.物联网及人工智能核心技术和解决方案课程形式：以讲授为主，结合案例分析、视频观赏等形式。课程大纲：一、物联网..

  ￥   元/ 天

  人气：648  

  

• 大数据及人工智能背景下消费和小微信贷线上获客、产品设计、风控应对策略

   

  第一部分：金融科技发展状况的介绍一、金融科技的现状与发展趋势（一）宏观背景1、金融科技（支付宝人脸识别技术、APPLEPAY、虹膜技术、二维码支付技术）2、利率市场化3、金融脱媒（二）移动互联技术的发展使互联网金融成为可能1、移动互联网技术2、移动支付技术3、H5、APP（三）互联网金融对传统银行资产业务的颠覆和冲..

  ￥   元/ 天

  人气：657  

  

• 大数据时代——提升患者管理，构建专业药房

   

  【课程导言】：移动互联时代下，实体门店面临巨大的挑战，同时也是一种机会。马云说：不是实体门店不行了，而是你的实体门店不行了。面临新的冲击实体店如何进行创新，如何守住老阵地，如何利用新武器，这是所有实体连锁共同面临的问题。课程从互联网环境对我们的实体店挑战和我们面临的消费者消费习惯和方式的的变化入手，通过分析新零售良品铺子，海澜之家，名创优品的..

  ￥   元/ 天

  人气：542  

  

• 电商互联网大数据营销之落地实践铁律

   

  课程背景：未来人货场一切数字化，数据将成为一种资源，没有数据没有未来，企业如何构建自己的大数据未来？人工智能已经来临，人工智能在营销板块的应用本质就是大数据营销！企业的ERP、CRM、报表等等仅仅是零散的死数据，如何激活流动产生闭环，产生效益？经验将成为负债，未来将利用数据产品规划、定位、策划、人群分析、活动策划，数据成为商业的起点！人为..

  ￥19,100   元/ 天

  人气：939  

  

• 电商互联网智能商业：大数据营销分析与落地实践

   

  课程背景：数据是未来企业唯一资源，大数据营销意味着高效、精准、成本低、全自动化，让企业从人海战、广告战、渠道战的泥潭中拔出来为什么搜索广告效果差了？为什么团购效果也差了？为什么传统的用户细分、STP在大数据提出的用户画像面前苍白了？为什么独角兽全靠增长黑客模式崛起？企业未来如何搭建科学的大数据营销队伍，建立科学的数字营销体！通过互动获取数据，..

  ￥19,100   元/ 天

  人气：985  

  

• 大数据基础原理与应用

   

  一、运营商网络架构和技术选择1.运营商网络架构2.运营商业务类型3.接入网技术选择4.不同业务的技术实现二、全业务运营技术实现1.集团业务分类及特点2.集团高等级业务特点及业务场景3.集团低等级业务特点及业务场景4.集团高、低等级业务要求及技术选择5.数据专线业务及技术实现6.互联网专线业务及技术实现7.集..

  ￥   元/ 天

  人气：811