对象：系统架构师、系统分析师、高级程序员、资深开发人员；高校、科研院所涉及到大数据与分布式数据处理的项目负责人；熟悉Hadoop生态系统，想更深入学习Hadoop与Spark整合在企业应用实战案例的朋友；
Hadoop数据分析与挖掘实战 Spark实战高端课程培训方案-课程详情
【课程优势】
本课程的最大优势就是：
1、整个培训过程老师带着学员进行全程上机操作，因此要求每个学员带笔记本电脑。
2、整个过程老师带着学员进行全程上机操作外，学员会进行全程实战演练，并且在演练过程中会以实际项目案例为主。在演练过程中老师会进行不断的指导，使培训课程真正落地。
【主讲老师】
刘 刚：
原阿里集团-阿里云研发中心大数据资深技术经理, 首席大数据专家，国内资深大数据实战专家。
刘老师现就职于某国际跨国专业大数据公司中国研发中心任高级技术经理，大中华区大数据总负责人。目前主要负责该国际跨国专业大数据公司在大中华区各大商业银行、电信等领域大数据系统的研发与现场实践。
刘老师同时是国内资深的、最早的一批大数据技术专家、虚拟
化专家，在进入阿里之前曾就职于高德等知名IT企业，担任Hadoop高级工程师。对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB、OpenStack等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富项目实施经验。
刘老师近年主持或参与的主要典型项目有：上海电信网络优化、中国移动广东移动省公司请账单系统和广州移动详单实时查询系统、中国银联大数据数据票据详单平台、中国光大银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等等。
【课程大纲】
“Hadoop数据分析与挖掘实战”课程内容
课程模块 | 课程主题 | 主要内容 | 案例和演示 |
模块一 | Hadoop组件详解 | 1、Hadoop HDFS 基本结构 2、Hadoop HDFS 副本存放策略 3、Hadoop NameNode 详解 4、HadoopSecondaryNameNode 详解 5、Hadoop DataNode 详解 6、Hadoop JobTracker 详解 7、Hadoop TaskTracker 详解 8、Yarn资源管理系统详解 9、Resourcemanager详解 10、NodeManager详解 | 1、Hadoop Mapper类核心代码 2、Hadoop Reduce类核心代码 3、Hadoop 核心代码 |
模块二 |
数据分析的算法详解 | 1、K-means算法详解 2、线性回归详解 3、机器学习详解 4、Canopy算法详解 5、贝叶斯算法详解 |
|
模块三 | Hive实战(数据分析) | 1、Hive （1）Hive的负载均衡搭建 （2）Hive的访问方式 （3）Hive的元数据存储到Mysql （4）Hive的数据类型 （5）Hive表的创建 （6）Hive加载数据 （7）Hive的CLI操作介绍 2、hive数据定义 （1）内部表和外部表 （2）表的分区 （3）删除表 （4）修改表 （5）查询语句 （6）where语句 3、Hive高级查询语句 （1）group by操作 （2）Join操作 （3）Order by和Sort by （4）Union all （5）索引 4、Hive的存储类型和复合数据类型 （1）TextFile （2）Sequence File （3）RCFile （4）Hive的自定输入格式 （5）Array （6）Map （7）Struct 5、Hive的内置函数和自定义UDF和UDAF实战 6、Hive的调优 （1）explain （2）队列设置 （3）Join优化 （4）本地模式和并行执行 （5）设置Mapper和Reducer的个数 （6）JVM重用 （7）索引 （8）动态分区调整 （9）推测执行 （10）Hive的debug调试 7、hive的安全 （1）Hive的hadoop安全的整合 （2）使用Hive进行验证 （3）Hive的权限管理 （4）分区级别的权限 （5）自定授权 8、Hive的案例实战 （1）nginx日志实战 （2）某公司的Hive项目 | 1、nginx日志实战 2、某公司的Hive项目 |
模块四 | Mahout实战(数据挖掘) | 1、Mahout安装测试 （2）基于项目的推荐器 | u |
模块五 | 数据挖掘在电信的案例 | 1、基站数据分析 2、人流的动态分析 3、拉链算法的案例详解 4、套餐的更改轨迹分析 5、客户中心的数据情感分析和挖掘 6、用户的通话记录分析 7、套餐的营销分析 8、分析流式的用户和挖掘潜在的客户 | u |
模块六 | 数据挖掘在银行的案例 | 1、财务分析 2、客户价值&风险定价 3、巴塞尔3 &信用风险 4、绩效管理 5、客户关系管理(CRM) 6、客户访问分析 7、流失路径 8、购买路径 9、欺诈路径 10、多渠道营销 11、欺诈 12、数据挖掘&原型设计 13、营销归因 14、投诉&销售合规 15、情感分析 | u |
“Spark实战”课程内容
模 块 | 培训大纲 |
Spark 运行架构和解析 | 1、Spark的运行架构 2、基本术语 3、运行架构 4、Spark on Standalone运行过程 5、Spark on YARN 运行过程 6、Spark运行实例解析 7、Spark on Standalone实例解析 8、Spark on YARN实例解析 |
Spark 监控和调优 | 1、Spark的监控 2、Spark调优 |
Spark 编程模型和解析 | 1、Spark的编程模型 2、Spark编程模型解析 3、RDD的特点、操作、依赖关系 4、Spark应用程序的配置 |
Spark scala编程 | 1、Scala基本语法 2、Scala开发环境搭建 3、Scala开发Spark应用程序 |
Spark Streaming原理和实践 | 1、Spark Streaming原理 2、Spark流式处理架构 3、DStream的特点 4、Dstream的操作和RDD的区别 5、Spark Streaming的优化 6、Spark Streaming实例 7、文本实例 8、网络数据处理 |
Spark SQL 原理和实践 | 1、Spark SQL原理 2、Spark SQL的Catalyst优化器 3、Spark SQL内核 4、Spark SQL和Hive 5、Spark SQL的实例和编程 6、Spark SQL的实例操作demo 7、Spark SQL的编程 |
Spark 源码研读 | 1、Spark源码研读 2、Spark源码下载和研读环境搭建 3、Spark Core介绍 4、SparkContext 5、Executor 6、Deploy 7、RDD和Storage 8、Scheduler和Task 9、Spark Examples |
Spark应用 案例实战 | 1、基于spark日志分析 2、个性化推荐系统：带你揭开其神秘面纱 3、在线投放引擎 4、揭开淘宝点击推荐系统的神秘面纱 5、京东商城数据服务架构—实时计算平台 |
口碑评价
-
匿名：在杭州这明好小语种这里学习德语有一段时间了，首先就是这边的交通比较好，每天来这里的话比较的方便，这就是我喜欢来这里学习的原因，这边的环境也非常的好，很适合我们在这边学习，这边的话教室也有很多，大的也有小的也有，都是按班来分的，价格也不同，我报的是小班，价格什么的也很不算很贵，这边的话老师比较年轻，但是讲的是一口流利的德语，听着非常的舒服的那种，我的老师是个女的，讲课的方式很幽默，我非常喜欢听她的课。
-
匿名：再过一年就要去德国留学了，可自己的德语真的很差都不能满足平常的对话。妈妈很上心，给我报了这里的辅导班，自己在这里学了几天后发现这里并没有自己想的那么枯燥，老师的讲课方式都很幽默风趣，很有意思，这样反而让那些抽象的知识变得更容易理解，记忆起来也很为方便。在学习上遇到什么问题可以直接问这里的老师，老师会耐心的一一做出解答。老师还会时常讲一些考试的应试技巧，我觉得这对我们帮助应该很大。自己在这里学习了一段时间，进步还是很大的。
-
匿名：这边的环境挺好的，顾问老师也很不错，会细心的考虑我是要出国的，给我做了详细的课程规划，淼淼老师也很赞，法语教的很好，而且会分享法国的美食、美景给我们，真想赶紧学好法语，去法国走一走。
-
匿名：出于兴趣，在这边学了法语，宁宁老师是个大美女，说话很温柔的，而且讲课很耐心的。有时候大家犯困的时候，老师就会给我们介绍法国风俗习惯，以及法国景点等等，调动大家的学习兴趣。而且我们这是小班，人不多，老师把每个人的学习进度都照顾到了。
-
匿名：自己从小就跟向往德国，学习了法西斯的暴虐后，想去看看那个有个生机的国家，终于高考完了，可以出去旅游，可是爸妈说我语言不同不要我去，我就在网上咨询了明好，想说学点简单的可以用到的，然后这边环境特别好，教师也很专业，态度很好，非常有耐心，教你学语种的老师的口语是非常重要的，这些老师的口语都练得很标准，如果你哪个地方不好或者是读的不好，老师都会把你纠正错误，不用担心嘲笑自己的口语不好，因为风围特别融洽，也很容易让自己练就胆子大。
-
匿名：明好教育是一家不错的语言培训机构，因为提升自己、对韩语比较感兴趣以及工作的需要，我早就想找一家好一点的语言培训机构学习韩语了，后来在同事和朋友的推荐下我找到了明好教育，我对这里的第一印象特别好，这里的前台接待人员特别有礼貌也十分有耐心，其次这里的教学环境很好，卫生很干净，学习氛围比较浓烈，老师上课教授课程的时候，课堂氛围很活跃，老师教授的内容逻辑清楚，容易理解。而且老师也比较认真负责，因为是语言类的学习，所以老师也会给留课下作业，等下次上课的时候会检查，如果不能完成就会有一个小惩罚，例如唱歌表演节目之类的。
-
匿名：我前不久在他们家报名学习日语的，因为自身的工作需要，涉及到日常日语的使用，我来这里是一起工作的朋友推荐的，她在这里学习德语。怪不得朋友会推荐我来这里，我来到这里才发现，他们家真的是特别令我满意，首先这里的工作人员特别热情招呼我，积极询问我的需求，根据我的需要替我安排上课那些，对我的提问和担心也是一一解答，特别耐心亲切。他们这里的学习环境也很好，让人感觉很轻松，小班制上课，对我们学习更加有利，老师上课也很风趣幽默，上课的氛围很轻松，一点不死板，特别喜欢，值得推荐给大家！
-
匿名：这里的服务态度很贴心，一开始我和同学去前台咨询日语的时候，顾问老师就很认真的给我们讲解了他们推出的课程，以及他们机构的特色教学。真的挺礼貌的，给人的感觉就是比较亲切我们报名的小班，就是她推荐的，学费很便宜，大约2000多左右，就能把日语基础学好了，她说这是有保证的，让我们很放心。老师们的教学都是比较新颖的，以前都是用的课件，现在改用新的教学模式，老师上的课程，微信上也有，如果你因为，家里有事或者什么没来上课，微信上也会有的，不怕耽误课程。
-
匿名：教学环境很好，非常舒适，安静，上课的课程气氛很浓厚，我是网上咨询的，他们联系我，后来告诉我觉得老师讲课还是不错的 最先报名时还是有顾虑 所以跟着朋友试听了下效果非常好，然后就和朋友一起来学习了~
-
匿名：我在这上过课，朋友介绍的，小语种很火的，我学的西班牙语，现在一个公司上班，算上绩效，每个月工资也不错，大学毕业之后找工作不太顺利，公司说要西班牙语翻译，朋友推荐我来这学，不得不说，朋友很靠谱，学成之后参加了实训，正好公司要我学西班牙语的，我就直接去了，现在很不错的，我对这很满意，无论是师资力量还是学习环境都很棒。
