中科院计算所培训中心
中科院计算所培训中心> “大数据实时处理–Spark及BDAS技术应用”培训课课程介绍
“大数据实时处理–Spark及BDAS技术应用”培训课
“大数据实时处理–Spark及BDAS技术应用”培训课

对象:

“大数据实时处理–Spark及BDAS技术应用”培训课-课程详情
“大数据实时处理–Spark及BDAS技术应用”培训课是中科院计算所培训中心专门为了设置的课程,“大数据实时处理–Spark及BDAS技术应用”培训课滚动开班想了解“大数据实时处理–Spark及BDAS技术应用”培训课的具体课时、学费、开课时间、师资力量、开课地点等详细信息可咨询客服,也可以咨询客服获取最新优惠活动及试听预约。下面一起来看看具体课程介绍吧。

一、培训对象

1,系统架构师、系统分析师、高级程序员、资深开发人员。

2,牵涉到大数据实时处理的数据中心运行、规划、设计负责人。

3,政府机关、金融保险、移动和互联网等大数据来源单位的负责人。

4,高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

二、学员基础

1,对IT系统设计有一定的理论与实践经验。

2,数据仓库与大数据实时处理有一定的基础知识。

三、师资

由业界知名云计算专家亲自授课:

杨老师   主要研究网络信息分析以及云计算相关技术,长期从事数据仓库、数据挖掘以及大数据分析技术研究,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。

四、培训要点

互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据实时分析的决策模型和技术支持。

大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据实时处理意味着更严峻的挑战,更好地管理和处理这些数据也将会获得意想不到的收获。 

Spark生态系统(BDAS项目)已经发展成一个包含多个子项目的集合,Spark SQL、Spark Streaming、GraphX、MLlib等,本课程将介绍Spark大数据计算框架、架构、计算模型和数据管理策略,及Spark在业界的应用。

本课程从大数据实时处理技术以及Spark实战的角度,结合理论和实践,全方位地介绍Spark大数据实时处理工具的原理和内核。

本课程教学过程中提供了案例分析来帮助学员了解如何用BDAS系列工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键所在。

本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论解决方案的深入课程。讲师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会在实验环境中演示、实践,以加深对于这些解决方案的理解。通过本课程学习,希望推动大数据相关的项目开发上升到一个新水平。

五、培训内容

讲 Spark大数据实时处理技术

  1)大数据处理技术

  2)Spark实时处理技术

  3)Spark生态系统BDAS

  4)Spark架构分析

第二讲 Spark安装配置及监控

  1)Ubuntu环境的准备

  2)Hadoop2.X和Scala

  3)搭建Spark开发环境

  4)Idea编译和运行

  5)Spark监控管理

第3讲 Scala编程语言使用概述

  1) Scala编程语言

  2) 基本数据类型

  3) 操作基本数据类型

  4) 类和对象 

  5) 组合和继承

第四讲 Spark分布式计算框架

  1)Spark计算模型

  2)弹性分布式数据集RDD

  3)Spark的数据存储

  4)Transformation算子分类及功能

  5)Actions算子分类及功能

第五讲 Spark内部工作机制详解

  1)  Spark底层实现原理

  2)  Spark应用执行机制

  3)  Spark调度与任务分配模块

  4)  FIFO和FAIR调度算法 

第六讲 Spark数据读取与存储

   1)Spark的I/O机制

   2)Spark中的数据压缩

   3)Spark的数据读取与存储

   4)Spark数据读写流程

第七讲 Spark通信模块和容错机制

   1)Spark通信模块

   2)通信框架AKKA 

   3)容错机制和Lineage依赖

   4)检查点机制进行容错

   5)Shuffle过程

第八讲 SQL On Spark

   1) BDAS数据分析软件栈

   2) SQL On Spark

   3) Spark SQL工具使用

   4) Shark工具使用

5) Hive on Spark工具

6) Spark操作HBase中的数据

第九讲 Spark流数据处理工具Streaming

   1) 流数据处理工具Streaming

   2) Spark Streaming架构

   3) Spark Streaming原理

   4) Spark Streaming实例

第十讲 Spark中的大数据挖掘工具MLlib

   1)大数据挖掘工具MLlib

   2)MLlib的数据存储

   3)MLlib中的聚类和分类

   4)MLlib算法应用实例

   5)利用MLlib进行推荐

第十一讲 Spark大规模图处理工具GraphX

   1)大规模图处理工具GraphX

   2)GraphX的运行架构

   3)GraphX操作使用

   4)GraphX使用实例

第十二讲 Spark在业界的应用案例

   1)Spark在Amazon的应用

   2)Spark在Yahoo!的应用

   3)Spark在Telefonica的应用

   4)Spark在淘宝的应用

六、培训目标

1, 全面了解大数据实时处理技术的相关知识。

2,学习Spark的核心技术方法以及应用特征。

3,深入使用Spark在大数据实时处理中的使用。 

4,掌握BDAS相关工具及其主要功能。

七、培训时间、地点

地点:北京

地点:上海

地点:深圳

八、证 书

培训结束,颁发中科院计算所职业培训中心“大数据实时处理- Spark及BDAS技术应用”结业证书。

九、费 用

培训费:5500元/人(含教材、证书、午餐、学习用具等)。住宿协助安排,费用自理。

以上就是中科院计算所培训中心“大数据实时处理–Spark及BDAS技术应用”培训课的全部介绍,如需了解更多关于“大数据实时处理–Spark及BDAS技术应用”培训课的信息可以咨询我们客服。咨询客服可以获取中科院计算所培训中心最新优惠活动及试听预约。想要了解的同学赶紧和我们联系吧!中科院计算所培训中心报名电话4009689396
校区环境
中科院计算所培训中心环境图片
中科院计算所培训中心环境图片
中科院计算所培训中心环境图片
中科院计算所培训中心环境图片

口碑评价

  • 匿名:在杭州这明好小语种这里学习德语有一段时间了,首先就是这边的交通比较好,每天来这里的话比较的方便,这就是我喜欢来这里学习的原因,这边的环境也非常的好,很适合我们在这边学习,这边的话教室也有很多,大的也有小的也有,都是按班来分的,价格也不同,我报的是小班,价格什么的也很不算很贵,这边的话老师比较年轻,但是讲的是一口流利的德语,听着非常的舒服的那种,我的老师是个女的,讲课的方式很幽默,我非常喜欢听她的课。

  • 匿名:再过一年就要去德国留学了,可自己的德语真的很差都不能满足平常的对话。妈妈很上心,给我报了这里的辅导班,自己在这里学了几天后发现这里并没有自己想的那么枯燥,老师的讲课方式都很幽默风趣,很有意思,这样反而让那些抽象的知识变得更容易理解,记忆起来也很为方便。在学习上遇到什么问题可以直接问这里的老师,老师会耐心的一一做出解答。老师还会时常讲一些考试的应试技巧,我觉得这对我们帮助应该很大。自己在这里学习了一段时间,进步还是很大的。

  • 匿名:这边的环境挺好的,顾问老师也很不错,会细心的考虑我是要出国的,给我做了详细的课程规划,淼淼老师也很赞,法语教的很好,而且会分享法国的美食、美景给我们,真想赶紧学好法语,去法国走一走。

  • 匿名:出于兴趣,在这边学了法语,宁宁老师是个大美女,说话很温柔的,而且讲课很耐心的。有时候大家犯困的时候,老师就会给我们介绍法国风俗习惯,以及法国景点等等,调动大家的学习兴趣。而且我们这是小班,人不多,老师把每个人的学习进度都照顾到了。

  • 匿名:自己从小就跟向往德国,学习了法西斯的暴虐后,想去看看那个有个生机的国家,终于高考完了,可以出去旅游,可是爸妈说我语言不同不要我去,我就在网上咨询了明好,想说学点简单的可以用到的,然后这边环境特别好,教师也很专业,态度很好,非常有耐心,教你学语种的老师的口语是非常重要的,这些老师的口语都练得很标准,如果你哪个地方不好或者是读的不好,老师都会把你纠正错误,不用担心嘲笑自己的口语不好,因为风围特别融洽,也很容易让自己练就胆子大。

  • 匿名:明好教育是一家不错的语言培训机构,因为提升自己、对韩语比较感兴趣以及工作的需要,我早就想找一家好一点的语言培训机构学习韩语了,后来在同事和朋友的推荐下我找到了明好教育,我对这里的第一印象特别好,这里的前台接待人员特别有礼貌也十分有耐心,其次这里的教学环境很好,卫生很干净,学习氛围比较浓烈,老师上课教授课程的时候,课堂氛围很活跃,老师教授的内容逻辑清楚,容易理解。而且老师也比较认真负责,因为是语言类的学习,所以老师也会给留课下作业,等下次上课的时候会检查,如果不能完成就会有一个小惩罚,例如唱歌表演节目之类的。

  • 匿名:我前不久在他们家报名学习日语的,因为自身的工作需要,涉及到日常日语的使用,我来这里是一起工作的朋友推荐的,她在这里学习德语。怪不得朋友会推荐我来这里,我来到这里才发现,他们家真的是特别令我满意,首先这里的工作人员特别热情招呼我,积极询问我的需求,根据我的需要替我安排上课那些,对我的提问和担心也是一一解答,特别耐心亲切。他们这里的学习环境也很好,让人感觉很轻松,小班制上课,对我们学习更加有利,老师上课也很风趣幽默,上课的氛围很轻松,一点不死板,特别喜欢,值得推荐给大家!

  • 匿名:这里的服务态度很贴心,一开始我和同学去前台咨询日语的时候,顾问老师就很认真的给我们讲解了他们推出的课程,以及他们机构的特色教学。真的挺礼貌的,给人的感觉就是比较亲切我们报名的小班,就是她推荐的,学费很便宜,大约2000多左右,就能把日语基础学好了,她说这是有保证的,让我们很放心。老师们的教学都是比较新颖的,以前都是用的课件,现在改用新的教学模式,老师上的课程,微信上也有,如果你因为,家里有事或者什么没来上课,微信上也会有的,不怕耽误课程。

  • 匿名:教学环境很好,非常舒适,安静,上课的课程气氛很浓厚,我是网上咨询的,他们联系我,后来告诉我觉得老师讲课还是不错的 最先报名时还是有顾虑 所以跟着朋友试听了下效果非常好,然后就和朋友一起来学习了~

  • 匿名:我在这上过课,朋友介绍的,小语种很火的,我学的西班牙语,现在一个公司上班,算上绩效,每个月工资也不错,大学毕业之后找工作不太顺利,公司说要西班牙语翻译,朋友推荐我来这学,不得不说,朋友很靠谱,学成之后参加了实训,正好公司要我学西班牙语的,我就直接去了,现在很不错的,我对这很满意,无论是师资力量还是学习环境都很棒。

中科院计算所培训中心校区
  • 中关村校区立即咨询

    中关村958楼中科天博大厦

电话咨询 在线咨询 在线预约