×

首页 > 企业定制

Spark技术全解

课程介绍:

Spark在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制,确保系统的稳定运行,Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中,具有非常好的易用性。

培训目标:

课程大纲:

第1堂课Spark的架构设计

1.1 Spark的速度为什么如此的快?

1.2 Spark 生态系统

1.3 Spark的架构设计剖析

1.4 RDD计算流程解析

1.5 Spark的出色容错机制

1.6Spark分布式架构与单机多核架构的异同

1.7 Spark的企业级应用

l Spark在Amazon中的应用

l Spark在Yahoo!的应用

l Spark在西班牙电信的应用

l Spark在淘宝的应用

第2堂课Spark集群的安装和设置

2.1 在一台机器上运行Spark

2.2 在Mesos上部署Spark

2.3 在YARN上部署Spark

2.4 通过SSH在众多机器上部署Spark

2.5 Spark集群设置

第3堂课Spark开发环境配置及流程

3.1 Scala简介、为什么Spark会使用Scala作为开发语言

3.2使用Eclipse开发Spark程序

3.3深入使用Spark Shell

3.4远程调试Spark程序

3.5 Spark编译

3.6配置Spark源码阅读环境

3.6.1 Maven

3.6.2

3.7 Spark 编程实战Java\Scala\Python语言的案例

3.7.1 Spark WordCount

3.7.2 Spark 排序

3.7.3. 使用Spark读取HDFS\File 数据

第4堂课快速掌握Scala

4.1 Scala变量声明、操作符、函数的使用实战

4.2 apply方法

4.3 Scal的控制结构和函数

4.4 Scala数组的操作、Map的操作

4.5 Scala中的类

4.6 Scala中对象的使用;

4.7 Scala中的继承

4.8 Scala中的特质

4.9 Scala中集合操作

第二天

第5堂课Spark On Yarn

l Spark on Yarn & Spark as a service

l Spark on Yarn原理

l Spark on Yarn实践

l JobServer架构

l JobServer API介绍

l JobServer配置与部署

6堂课SparkContext解析和数据加载以及存储

6.1 源码剖析SparkContext

6.2 Scala、Java、Python使用SparkContext

6.4 加载数据成为RDD

6.5 把数据物化

第7堂课:深入实战RDD

7.1 DAG

7.2 深入实战各种Scala RDD Function

7.3 Spark Java   RDD Function

7.4 RDD的优化问题

第8堂课:Shark与Spark SQL

l Shark与Hive及Shark数据模型

l 安装和配置Shark及Shark数据类型

l 使用Shark处理数据

l 在Spark程序中使用Shark Queries

l SharkServer

l Spark SQL架构

l Parquet支持

l DSL

l SQL on RDD&UDF&JDBC Server

l DataFrame API

l Hive交互

l 外部数据源API

l 与Spark其他组件的交互

l Catalyst查询优化器

第9堂课:Spark程序的测试

9.1 编写可测试的Spark程序

9.2 Spark测试框架解析

9.3 Spark测试代码实战

第10堂课 Spark   Streaming

l Spark Streaming概述

l Spark Streaming安装

l 和 Storm 性能对比分析

l DStream

l Operations

l Persistence

PMI, PMP, Project Management Professional, CAPM, PgMP, PfMP, PMI-ACP, PMI-RMP, PMI-SP, PMI-PBA and PMBOK are registered marks of the Project Management Institute, Inc.

ITIL® is a registered trade mark of AXELOS Limited, used under permission of AXELOS Limited. All rights reserved.

PRINCE2® is a registered trade mark of AXELOS Limited, used under permission of AXELOS Limited. All rights reserved.

Copyright © 2006-2019 东方瑞通(北京)咨询服务有限公司版权所有

京ICP备 13009094号 京公网安备 11010802014211号