云计算技术简介 |
云计算技术概述,大数据时代来临,Google云计算技术,Amazon云计算技术,微软云计算技术等。 |
初始Hadoop |
Hadoop的起源、解决的问题、
以及它的特点、应用场景和发展趋势,企业应用情况,为什么使用,及其生态系统介绍。 |
Hadoop
单节点伪分布式安装 |
Hadoop
1.0 版本 安装环境搭建 |
Hadoop
架构 |
Hadoop
整体架构设计及重要的概念 |
Hadoop
HDFS 体系结构 |
1:HDFS
架构设计目标,设计思想,
2:特点,基本概念,容错性。
3:HDFS
界面介绍
4:HDFS
服务 |
Hadoop
HDFS 命令行 |
Hadoop
HDFS Shell 基本操作 |
HDFS
Java API 使用 |
1:基于Eclipse开发环境搭建
2:Java
API示范 :比如建立文件,删除,移动复制等 |
Hadoop
MapReduce 架构 原理 |
1:MapReduce 架构详解
2:MapReduce
流程
3:MapReduce
特点
4:MapReduce
容错性
5:MapReduce
服务 |
Hadoop
MapReduce api |
1:Mapper
2:Reducer
3:Driver |
Hadoop
MapReduce 编程实践 wordcount |
1:WordCount
程序编写,演示
2:运行MR
Job 示例 |
高级MR
编程 |
1:RecordReader
2:Partitioner
3:Combiner |
Hadoop
MapReduce IO |
1:数据完整性校验
2:压缩,包括:LZO、GZIP、Snappy
3:序列化
4:基于文件的数据结构,包括:SequenceFile、MapFile |
调优 |
调优经验分享 |
课程中的HBase部分:
掌握HBase基本原理,应用场景,掌握基本的编程技巧
章节课程 |
内容描述 |
初始HBase |
1:NoSql
数据库简介.
2:HBase
简介及与传统关系数据库的对比。
3:HBase
应用场景,企业应用情况,为什么使用。
4:HBase
特点 |
HBase
环境搭建 |
HBase
环境搭建 |
HBase
体系结构 |
1:HBase架构
2:HMaster、RegionServer、 Regoin 等概念 |
HBase
数据模型 |
1:表
2:Rowkey
3:Column
Families |
HBase
Shell 命令行 |
1:启动HBase
Shell
2:建立表
3:访问数据(添加,删除,查询)
4:练习 |
HBase
api 简单编程介绍 |
1:基于Eclipse开发环境搭建
2:基本操作(建表,查询数据,删除)
3:高级操作
(使用过滤器)
4:练习 |
HBase
row-key 设计及Scheme 设计 |
经验分享,设计原则 |
HBase
coprocessor等高级特性介绍 |
1:coprocessor特性分析,使用场景;
2:HBase
优化简单原则 |
课程中的Hive部分:
掌握Hive基本原理,应用场景,掌握基本的编程技巧
章节课程 |
内容描述 |
初始Hive |
1:Hive简介
2:为什么使用Hive
3:Hive
应用场景,企业应用情况 |
Hive
环境搭建 |
Hive
伪分布式环境搭建 |
Hive
体系结构 |
1:Hive主要的组件
2:用户接口
3:概念 |
Hive
QL |
1:Hive
类Sql
2:DDL
3:DML
4:Select
与连接查询 |
Hive
Java API |
1:搭建
Hive JDBC 开发环境
2:Hive
JDBC 开发流程 |
Hive
用户自定义函数简单介绍 |
UDF和UADF |
课程中的分布式协调系统Zookeeper部分:
掌握Zookeeper基本原理,应用场景,掌握基本的编程技巧
章节课程 |
内容描述 |
初始Zookeeper |
1:什么是ZooKeeper
2:ZooKeeper特性 |
Zookeeper
体系结构 |
1:ZooKeeper体系结构
2:ZooKeeper存储结构 |
Zookeeper
选举与锁机制 |
1:Zookeeper
选举机制
2:Zookeeper
选举算法
3:Zookeeper
锁机制 |
ZooKeeper
CRUD API |
1:Create
2:Read
3:Update
4:Delete |
Zookeeper
应用场景 |
Zookeeper
应用场景 |