北京大數(shù)據(jù)基礎課程培訓 2021-04-15 14:04:11

大數(shù)據(jù)技術基礎

內(nèi)容一：大數(shù)據(jù)基礎

1．什么是大數(shù)據(jù)

2．大數(shù)據(jù)技術的產(chǎn)生背景

3．大數(shù)據(jù)應用場景

4．大數(shù)據(jù)思維

5．大數(shù)據(jù)產(chǎn)業(yè)鏈

6．大數(shù)據(jù)是如何變革各行業(yè)的技術架構、商業(yè)模式

7．國內(nèi)外主流的大數(shù)據(jù)解決方案介紹

8．當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較

9．開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析

內(nèi)容二：Linux集群

1． Linux操作系統(tǒng)知識

2． Linux網(wǎng)絡配置管理

3． Linux的x86服務器集群管理

內(nèi)容三：Hadoop大數(shù)據(jù)平臺

1．Hadoop的發(fā)展歷程以及產(chǎn)業(yè)界的實際應用介紹

2．Hadoop大數(shù)據(jù)平臺架構

3．基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理

4．分析處理的工作原理與機制

5．Hadoop的核心組件剖析

HDFS

內(nèi)容一：HDFS

1．分布式文件系統(tǒng)HDFS的簡介

2．HDFS系統(tǒng)的主從式平臺架構和工作原理

3．HDFS核心組件技術講解

4．HDFS NameNode的工作機制和元數(shù)據(jù)管理設計

5．HDFS    DataNode的數(shù)據(jù)存儲機制設計

6．HDFS的副本機制設計

7．HDFS的可靠性機制設計

8．HDFS的I/O存取技術應用

9．基于HDFS的大型存儲系統(tǒng)應用開發(fā)實戰(zhàn)

10．HDFS集群的安裝、部署、配置與性能優(yōu)化實踐

11．分布式鍵值存儲系統(tǒng)的平臺架構、核心技術以及應用開發(fā)

12．PB及大數(shù)據(jù)存儲系統(tǒng)的項目案例分析

MapReduce與Yarn、ZooKeeper

內(nèi)容一：MapReduce與Yarn技術實踐

1．MapReduce并行計算模型

2．MapReduce作業(yè)執(zhí)行與調(diào)度技術

3．第二代大數(shù)據(jù)處理框架Yarn的并行處理實戰(zhàn)

4．MapReduce應用開發(fā)環(huán)境的部署，以及大數(shù)據(jù)并行處理應用程序開發(fā)

5．MapReduceLevel 5編程技巧與性能優(yōu)化實踐

6．MapReduce與Yarn大數(shù)據(jù)分析處理案例分析

內(nèi)容二：ZooKeeper分布式協(xié)調(diào)服務

1．ZooKeeper分布式協(xié)調(diào)服務系統(tǒng)的工作原理、平臺架構、集群部署應用實戰(zhàn)

2．ZooKeeper集群的原理架構，以及應用配置

3．部署與配置ZooKeeper分布式集群

Hbase

內(nèi)容：Hbase

4．NoSQL數(shù)據(jù)庫與NewSQL數(shù)據(jù)庫技術概述

5．HBase分布式數(shù)據(jù)庫簡介

6．HBase分布式數(shù)據(jù)庫集群的主從式平臺架構和關鍵技術剖析

7．HBase偽分布式和物理集群分布式的控制與運行配置

8．HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序

9．HBase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則

10．HBase 主節(jié)點HMaster的工作原理，HMaster的高可用配置，以及性能調(diào)優(yōu)

11．HBase 從節(jié)點RegionServer（分區(qū)服務節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調(diào)優(yōu)

12．HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結(jié)構，以及HFile存儲結(jié)構

13．HBase表設計與數(shù)據(jù)操作以及數(shù)據(jù)管理操作

14．HBase集群安裝部署、參數(shù)配置和性能優(yōu)化

15．HBase的元數(shù)據(jù)管理，以及與ZooKeeper的交互機制

16．HBase集群的運維與監(jiān)控管理，以及常見故障的解決之道

大型數(shù)據(jù)倉庫Hive集群平臺

內(nèi)容：Hive

1．數(shù)據(jù)倉庫概述

2．Hive大數(shù)據(jù)倉庫簡介以及應用介紹

3．Hive Server的工作原理、機制與應用

4．Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化

5．Hive應用開發(fā)技巧

6．Hive SQL剖析與應用實踐

7．Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導入導出、客戶端操作技巧

8．Hive數(shù)據(jù)倉庫報表設計

Scala

內(nèi)容：Scala應用基礎

1．Scala基礎語法

2．數(shù)據(jù)類型

3．變量

4．循環(huán)

5．函數(shù)

6．數(shù)組

7．類和對象

8．模式匹配

文件讀寫

Spark大數(shù)據(jù)實時處理

內(nèi)容一：Spark大數(shù)據(jù)實時處理平臺剖析

1．Spark的發(fā)展歷程以及業(yè)界的實際應用介紹

2．Spark實時大數(shù)據(jù)處理平臺架構

3．Spark RDD內(nèi)存彈性分布式數(shù)據(jù)集的工作原理與機制

4．Spark的核心組件剖析

5．基于Spark的應用實踐案例

內(nèi)容二：Spark應用基礎

1．Spark的實時處理基礎知識

2．Spark生態(tài)系統(tǒng)概述以及發(fā)展歷程

3．Spark在處理實時數(shù)據(jù)場景下的優(yōu)勢和處理模式

4．Spark內(nèi)存計算編程框架

5．Spark Core的基礎原理

6．Spark SQL的基礎原理

7．Spark Streaming的基礎原理

8．Spark在業(yè)界的實際應用場景與相關案例簡介

Flume和sqooq

內(nèi)容一：Flume海量日志聚合

1．Flume簡介及架構

2．Flume關鍵特性介紹

3．Flume應用

內(nèi)容二：sqooq數(shù)據(jù)轉(zhuǎn)換

1．sqooq簡介

2．sqooq作業(yè)管理

3．sqooq應用

內(nèi)容三：Oozie

4．Oozie簡介及架構

5．Oozie工作流

6．Oozie應用

Kafka

內(nèi)容：Kafka分布式消息訂閱系統(tǒng)

1．Kafka簡介

2．Kafka架構與功能

3．Kafka關鍵流程

4．Kafka應用

Flink流處理引擎

內(nèi)容：Flink實時處理

1．Flink原理架構

2．Flink的Time和Window機制

3．Flink的Watermark機制

4．Flink的容錯與狀態(tài)管理

ElasticSearch

和Redis

內(nèi)容一： ElasticSearch分布式全文檢索

1．ElasticSearch簡介

2．ElasticSearch系統(tǒng)架構

3．ElasticSearch關鍵特性

內(nèi)容二：Redis內(nèi)存數(shù)據(jù)庫

1．Redis應用場景

2．Redis業(yè)務流程

3．Redis特性及數(shù)據(jù)類型

4．Redis的優(yōu)化

5．Redis案例應用