1.課程簡介

本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個模塊的功能和開發(fā)技術(shù)。包括Hadoop體系中的HDFS，Hbase、ZooKeeper進(jìn)行數(shù)據(jù)操作，MapReduce進(jìn)行數(shù)據(jù)開發(fā)，YARN進(jìn)行資源配置，Hive完成數(shù)據(jù)倉庫，Pig進(jìn)行數(shù)據(jù)分析，理解其基本原理， Storm實時流式處理，Spark大數(shù)據(jù)處理框架等。并通過實驗掌握其操作和編程開發(fā)。

2.教學(xué)目標(biāo)

掌握大數(shù)據(jù)主流技術(shù)體系各個模塊的功能和基本原理，掌握各個技術(shù)模塊的安裝，基本操作與開發(fā)，能夠根據(jù)需求，完成對應(yīng)模塊上的應(yīng)用開發(fā)，理解大數(shù)據(jù)解決方案中的技術(shù)框架，能夠基于已有的框架完成一般項目的大數(shù)據(jù)應(yīng)用開發(fā)。

3.適合人群

Java高級開發(fā)人員，數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計相關(guān)在職人群，想從事大數(shù)據(jù)開發(fā)工作的在職人士 有職業(yè)技能、崗位晉升需求的在職人員 對大數(shù)據(jù)開發(fā)感興趣的業(yè)界人士。

4.課程內(nèi)容

章節(jié)1：Linux基礎(chǔ)

章節(jié)2：Java負(fù)基礎(chǔ)掃盲課程

章節(jié)3：JAVA語言基礎(chǔ)入門

章節(jié)4：JAVA核心編程

章節(jié)5：JavaWeb開發(fā)技術(shù)

章節(jié)6：傳統(tǒng)核心框架之SSH

章節(jié)7：MySQL基礎(chǔ)

章節(jié)8：Storm實時流式處理

章節(jié)9：Hadoop介紹

章節(jié)10：數(shù)據(jù)倉庫HIVE

章節(jié)11：分布式數(shù)據(jù)庫Hbase

章節(jié)12：計算模型MapReduce

章節(jié)13：分布式協(xié)作系統(tǒng)ZooKeeper

章節(jié)14：分布式文件系統(tǒng)HDFS體系結(jié)構(gòu)

章節(jié)15：Spark項目入門與提高

章節(jié)16：Spark項目編譯

章節(jié)17：Spark平臺下的機(jī)器學(xué)習(xí)

章節(jié)18：Scala編程語言

章節(jié)19：ElasticSearch搜索引擎

章節(jié)20：Flink精講

章節(jié)21：機(jī)器學(xué)習(xí)

章節(jié)22：超大集群調(diào)優(yōu)

5.項目實戰(zhàn)

項目一：通過PAI基于機(jī)器學(xué)習(xí)的精細(xì)化營銷方法、案例和算法。

項目二：互聯(lián)網(wǎng)電商數(shù)據(jù)爬蟲項目，分析抓取、解析、存儲和監(jiān)控。

項目三：Web應(yīng)用云高頻實時處理項目，包含Web服務(wù)、Web日志及其他實時數(shù)據(jù)。

項目四：某大型網(wǎng)站日志分析項目，使用hadoop、mapreduce、hive清理進(jìn)行分析。

項目五：移動業(yè)務(wù)感知項目，使用MR對多類數(shù)據(jù)分析，使用hive完成用戶維度關(guān)聯(lián)匯總。

項目六：用戶畫像分析系統(tǒng)項目，通過sqoop導(dǎo)入hdfs或spark的jdbc連接傳統(tǒng)數(shù)據(jù)庫。

項目七：非法網(wǎng)站監(jiān)測系統(tǒng)項目，對日志數(shù)據(jù)進(jìn)行實時采集、轉(zhuǎn)換與分發(fā)。

項目八：搭建個性化推薦系統(tǒng)。了解算法原理及引擎RecEng操作，搭建電商推薦系統(tǒng)上線。