Hadoop+HBase技術項目教程

目錄 \n
\n
前言 \n
項目1 Hadoop 安裝 \n
1.1 大數(shù)據(jù)認知 \n
1.1.1 大數(shù)據(jù)是什么 \n
1.1.2 大數(shù)據(jù)應用領域 \n
1.1.3 大數(shù)據(jù)的特點 \n
1.1.4 大數(shù)據(jù)的技術架構 \n
1.2 Hadoop 認知 \n
1.2.1 Hadoop 起源 \n
1.2.2 Hadoop 的特點 \n
1.2.3 Hadoop 生態(tài)圈 \n
1.2.4 Hadoop 核心架構 \n
項目實現(xiàn) \n
任務1 安裝前準備 \n
任務2 虛擬機的安裝 \n
任務3 Ubuntu 的安裝 \n
任務4 解壓與壓縮命令 \n
任務5 JDK 安裝和配置 \n
任務6 Hadoop 的安裝 \n
拓展項目 \n
課后練習 \n
項目2 Hadoop 集群部署 \n
2.1 Linux 環(huán)境設置 \n
2.1.1 Linux 常用命令 \n
2.1.2 用戶（組）創(chuàng)建 \n
2.1.3 FileZilla 文件傳輸 \n
2.1.4 apt 更新 \n
2.1.5 vim 編輯器的應用 \n
2.1.6 網(wǎng)絡配置 \n
2.2 Hadoop 配置文件 \n
2.2.1 環(huán)境變量的配置 \n
2.2.2 SSH 安裝 \n
2.2.3 core-site.xml 配置文件 \n
2.2.4 hdfs-site.xml 配置文件 \n
2.2.5 Hadoop 偽分布式運行實例 \n
2.3 YARN 認知 \n
2.3.1 初識YARN \n
2.3.2 YARN 基本服務組件 \n
2.3.3 YARN 執(zhí)行過程 \n
項目實現(xiàn) \n
任務1 部署前準備 \n
任務2 集群網(wǎng)絡配置 \n
任務3 配置文件的設置 \n
任務4 集群部署 \n
拓展項目 \n
課后練習 \n
項目3 HDFS-電影信息管理 \n
3.1 HDFS 認知 \n
3.1.1 HDFS 簡介 \n
3.1.2 HDFS 特點 \n
3.1.3 HDFS 設計原則 \n
3.1.4 HDFS 核心概念 \n
3.2 HDFS 常用Shell 命令和基礎編程開發(fā) \n
3.2.1 HDFS 常用Shell 命令 \n
3.2.2 用HDFS API 實現(xiàn)上傳本地文件 \n
3.2.3 用HDFS API 實現(xiàn)創(chuàng)建HDFS 文件 \n
3.2.4 用HDFS API 實現(xiàn)讀取和寫入文件 \n
3.2.5 用HDFS API 實現(xiàn)創(chuàng)建HDFS 目錄 \n
3.2.6 用HDFS API 實現(xiàn)查找文件所在位置 \n
3.3 HDFS 工作機制 \n
3.3.1 HDFS 寫數(shù)據(jù)流程 \n
3.3.2 HDFS 讀數(shù)據(jù)流程 \n
3.3.3 NameNode 工作機制 \n
3.3.4 DataNode 工作機制 \n
項目實現(xiàn) \n
任務1 環(huán)境搭建 \n
任務2 寫入電影信息 \n
任務3 讀取電影信息 \n
拓展項目 \n
課后練習 \n
項目4 用MapReduce 統(tǒng)計網(wǎng)站最大訪問次數(shù) \n
4.1 MapReduce 認知 \n
4.1.1 MapReduce 的由來 \n
4.1.2 MapReduce 的執(zhí)行過程 \n
4.1.3 Mapper 過程 \n
4.1.4 Reduce 過程 \n
4.1.5 Shuffle 過程 \n
4.2 MapReduce 程序開發(fā) \n
4.2.1 IDEA 安裝 \n
4.2.2 MapReduce 輸入/輸出類型 \n
4.2.3 MapReduce 輸入處理類 \n
4.2.4 MapReduce 輸出處理類 \n
4.2.5 典型案例：WordCount \n
項目實現(xiàn) \n
任務1 POJO 類編寫 \n
任務2 Map 網(wǎng)站訪問數(shù)據(jù) \n
任務3 Reduce 網(wǎng)站訪問數(shù)據(jù) \n
任務4 項目驅動類編寫 \n
拓展項目 \n
課后練習 \n
項目5 用MapReduce 實現(xiàn)課程名稱和成績的二次排序 \n
5.1 MapReduce 高級開發(fā)一 \n
5.1.1 Combiner 合并編程 \n
5.1.2 Partitioner 分區(qū)編程 \n
5.1.3 RecordReader 編程 \n
5.2 MapReduce 高級開發(fā)二 \n
5.2.1 MapReduce 連接操作 \n
5.2.2 MapReduce 排序操作 \n
5.2.3 MapReduce 多文件聯(lián)合查詢 \n
項目實現(xiàn) \n
任務1 POJO 類編寫 \n
任務2 Map 課程和成績數(shù)據(jù) \n
任務3 Reduce 課程和成績數(shù)據(jù) \n
任務4 項目驅動類編寫 \n
拓展項目 \n
課后練習 \n
項目6 用Hive 實現(xiàn)購物用戶數(shù)據(jù)清洗 \n
6.1 Hive 認知 \n
6.1.1 Hive 簡介 \n
6.1.2 Hive 體系結構 \n
6.1.3 Hive 設計特征 \n
6.2 Hive 安裝 \n
6.2.1 偽分布式安裝與配置Hive \n
6.2.2 安裝與配置MySQL \n
6.3 Hive 基本操作 \n
6.3.1 Hive 數(shù)據(jù)類型 \n
6.3.2 數(shù)據(jù)庫操作 \n
6.3.3 內部表操作 \n
6.3.4 外部表操作 \n
6.3.5 分區(qū)表操作 \n
6.3.6 分桶表操作 \n
6.3.7 Hive 數(shù)據(jù)操作 \n
項目實現(xiàn) \n
任務1 導入數(shù)據(jù) \n
任務2 數(shù)據(jù)分析 \n
任務3 數(shù)據(jù)導出 \n
拓展項目 \n
課后練習 \n
項目7 用HBase 實現(xiàn)學生成績管理 \n
7.1 HBase 認知 \n
7.1.1 HBase 簡介 \n
7.1.2 HBase 體系結構 \n
7.1.3 HBase 寫數(shù)據(jù)流程 \n
7.1.4 HBase 讀數(shù)據(jù)流程 \n
7.2 HBase 安裝 \n
7.2.1 下載軟件 \n
7.2.2 偽分布式安裝與配置 \n
7.3 HBase shell 操作命令 \n
7.3.1 HBase 數(shù)據(jù)模型 \n
7.3.2 數(shù)據(jù)表空間操作 \n
7.3.3 數(shù)據(jù)表操作 \n
7.3.4 數(shù)據(jù)操作 \n
7.4 HBase API 操作 \n
7.4.1 HBase 常用的API \n
7.4.2 Configuration 對象 \n
7.4.3 HTable 句柄創(chuàng)建 \n
7.4.4 HBase 數(shù)據(jù)的CRUD 操作 \n
項目實現(xiàn) \n
任務1 學生成績表數(shù)據(jù)準備 \n
任務2 學生成績表設計分析 \n
任務3 學生成績表代碼實現(xiàn) \n
拓展項目 \n
課后練習 \n
項目8 Sqoop 導入導出 \n
8.1 概述 \n
8.1.1 Sqoop 產(chǎn)生背景 \n
8.1.2 Sqoop 是什么 \n
8.1.3 為什么選擇 Sqoop \n
8.2 工作原理 \n
8.2.1 導入機制 \n
8.2.2 導出機制 \n
8.3 安裝 \n
8.4 Sqoop 的基本命令 \n
8.4.1 基本操作 \n
8.4.2 示例 \n
項目實現(xiàn) \n
任務1 從RDBMS 導入到HDFS \n
任務2 從MySQL 導入到Hive \n
任務3 從MySQL 導入到HBase \n
課后練習 \n
Hadoop 綜合實例—網(wǎng)絡交易數(shù)據(jù)統(tǒng)計 \n
9.1 項目概述 \n
9.1.1 項目實現(xiàn)的思路 \n
9.1.2 項目流程 \n
9.2 準備工作 \n
9.2.1 項目環(huán)境的搭建 \n
9.2.2 Hadoop+HBase+Hive 集成 \n
9.2.3 HBase 數(shù)據(jù)庫設計原則 \n
9.2.4 數(shù)據(jù)概況 \n
項目實現(xiàn) \n
項目9 \n
任務1 POJO 類編寫 \n
任務2 統(tǒng)計不同品牌手機的銷售數(shù)量 \n
任務3 統(tǒng)計不同品牌手機銷量和銷售額占比 \n
任務4 統(tǒng)計某年每個月的手機銷售數(shù)量的比例 \n
任務5 統(tǒng)計每個月份各市區(qū)縣的手機銷售數(shù)量 \n
任務6 統(tǒng)計購買手機的男女比例 \n
任務7 統(tǒng)計不同手機品牌購買用戶的年齡區(qū)間人數(shù) \n
課后練習