尋路大數(shù)據(jù)：海量數(shù)據(jù)與大規(guī)模分析

定　價：￥59.00

作　者：	（美）Michael Manoochehri（邁克爾·馬諾切里）著；戴志偉，許楊毅，鄢博，陳冠誠譯
出版社：	電子工業(yè)出版社
叢編項：
標　簽：	計算機/網(wǎng)絡數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)庫

購買這本書可以去

ISBN：	9787121244728	出版時間：	2014-11-01	包裝：	平裝
開本：	16開	頁數(shù)：	244	字數(shù)：

內容簡介

　　這是一個數(shù)據(jù)爆發(fā)的時代，更是一個數(shù)據(jù)技術爆發(fā)的時代，各行各業(yè)都在因此進行深刻的變革。如何從眾多的數(shù)據(jù)技術中選擇正確的工具、如何使用這些工具從海量數(shù)據(jù)中挖掘出有價值的東西，無疑是非常具有挑戰(zhàn)性的問題?！秾ぢ反髷?shù)據(jù)：海量數(shù)據(jù)與大規(guī)模分析》作者結合自己在Google 大數(shù)據(jù)平臺工作的豐富經(jīng)驗，闡述了數(shù)據(jù)技術的方方面面。從數(shù)據(jù)收集、共享到數(shù)據(jù)存儲，從分布式數(shù)據(jù)平臺、分析型數(shù)據(jù)庫到數(shù)據(jù)可視化，從數(shù)據(jù)工作流構建到大規(guī)模數(shù)據(jù)分析，作者不僅進行了全面而深入的介紹，更覆蓋了目前流行的各種數(shù)據(jù)技術與工具，同時對技術選型提出了指導性的建議。最后，作者對數(shù)據(jù)挑戰(zhàn)的非技術因素進行了深刻的分析，并對數(shù)據(jù)技術的發(fā)展趨勢進行了展望，引人深思?！秾ぢ反髷?shù)據(jù)：海量數(shù)據(jù)與大規(guī)模分析》對企業(yè)管理者、技術經(jīng)理、數(shù)據(jù)分析師、數(shù)據(jù)應用開發(fā)人員和相關從業(yè)者都有很好的參考價值。決策者可以從中看到技術趨勢，把握時代發(fā)展脈搏；數(shù)據(jù)分析人員可以看到經(jīng)驗的總結和工具的應用；其他從業(yè)者可以從中了解數(shù)據(jù)技術所涉及的各個方面。

作者簡介

　　作者Michael Manoochehri 是個企業(yè)家、作家和樂觀主義者。憑借自己與企業(yè)、研究機構和非營利性機構多年的合作經(jīng)驗，他力圖讓可擴展數(shù)據(jù)分析變得更加廉價和易獲取。Michael 是Google 云平臺開發(fā)者關系組的成員之一，關注云計算和數(shù)據(jù)開發(fā)者產(chǎn)品，例如Google BigQuery。此外，Michael 是技術博客ProgrammableWeb.com的作者之一，曾在烏干達農村地區(qū)研究移動電話的使用，擁有UC Berkeley 信息學院的信息管理與系統(tǒng)文學碩士學位。譯者陳冠誠，并行實驗室創(chuàng)建者。在導師Prof. Per Stenstr＆ouml;m指導下完成碩士畢業(yè)設計“關于并行程序中鎖競爭的性能分析”。2011年加入IBM中國研究院系統(tǒng)組，從事云計算系統(tǒng)架構、海量數(shù)據(jù)處理等相關研究工作。

圖書目錄

第1 部分大數(shù)據(jù)時代指引 1
第1 章數(shù)據(jù)成功四原則 3
1．1 當數(shù)據(jù)成為一件“大”事 3
1．2 數(shù)據(jù)和單臺服務器 4
1．3 大數(shù)據(jù)的權衡 5
1．3．1 構建可（限）擴展的解決方案 6
1．3．2 構建可（在互聯(lián)網(wǎng)上）共享數(shù)據(jù)的系統(tǒng) 7
1．3．3 構建解決方案，而非基礎設施 8
1．3．4 關注從數(shù)據(jù)中解放價值 8
1．4 大數(shù)據(jù)流水線剖析 9
1．5 終極數(shù)據(jù)庫 10
1．6 總結 10
第2 部分收集和共享海量數(shù)據(jù) 13
第2 章托管和共享TB 級原始數(shù)據(jù) 15
2．1 文件之殤 16
2．1．1 共享大量文件的挑戰(zhàn) 16
2．2 存儲：基礎設施即服務 17
2．2．1 網(wǎng)絡很慢 18
2．3 選擇合適的數(shù)據(jù)格式 18
2．3．1 XML ：數(shù)據(jù)，描述你自己 20
2．3．2 JSON ：程序員的選擇 21
2．4 字符編碼 22
2．4．1 文件轉換 24
XXII 目錄
2．5 移動中的數(shù)據(jù)：數(shù)據(jù)序列化格式 25
2．5．1 Apache Thrift 和Protocol Buffers 26
2．6 總結 27
第3 章構建基于NoSQL 的Web 應用采集眾包數(shù)據(jù) 29
3．1 關系型數(shù)據(jù)庫：命令及控制 30
3．1．1 關系數(shù)據(jù)庫的ACID 測試 32
3．2 當關系型數(shù)據(jù)庫遇上互聯(lián)網(wǎng) 33
3．2．1 CAP 原理與BASE 34
3．3 非關系型數(shù)據(jù)庫的模式 36
3．3．1 鍵- 值數(shù)據(jù)庫 36
3．3．2 文檔存儲 38
3．4 為寫入性能優(yōu)化：Redis 40
3．5 在多個Redis 實例上分片 43
3．5．1 使用Twemproxy 自動分區(qū) 44
3．5．2 Redis 的替代選項 46
3．6 NewSQL ：Codd 歸來 46
3．7 總結 47
第4 章解決數(shù)據(jù)孤島問題的策略 49
4．1 堆滿術語的倉庫 49
4．1．1 實踐中的問題 51
4．1．2 數(shù)據(jù)合規(guī)與安全規(guī)劃 52
4．1．3 走進數(shù)據(jù)倉庫 53
4．1．4 數(shù)據(jù)倉庫的口訣：抽取、轉換和加載 54
4．2 Hadoop ：數(shù)據(jù)倉庫中的大象 55
4．3 數(shù)據(jù)孤島也可能是個優(yōu)點 55
4．3．1 專注于數(shù)據(jù)問題，而不是技術 56
4．3．2 鼓勵員工提出他們自己的問題 57
4．3．3 投資溝通數(shù)據(jù)孤島的技術 57
4．4 融合：數(shù)據(jù)孤島的終結 58
目錄XXIII
4．4．1 Luhn 的商業(yè)智能系統(tǒng)是否能成為現(xiàn)實 59
4．5 總結 59
第3 部分數(shù)據(jù)探究 61
第5 章使用Hadoop、Hive 和Shark 探索大規(guī)模數(shù)據(jù)集 63
5．1 什么是數(shù)據(jù)倉庫 64
5．2 Apache Hive ：在Hadoop 上進行交互式查詢 66
5．2．1 Hive 用例 66
5．2．2 Hive 實戰(zhàn) 67
5．2．3 在Hive 中使用其他數(shù)據(jù)源 71
5．3 Shark ：以內存的速度進行查詢 72
5．4 云中的數(shù)據(jù)倉庫 73
5．5 總結 74
第6 章使用Google BigQuery 構建數(shù)據(jù)信息中心 77
6．1 分析型數(shù)據(jù)庫 78
6．2 Dremel ：均貧富 79
6．2．1 Dremel 與MapReduce 的不同之處 80
6．3 BigQuery ：數(shù)據(jù)分析即服務 81
6．3．1 BigQuery 的查詢語言 82
6．4 建造自己的大數(shù)據(jù)信息面板 83
6．4．1 授權訪問BigQuery API 84
6．4．2 運行查詢并獲取結果 87
6．4．3 緩存查詢結果 88
6．4．4 添加可視化圖形 89
6．5 分析型查詢引擎的未來 91
6．6 總結 91
第7 章探索大數(shù)據(jù)的可視化策略 93
7．1 警世良言：將數(shù)據(jù)翻譯成故事 94
7．2 人類尺度 VS 機器尺度 97
XXIV 目錄
7．2．1 交互性 97
7．3 開發(fā)交互式數(shù)據(jù)應用 98
7．3．1 使用R 和ggplot2 實現(xiàn)交互式可視化 98
7．3．2 matplotlib： Python 的2D 圖形庫 100
7．3．3 D3．js ：用于Web 的交互式可視化庫 100
7．4 總結 104
第4 部分構建數(shù)據(jù)流水線 107
第8 章整合：MapReduce 數(shù)據(jù)流水線 109
8．1 數(shù)據(jù)流水線是什么 109
8．1．1 正確的工具 110
8．2 使用Hadoop Streaming 搭建數(shù)據(jù)流水線 111
8．2．1 MapReduce 和數(shù)據(jù)轉換 111
8．2．2 最簡單的流水線：stdin 到stdout 113
8．3 單步MapReduce 變換 115
8．3．1 從原始NVSS 數(shù)據(jù)中抽取相關信息：map 階段 116
8．3．2 合計每月出生數(shù)：reducer 階段 117
8．3．3 在本地測試MapReduce 流水線 118
8．3．4 在Hadoop 集群上運行我們的MapReduce 作業(yè) 119
8．4 降低復雜性：Hadoop 上Python 的MapReduce 框架 120
8．4．1 使用mrjob 重寫Hadoop Streaming 示例 121
8．4．2 建造一個多步流水線 122
8．4．3 在Elastic MapReduce 上運行mrjob 腳本 124
8．4．4 其他基于Python 的MapReduce 框架 125
8．5 總結 125
第9 章使用Pig 和Cascading 構建數(shù)據(jù)轉換工作流 127
9．1 大規(guī)模數(shù)據(jù)工作流實戰(zhàn) 128
9．2 多步MapReduce 轉換真復雜 128
9．2．1 Apache Pig ：拒絕復雜 129
目錄XXV
9．2．2 使用交互式Grunt shell 運行Pig 130
9．2．3 過濾和優(yōu)化數(shù)據(jù)工作流 132
9．2．4 以批處理模式運行Pig 腳本 132
9．3 Cascading ：構建健壯的數(shù)據(jù)工作流應用 133
9．3．1 以source 和sink 的方式思考 134
9．3．2 構建Cascading 應用 135
9．3．3 創(chuàng)建一個Cascade ：一個簡單的JOIN 例子 136
9．3．4 在Hadoop 集群上部署Cascading 應用 138
9．4 何時選擇Pig 或Cascading 139
9．5 總結 140
第5 部分基于大規(guī)模數(shù)據(jù)集的機器學習 141
第10 章使用Mahout 構建數(shù)據(jù)分類系統(tǒng) 143
10．1 機器能否預測未來 144
10．2 機器學習的挑戰(zhàn) 144
10．2．1 貝葉斯分類 146
10．2．2 聚類 146
10．2．3 推薦引擎 148
10．3 Apache Mahout ：可伸縮的機器學習工具 148
10．3．1 使用Mahout 進行文本分類 149
10．4 MLbase ：分布式機器學習框架 152
10．5 總結 152
第6 部分基于大規(guī)模數(shù)據(jù)集的統(tǒng)計分析 155
第11 章使用R 語言處理大數(shù)據(jù)集 157
11．1 統(tǒng)計學為什么性感 158
11．1．1 R 處理大型數(shù)據(jù)集的局限性 159
11．1．2 R 的數(shù)據(jù)幀和矩陣 161
XXVI 目錄
11．2 處理大數(shù)據(jù)集的策略 162
11．2．1 大矩陣處理：bigmemory 和biganalytics 162
11．2．2 ff：使用大于內存的數(shù)據(jù)幀 164
11．2．3 biglm ：大規(guī)模數(shù)據(jù)集的線性回歸 165
11．2．4 RHadoop：使用R 訪問Apache Hadoop 166
11．3 總結 168
第12 章使用Python 和Pandas 構建分析工作流 171
12．1 數(shù)據(jù)樂園中自在的蟒蛇――Python 172
12．1．1 為統(tǒng)計性計算選擇一門語言 172
12．1．2 擴展現(xiàn)有代碼 173
12．1．3 工具和測試 174
12．2 用于數(shù)據(jù)處理的Python 庫 174
12．2．1 NumPy 175
12．2．2 SciPy ：Python 的科學計算庫 176
12．2．3 數(shù)據(jù)分析庫Pandas 178
12．3 構建更復雜的工作流 182
12．3．1 處理損壞或丟失的記錄 184
12．4 iPython ：科學計算工具鏈的最后一環(huán) 185
12．4．1 在集群上并行執(zhí)行iPython 186
12．5 總結 190
第7 部分展望未來 191
第13 章何時選擇自制、購買或外包 193
13．1 功能重合的解決方案 193
13．2 理解你的數(shù)據(jù)問題 195
13．3 自制還是購買問題的參考手冊 197
13．3．1 你已經(jīng)對哪些技術有所投入 197
13．3．2 從小處著手 198
13．3．3 規(guī)劃時考慮可擴展性 198
目錄XXVII
13．4 私人數(shù)據(jù)中心 199
13．5 了解開源的成本 201
13．6 一切皆服務 202
13．7 總結 202
第14 章未來：數(shù)據(jù)科技的幾個趨勢 205
14．1 Hadoop ：攪局者與被攪局者 206
14．2 一切皆在云中 208
14．3 數(shù)據(jù)科學家的興衰 209
14．4 融合：終極數(shù)據(jù)庫 212
14．5 文化融合 213
14．6 總結 214