NoSQL數(shù)據(jù)庫技術(shù)實戰(zhàn)

第1篇 NoSQL的興起與理論基礎(chǔ)
第1章 NoSQL與大數(shù)據(jù)簡介 2
1.1 引子——NoSQL在國內(nèi)使用的案例 2
1.1.1 新浪微博 2
1.1.2 淘寶數(shù)據(jù)平臺 3
1.1.3 視覺中國網(wǎng)站 4
1.1.4 優(yōu)酷運營數(shù)據(jù)分析 5
1.1.5 飛信空間 6
1.1.6 豆瓣社區(qū) 7
1.2 大數(shù)據(jù) 8
1.2.1 大數(shù)據(jù)的度量單位 8
1.2.2 大數(shù)據(jù)的特點 9
1.3 大數(shù)據(jù)相關(guān)技術(shù) 10
1.3.1 大數(shù)據(jù)采集技術(shù) 10
1.3.2 大數(shù)據(jù)預處理技術(shù) 11
1.3.3 大數(shù)據(jù)存儲及管理技術(shù) 11
1.3.4 大數(shù)據(jù)分析及挖掘技術(shù) 11
1.3.5 大數(shù)據(jù)展現(xiàn)與應用技術(shù) 12
1.4 NoSQL簡介 12
1.4.1 什么是NoSQL 12
1.4.2 關(guān)系型數(shù)據(jù)庫簡史 13
1.4.3 數(shù)據(jù)庫分類 13
1.4.4 關(guān)系型數(shù)據(jù)庫的優(yōu)勢 14
1.4.5 不擅長的處理 15
1.4.6 NoSQL數(shù)據(jù)庫 18
1.5 NoSQL數(shù)據(jù)庫的類型 20
1.5.1 鍵值（Key/Value）存儲 20
1.5.2 面向文檔的數(shù)據(jù)庫 21
1.5.3 面向列的數(shù)據(jù)庫 22
1.6 如何使用和學習NoSQL數(shù)據(jù)庫 23
1.6.1 始終只是一種選擇 23
1.6.2 在何種程度上信賴它 23
1.7 云數(shù)據(jù)管理 24
第2章 NoSQL的數(shù)據(jù)一致性 25
2.1 傳統(tǒng)關(guān)系數(shù)據(jù)庫中的ACID 25
2.1.1 原子性 25
2.1.2 一致性 25
2.1.3 隔離性 26
2.1.4 持久性 26
2.1.5 舉例 26
2.2 CAP理論 27
2.2.1 NoSQL系統(tǒng)是分布式系統(tǒng) 27
2.2.2 CAP理論闡述 27
2.3 AP的例子——DNS系統(tǒng) 29
2.3.1 DNS系統(tǒng) 29
2.3.2 DNS域名解析過程 29
2.3.3 DNS系統(tǒng)是最終一致性的 31
2.4 數(shù)據(jù)一致性模型與BASE 31
2.4.1 數(shù)據(jù)一致性模型 31
2.4.2 BASE（Basically Available，Soft-state，Eventual consistency） 32
2.5 數(shù)據(jù)一致性實現(xiàn)方法 33
2.5.1 Quorum系統(tǒng)NRW策略 33
2.5.2 時間戳策略 34
2.5.3 向量時鐘 37
第3章 NoSQL的水平擴展與其他基礎(chǔ)知識 41
3.1 所有數(shù)據(jù)存放在一個服務器上 41
3.2 分片（Sharding） 41
3.3 主從復制 43
3.4 對等（Peer To Peer）復制 44
3.5 復制和分片的同時使用 45
3.6 數(shù)據(jù)水平擴展的方法總結(jié) 46
3.7 分片對數(shù)據(jù)的劃分方式 46
3.7.1 Range-Based Partitioning 47
3.7.2 Round-Robin 49
3.8 一致性hash算法（Consistent Hashing） 50
3.8.1 基本場景 51
3.8.2 hash算法和單調(diào)性 51
3.8.3 Consistent Hashing算法的原理 51
3.8.4 虛擬節(jié)點 54
3.9 磁盤的讀寫特點及五分鐘法則 55
3.9.1 磁道、扇區(qū)、柱面和磁頭數(shù) 56
3.9.2 固態(tài)硬盤（SSD）：隨機讀寫速度快 57
3.9.3 內(nèi)存：讀寫速度極快 57
3.9.4 五分鐘法則 57
3.10 不要刪除數(shù)據(jù) 58
第2篇 列式NoSQL系統(tǒng)
第4章 BigTable與Google云計算原理 60
4.1 云計算 60
4.1.1 云計算的概念 60
4.1.2 云計算發(fā)展現(xiàn)狀 63
4.1.3 云計算實現(xiàn)機制 64
4.1.4 網(wǎng)格計算與云計算 66
4.2 Google文件系統(tǒng)GFS 68
4.2.1 系統(tǒng)架構(gòu) 69
4.2.2 容錯機制 71
4.2.3 系統(tǒng)管理技術(shù) 72
4.3 并行數(shù)據(jù)處理MapReduce 73
4.3.1 產(chǎn)生背景 73
4.3.2 編程模型 73
4.3.3 實現(xiàn)機制 74
4.4 分布式鎖服務Chubby 78
4.4.1 Paxos算法 78
4.4.2 Chubby系統(tǒng)設(shè)計 79
4.4.3 Chubby文件系統(tǒng) 80
4.4.4 通信協(xié)議 82
4.4.5 正確性與性能 83
4.5 分布式結(jié)構(gòu)化數(shù)據(jù)表BigTable 84
4.5.1 設(shè)計動機與目標 85
4.5.2 數(shù)據(jù)模型 85
4.5.3 系統(tǒng)架構(gòu) 87
4.5.4 主服務器 88
4.5.5 子表服務器 89
4.5.6 性能優(yōu)化 92
第5章 Google云計算的開源版本——Hadoop 94
5.1 Hadoop簡介 94
5.1.1 Hadoop發(fā)展史 94
5.1.2 Apache Hadoop項目及體系結(jié)構(gòu) 96
5.2 Hadoop產(chǎn)生的原因 97
5.2.1 海量的數(shù)據(jù) 97
5.2.2 數(shù)據(jù)的存儲和分析 98
5.3 Hadoop和其他系統(tǒng)的比較 99
5.3.1 和關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）的比較 99
5.3.2 和網(wǎng)格計算的比較 100
5.4 HDFS的架構(gòu)設(shè)計 101
5.4.1 前提和設(shè)計目標 102
5.4.2 Namenode和Datanode 102
5.4.3 文件系統(tǒng)的Namespace 103
5.4.4 數(shù)據(jù)復制 103
5.4.5 文件系統(tǒng)元數(shù)據(jù)的持久化 104
5.4.6 通訊協(xié)議 105
5.4.7 健壯性 105
5.4.8 數(shù)據(jù)組織 106
5.4.9 可訪問性 107
5.4.10 空間的回收 107
5.5 安裝Hadoop 108
5.5.1 安裝JDK 1.7 108
5.5.2 安裝Hadoop 109
5.6 HDFS操作 113
5.6.1 使用FS Shell命令操作HDFS 113
5.6.2 編程讀寫HDFS 118
5.7 Hadoop中的MapReduce模型 119
5.7.1 MapReduce計算模型 119
5.7.2 Hadoop中的Hello World程序 120
5.7.3 運行MapReduce程序 124
5.7.4 Hadoop中的Hello World程序——新的API 125
5.7.5 MapReduce的數(shù)據(jù)流和控制流 127
5.8 Zookeeper 129
5.8.1 Zookeeper配置安裝 129
5.8.2 Zookeeper的數(shù)據(jù)模型 130
5.8.3 Zookeeper的基本使用 131
5.8.4 ZooKeeper 典型的應用場景 133
5.8.5 統(tǒng)一命名服務（Name Service） 133
5.8.6 共享鎖（Locks） 136
5.8.7 隊列管理 137
5.8.8 Zookeeper總結(jié) 139
5.9 HBase 139
5.9.1 簡介 139
5.9.2 邏輯視圖 139
5.9.3 物理存儲 141
5.9.4 系統(tǒng)架構(gòu) 144
5.9.5 關(guān)鍵算法/流程 146
5.10 HBase的安裝和配置 149
5.11 HBase使用例子 151
第3篇 Key/Value NoSQL系統(tǒng)
第6章 Dynamo：Amazon的高可用鍵值對存儲 156
6.1 簡介 156
6.2 背景 157
6.2.1 系統(tǒng)假設(shè)和要求 158
6.2.2 服務水平協(xié)議（SLA） 158
6.2.3 設(shè)計考慮 160
6.3 系統(tǒng)架構(gòu) 161
6.3.1 系統(tǒng)接口 162
6.3.2 劃分算法 162
6.3.3 復制 163
6.3.4 版本的數(shù)據(jù) 163
6.3.5 執(zhí)行g(shù)et()和put()操作 165
6.3.6 故障處理：暗示移交（Hinted Handoff） 166
6.3.7 處理永久性故障：副本同步 167
6.3.8 會員和故障檢測 167
6.3.9 添加/刪除存儲節(jié)點 169
6.4 實現(xiàn) 169
6.5 Amazon使用的經(jīng)驗與教訓 170
6.5.1 平衡性能和耐久性 171
6.5.2 確保均勻的負載分布 172
6.5.3 不同版本：何時以及有多少 175
6.5.4 客戶端驅(qū)動或服務器驅(qū)動協(xié)調(diào) 176
6.5.5 權(quán)衡后臺和前臺任務 177
6.5.6 討論 177
6.6 結(jié)論 178
第7章 LevelDb——出自Google的 Key-Value數(shù)據(jù)庫 179
7.1 LevelDb簡介 179
7.2 LevelDb的靜態(tài)部分 180
7.2.1 整體架構(gòu) 180
7.2.2 log文件 182
7.2.3 SSTable文件 183
7.2.4 MemTable詳解 186
7.3 LevelDb的動態(tài)部分 187
7.3.1 寫入與刪除記錄 187
7.3.2 讀取記錄 188
7.3.3 Compaction操作 190
7.3.4 LevelDb中的Cache 192
7.3.5 Version、VersionEdit和VersionSet 194
第8章 Redis實戰(zhàn) 195
8.1 Redis安裝與準備 195
8.1.1 下載與安裝 195
8.1.2 配置文件修改 196
8.1.3 啟動Redis 197
8.1.4 停止Redis 198
8.2 Redis所支持的數(shù)據(jù)結(jié)構(gòu) 198
8.2.1 String 199
8.2.2 List 203
8.2.3 Set 207
8.2.4 Hash/哈希/散列 210
8.2.5 有序集合/Zset 213
8.3 Key操作命令 218
8.3.1 概述 218
8.3.2 命令示例 220
8.4 事物 223
8.4.1 事物概述 223
8.4.2 相關(guān)命令 223
8.4.3 命令示例 224
8.4.4 WATCH命令和基于CAS的樂觀鎖 225
8.5 Redis的主從復制 226
8.5.1 Redis的Replication 226
8.5.2 Replication的工作原理 227
8.5.3 如何配置Replication 227
8.5.4 應用示例 228
8.6 Redis的持久化 228
8.6.1 持久化機制 228
8.6.2 RDB機制的優(yōu)勢和劣勢 229
8.6.3 AOF機制的優(yōu)勢和劣勢 229
8.6.4 其他 230
8.7 Redis的虛擬內(nèi)存 231
8.7.1 簡介 231
8.7.2 應用場景 231
8.7.3 配置 231
8.8 pipeline/管線 233
8.8.1 請求應答協(xié)議和RTT 233
8.8.2 管線（pipelining） 233
8.8.3 Benchmark 234
8.9 實例 234
第4篇 文檔型NoSQL系統(tǒng)
第9章 面向文檔的數(shù)據(jù)庫CouchDB 240
9.1 CouchDB介紹 240
9.1.1 基本概念 240
9.1.2 擴展概念 241
9.2 CouchDB安裝與配置 241
9.3 REST API 242
9.3.1 數(shù)據(jù)庫REST API 243
9.3.2 文檔REST API 243
9.3.3 視圖 REST API 243
9.3.4 附件 REST API 244
9.4 為應用建模 244
9.4.1 描述實體 244
9.4.2 描述一對一和一對多關(guān)系 245
9.4.3 描述多對多關(guān)系 246
9.5 實戰(zhàn)開發(fā) 247
9.5.1 開發(fā)Web應用 247
9.5.2 使用CouchDB jQuery插件 248
9.5.3 示例應用建模 249
9.5.4 管理文檔 250
9.5.5 視圖 253
9.6 高級話題 259
9.6.1 權(quán)限控制與安全 259
9.6.2 文檔更新校驗 259
9.6.3 分組 259
9.6.4 鍵的排序 260
第10章 MongoDB實戰(zhàn) 261
10.1 為什么要使用MongoDB 261
10.1.1 不能確定的表結(jié)構(gòu)信息 261
10.1.2 序列化可以解決一切問題嗎 261
10.1.3 無需定義表結(jié)構(gòu)的數(shù)據(jù)庫 262
10.2 MongoDB的優(yōu)勢和不足 262
10.2.1 無表結(jié)構(gòu) 262
10.2.2 容易擴展 263
10.2.3 豐富的功能 263
10.2.4 性能卓越 264
10.2.5 簡便的管理 264
10.2.6 MongoDB的不足 264
10.3 基本概念 264
10.4 Linux下MongoDB的安裝和配置、啟動和停止 265
10.4.1 下載 265
10.4.2 安裝 266
10.4.3 啟動數(shù)據(jù)庫 267
10.4.4 停止數(shù)據(jù)庫 269
10.5 創(chuàng)建、更新及刪除文檔 270
10.5.1 連接數(shù)據(jù)庫 270
10.5.2 插入記錄 270
10.5.3 _id key 272
10.5.4 修改記錄 272
10.5.5 刪除記錄 272
10.6 查詢記錄 273
10.6.1 普通查詢 273
10.6.2 條件查詢 274
10.6.3 findOne()語法 274
10.6.4 通過limit限制結(jié)果集數(shù)量 274
10.7 高級查詢 275
10.7.1 條件操作符 275
10.7.2 $all匹配所有 275
10.7.3 $exists判斷字段是否存在 276
10.7.4 Null值處理 276
10.7.5 $mod取模運算 276
10.7.6 $ne不等于 277
10.7.7 $in包含 277
10.7.8 $nin不包含 278
10.7.9 $size數(shù)組元素個數(shù) 278
10.7.10 正則表達式匹配 278
10.7.11 JavaScript查詢和$where查詢 279
10.7.12 count查詢記錄條數(shù) 279
10.7.13 skip限制返回記錄的起點 279
10.7.14 sort排序 280
10.7.15 游標 280
10.8 MapReduce 281
10.8.1 Map 282
10.8.2 Reduce 282
10.8.3 Result 282
10.8.4 Finalize 283
10.8.5 Options 283
10.9 索引 284
10.9.1 基礎(chǔ)索引 284
10.9.2 文檔索引 285
10.9.3 組合索引 285
10.9.4 唯一索引 285
10.9.5 強制使用索引 286
10.9.6 刪除索引 287
10.10 性能優(yōu)化 287
10.10.1 explain執(zhí)行計劃 287
10.10.2 優(yōu)化器Profile 288
10.10.3 性能優(yōu)化舉例 289
10.11 性能監(jiān)控 290
10.11.1 mongosniff 291
10.11.2 Mongostat 292
10.11.3 db.serverStatus 292
10.11.4 db.stats 294
10.11.5 第三方工具 294
10.12 Replica Sets復制集 294
10.12.1 部署Replica Sets 295
10.12.2 主從操作日志oplog 297
10.12.3 主從配置信息 298
10.12.4 管理維護Replica Sets 299
10.12.5 增減節(jié)點 301
10.13 Sharding分片 305
10.13.1 建立Sharding Cluster 306
10.13.2 管理維護Sharding 308
10.14 Replica Sets和Sharding的結(jié)合 313
10.14.1 創(chuàng)建數(shù)據(jù)目錄 314
10.14.2 配置Replica Sets 314
10.14.3 配置3臺Route Process 316
10.14.4 配置Shard Cluster 316
10.14.5 驗證Sharding正常工作 317
第5篇 MySQL基礎(chǔ)與性能優(yōu)化
第11章 MySQL基礎(chǔ) 320
11.1 CentOS 6.5下MySQL的安裝 320
11.2 MySQL基本命令 322
11.3 MySQL數(shù)據(jù)類型 325
11.3.1 整型 325
11.3.2 浮點型 326
11.3.3 定點數(shù) 326
11.3.4 字符串（char,varchar,xxxtext） 326
11.3.5 二進制數(shù)據(jù) 327
11.3.6 日期時間類型 327
11.3.7 數(shù)據(jù)類型的屬性 327
11.4 創(chuàng)建數(shù)據(jù)庫和表 328
11.5 檢索表中的數(shù)據(jù) 331
11.6 多個表的操作 334
第12章 MySQL高級特性與性能優(yōu)化 338
12.1 MySQL Server系統(tǒng)架構(gòu) 338
12.1.1 邏輯模塊組成 338
12.1.2 各模塊工作配合 341
12.2 存儲引擎 343
12.2.1 MySQL存儲引擎概述 343
12.2.2 MyISAM存儲引擎簡介 344
12.2.3 Innodb 存儲引擎簡介 346
12.3 MySQL中的鎖定機制 347
12.3.1 MySQL中鎖定機制概述 347
12.3.2 合理利用鎖機制優(yōu)化MySQL 349
12.4 索引與優(yōu)化 350
12.4.1 選擇索引的數(shù)據(jù)類型 351
12.4.2 索引入門 351
12.4.3 索引的類型 352
12.4.4 高性能的索引策略 353
12.4.5 索引與加鎖 358
12.5 MySQL的MyISAM和Innodb的Cache優(yōu)化 359
12.5.1 MyISAM存儲引擎的Cache優(yōu)化 359
12.5.2 Innodb緩存相關(guān)優(yōu)化 362
12.6 MySQL的復制 364
12.6.1 復制對于可擴展性的意義 364
12.6.2 復制的原理 365
12.6.3 體驗MySQL復制 366
12.6.4 復制的常用拓撲結(jié)構(gòu) 370
12.7 可擴展性設(shè)計之數(shù)據(jù)切分 375
12.7.1 何謂數(shù)據(jù)切分 375
12.7.2 數(shù)據(jù)的垂直切分 375
12.7.3 數(shù)據(jù)的水平切分 377
12.7.4 垂直與水平聯(lián)合切分的使用 379
12.7.5 數(shù)據(jù)切分及整合方案 381
12.7.6 數(shù)據(jù)切分與整合中可能存在的問題 386
12.8 小結(jié)