物聯(lián)網(wǎng)大數(shù)據(jù)分析實(shí)戰(zhàn)

第1章  物聯(lián)網(wǎng)分析和挑戰(zhàn) 1
1.1  虛擬情境 1
1.2  物聯(lián)網(wǎng)分析的定義 4
1.2.1  分析的定義 4
1.2.2  物聯(lián)網(wǎng)的定義 6
1.2.3  受限的概念 8
1.3  物聯(lián)網(wǎng)數(shù)據(jù)分析的挑戰(zhàn) 8
1.3.1  大數(shù)據(jù)量 8
1.3.2  與時(shí)間相關(guān)的問(wèn)題 10
1.3.3  與空間相關(guān)的問(wèn)題 12
1.3.4  數(shù)據(jù)質(zhì)量問(wèn)題 13
1.3.5  分析方面的挑戰(zhàn) 14
1.4  和商業(yè)價(jià)值發(fā)現(xiàn)相關(guān)的考慮因素 15
1.5  小結(jié) 15
第2章  物聯(lián)網(wǎng)設(shè)備和網(wǎng)絡(luò)協(xié)議 17
2.1  物聯(lián)網(wǎng)設(shè)備 17
2.1.1  物聯(lián)網(wǎng)設(shè)備的繽紛世界 18
2.1.2  醫(yī)療保健 18
2.1.3  制造業(yè) 18
2.1.4  運(yùn)輸和物流 19
2.1.5  零售業(yè) 19
2.1.6  石油和天然氣 19
2.1.7  家庭自動(dòng)化和監(jiān)控 20
2.1.8  可穿戴設(shè)備 20
2.1.9  傳感器類(lèi)型 20
2.2  有關(guān)網(wǎng)絡(luò)的基礎(chǔ)知識(shí) 21
2.3  物聯(lián)網(wǎng)網(wǎng)絡(luò)連接協(xié)議 23
2.3.1  電源受限時(shí)的連接協(xié)議 23
2.3.2  電源不受限時(shí)的連接協(xié)議 33
2.4  物聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)消息傳遞協(xié)議 36
2.4.1  MQTT 36
2.4.2  超文本傳輸協(xié)議 44
2.4.3  CoAP 46
2.4.4  DDS 49
2.4.5  DDS的常見(jiàn)用例 51
2.5  分析數(shù)據(jù)以推斷協(xié)議和設(shè)備特征 52
2.6  小結(jié) 54
第3章  云和物聯(lián)網(wǎng)分析 55
3.1  構(gòu)建彈性數(shù)據(jù)分析 56
3.1.1  關(guān)于云基礎(chǔ)設(shè)施 56
3.1.2  彈性分析的概念 58
3.1.3  設(shè)計(jì)時(shí)要考慮最終結(jié)果 60
3.2  可擴(kuò)展設(shè)計(jì) 60
3.2.1  解耦關(guān)鍵組件 60
3.2.2  封裝分析 60
3.2.3  與消息隊(duì)列解耦 61
3.2.4  分布式計(jì)算 63
3.2.5  避免將分析局限在一臺(tái)服務(wù)器上 63
3.2.6  使用一臺(tái)服務(wù)器的恰當(dāng)時(shí)機(jī) 63
3.2.7  假設(shè)變化一直發(fā)生 63
3.2.8  利用托管服務(wù) 64
3.2.9  使用應(yīng)用程序編程接口 64
3.3  云安全和數(shù)據(jù)分析 66
3.3.1  公鑰/私鑰 66
3.3.2  公共子網(wǎng)與私有子網(wǎng) 66
3.3.3  訪(fǎng)問(wèn)限制 66
3.3.4  保護(hù)客戶(hù)數(shù)據(jù)的安全 67
3.4  AWS概述 67
3.4.1  AWS關(guān)鍵概念 69
3.4.2  AWS關(guān)鍵核心服務(wù) 70
3.4.3  用于物聯(lián)網(wǎng)分析的AWS關(guān)鍵服務(wù) 74
3.5  Microsoft Azure概述 76
3.5.1  Azure數(shù)據(jù)湖存儲(chǔ) 76
3.5.2  Azure分析服務(wù) 77
3.5.3  HDInsight 78
3.5.4  R服務(wù)器選項(xiàng) 78
3.6  ThingWorx概述 79
3.6.1  ThingWorx Core 80
3.6.2  ThingWorx Connection Services 80
3.6.3  ThingWorx Edge 81
3.6.4  ThingWorx概念 82
3.7  小結(jié) 84
第4章  創(chuàng)建AWS云分析環(huán)境 85
4.1  AWS CloudFormation概述 85
4.2  AWS虛擬私有云設(shè)置 87
4.2.1  為NAT和Bastion實(shí)例創(chuàng)建密鑰對(duì) 88
4.2.2  創(chuàng)建S3存儲(chǔ)桶來(lái)存儲(chǔ)數(shù)據(jù) 90
4.3  為物聯(lián)網(wǎng)分析創(chuàng)建VPC 91
4.3.1  關(guān)于NAT網(wǎng)關(guān) 92
4.3.2  關(guān)于Bastion主機(jī) 92
4.3.3  關(guān)于VPC架構(gòu) 93
4.3.4  VPC創(chuàng)建演練 94
4.4  如何終止和清理環(huán)境 102
4.5  小結(jié) 105
第5章  收集所有數(shù)據(jù)的策略和技術(shù) 107
5.1  數(shù)據(jù)處理 108
5.1.1  Amazon Kinesis 108
5.1.2  AWS Lambda 108
5.1.3  AWS Athena 109
5.1.4  AWS物聯(lián)網(wǎng)平臺(tái) 110
5.1.5  Microsoft Azure IoT Hub 111
5.2  將大數(shù)據(jù)技術(shù)應(yīng)用于存儲(chǔ) 113
5.2.1  關(guān)于Hadoop 113
5.2.2  Hadoop集群架構(gòu) 116
5.2.3  關(guān)于節(jié)點(diǎn) 117
5.2.4  節(jié)點(diǎn)類(lèi)型 117
5.2.5  Hadoop分布式文件系統(tǒng) 117
5.2.6  Apache Parquet 119
5.2.7  Avro 122
5.2.8  Hive 123
5.2.9  序列化/反序列化 126
5.2.10  Hadoop MapReduce 126
5.2.11  YARN 127
5.2.12  HBase 128
5.2.13  Amazon DynamoDB 128
5.2.14  Amazon S3 129
5.3  數(shù)據(jù)處理和Apache Spark 129
5.3.1  關(guān)于Apache Spark 129
5.3.2  Apache Spark和大數(shù)據(jù)分析 130
5.3.3  單機(jī)和機(jī)器集群的比較 131
5.3.4  使用Apache Spark進(jìn)行物聯(lián)網(wǎng)數(shù)據(jù)處理 132
5.4  數(shù)據(jù)流 134
5.4.1  流數(shù)據(jù)分析 134
5.4.2  Lambda架構(gòu) 135
5.5  處理更改 136
5.6  小結(jié) 137
第6章  了解數(shù)據(jù)—探索物聯(lián)網(wǎng)數(shù)據(jù) 139
6.1  探索和可視化數(shù)據(jù) 140
6.1.1  Tableau概述 140
6.1.2  了解數(shù)據(jù)質(zhì)量 142
6.1.3  查看數(shù)據(jù) 142
6.1.4  數(shù)據(jù)的完整性 144
6.1.5  數(shù)據(jù)的有效性 149
6.1.6  評(píng)估信息滯后情況 151
6.1.7  代表性 152
6.1.8  基本時(shí)間序列分析 152
6.1.9  關(guān)于時(shí)間序列 152
6.1.10  應(yīng)用時(shí)間序列分析 152
6.1.11  了解數(shù)據(jù)中的分類(lèi) 156
6.1.12  引入地理信息分析 156
6.2  尋找可能具有預(yù)測(cè)價(jià)值的特性 157
6.3  使用R語(yǔ)言 158
6.3.1  安裝R和RStudio 158
6.3.2  使用R進(jìn)行統(tǒng)計(jì)分析 158
6.4  數(shù)據(jù)探索初步結(jié)果 162
6.5  解決特定行業(yè)的分析問(wèn)題 162
6.5.1  制造業(yè) 162
6.5.2  醫(yī)療保健 163
6.5.3  零售業(yè) 164
6.6  小結(jié) 164
第7章  增強(qiáng)數(shù)據(jù)價(jià)值—添加內(nèi)部和外部數(shù)據(jù)集 165
7.1  添加內(nèi)部數(shù)據(jù)集 166
7.2　添加外部數(shù)據(jù)集 168
7.2.1　外部數(shù)據(jù)集—地理 168
7.2.2　外部數(shù)據(jù)集—人口統(tǒng)計(jì) 175
7.2.3　外部數(shù)據(jù)集—經(jīng)濟(jì) 178
7.3　小結(jié) 181
第8章  與他人交流—可視化和儀表板 183
8.1  可視化設(shè)計(jì)中的常見(jiàn)錯(cuò)誤 184
8.1.1  避免可視化錯(cuò)誤的技巧 185
8.1.2  可視化錯(cuò)誤示例 186
8.2  問(wèn)題分層方法 187
8.2.1  問(wèn)題分層方法概述 188
8.2.2  開(kāi)發(fā)問(wèn)題樹(shù) 189
8.2.3  將所需的數(shù)據(jù)匯總在一起 192
8.2.4  使視圖與問(wèn)題流保持一致 192
8.3  物聯(lián)網(wǎng)數(shù)據(jù)分析的可視化設(shè)計(jì) 192
8.3.1  使用位置來(lái)傳達(dá)重要性 193
8.3.2  使用顏色突出顯示重要數(shù)據(jù) 193
8.3.3  單一顏色對(duì)傳達(dá)重要信息的影響 193
8.3.4  在視覺(jué)效果上保持一致 194
8.3.5  使圖表易于解釋 195
8.4  使用Tableau創(chuàng)建儀表板 195
8.4.1  儀表板創(chuàng)建演練 195
8.4.2  問(wèn)題層次結(jié)構(gòu)示例 196
8.4.3  使視圖與思維過(guò)程保持一致 197
8.4.4  創(chuàng)建單獨(dú)的視圖 198
8.4.5  將視圖組裝到儀表板中 201
8.5  創(chuàng)建和可視化警報(bào) 203
8.5.1  警報(bào)設(shè)計(jì)原則 203
8.5.2  使用Tableau儀表板組織警報(bào) 203
8.6  小結(jié) 206
第9章  對(duì)物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用地理空間分析 209
9.1  對(duì)物聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用地理空間分析的優(yōu)點(diǎn) 210
9.2  地理空間分析的基礎(chǔ)知識(shí) 212
9.2.1  歡迎來(lái)到空島 212
9.2.2  坐標(biāo)參考系統(tǒng) 213
9.2.3  地球并非完美球體 213
9.3  基于向量的方法 216
9.3.1  邊界框 217
9.3.2  包含 218
9.3.3  緩沖 219
9.3.4  膨脹和侵蝕 219
9.3.5  簡(jiǎn)化 221
9.3.6  研究更多基于向量的方法 221
9.4  基于柵格的方法 221
9.5  存儲(chǔ)地理空間數(shù)據(jù) 223
9.5.1  文件格式 223
9.5.2  關(guān)系數(shù)據(jù)庫(kù)的空間數(shù)據(jù)擴(kuò)展 224
9.5.3  在HDFS中存儲(chǔ)地理空間數(shù)據(jù) 225
9.5.4  空間數(shù)據(jù)索引 225
9.5.5　R樹(shù) 226
9.6  處理地理空間數(shù)據(jù) 227
9.6.1  地理空間分析軟件 227
9.6.2　PostGIS空間數(shù)據(jù)函數(shù) 230
9.6.3  大數(shù)據(jù)世界中的地理空間分析 231
9.7  解決污染報(bào)告問(wèn)題 231
9.8  小結(jié) 232
第10章  物聯(lián)網(wǎng)分析和數(shù)據(jù)科學(xué) 235
10.1  機(jī)器學(xué)習(xí) 236
10.1.1  關(guān)于機(jī)器學(xué)習(xí) 236
10.1.2  表示 238
10.1.3  評(píng)估 238
10.1.4  優(yōu)化 238
10.1.5  泛化 240
10.2  使用物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行特征工程 241
10.2.1  處理缺失值 241
10.2.2  居中和縮放 247
10.2.3  時(shí)間序列處理 248
10.3  驗(yàn)證方法 249
10.3.1  交叉驗(yàn)證 249
10.3.2  測(cè)試集 250
10.3.3  精確率、召回率和特異性 251
10.4  理解偏差-方差權(quán)衡 253
10.4.1  偏差 253
10.4.2  方差 254
10.4.3  權(quán)衡和復(fù)雜性 255
10.5  使用R比較不同的模型 256
10.5.1  ROC曲線(xiàn) 256
10.5.2  曲線(xiàn)下面積 260
10.6  使用R構(gòu)建隨機(jī)森林模型 261
10.6.1  隨機(jī)森林關(guān)鍵概念 261
10.6.2  隨機(jī)森林R示例 262
10.7  使用R構(gòu)建梯度提升機(jī)模型 264
10.7.1  GBM的關(guān)鍵概念 265
10.7.2  梯度提升機(jī)R示例 266
10.7.3  集成方法 267
10.8  使用R進(jìn)行異常檢測(cè) 268
10.9  使用ARIMA進(jìn)行預(yù)測(cè) 269
10.9.1  關(guān)于ARIMA 269
10.9.2  使用R預(yù)測(cè)時(shí)間序列物聯(lián)網(wǎng)數(shù)據(jù) 270
10.10  深度學(xué)習(xí) 271
10.10.1  使用物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行深度學(xué)習(xí)的用例 272
10.10.2  深度學(xué)習(xí)縱覽 272
10.10.3  在AWS上設(shè)置TensorFlow 274
10.11  小結(jié) 274
第11章  組織數(shù)據(jù)的策略 275
11.1  鏈接分析數(shù)據(jù)集 276
11.1.1  分析數(shù)據(jù)集 276
11.1.2  構(gòu)建分析數(shù)據(jù)集 276
11.1.3  將數(shù)據(jù)集鏈接在一起 278
11.2  管理數(shù)據(jù)湖 281
11.2.1  防止數(shù)據(jù)湖變成數(shù)據(jù)沼澤 281
11.2.2  數(shù)據(jù)提煉 281
11.2.3  數(shù)據(jù)開(kāi)發(fā)過(guò)程 282
11.3  數(shù)據(jù)保留策略 283
11.3.1  目標(biāo) 284
11.3.2  物聯(lián)網(wǎng)數(shù)據(jù)的保留策略 284
11.3.3　保留策略示例 286
11.4  小結(jié) 287
第12章  物聯(lián)網(wǎng)分析的經(jīng)濟(jì)意義 289
12.1  云計(jì)算的經(jīng)濟(jì)意義 290
12.1.1  可變成本與固定成本 290
12.1.2  退出選項(xiàng) 291
12.1.3  云成本可能會(huì)迅速上升 292
12.1.4  密切監(jiān)控云計(jì)費(fèi) 292
12.2  開(kāi)源軟件的經(jīng)濟(jì)意義 292
12.2.1  知識(shí)產(chǎn)權(quán)考慮 292
12.2.2  可擴(kuò)展性 293
12.2.3  技術(shù)支持 294
12.3  物聯(lián)網(wǎng)分析的成本考慮 294
12.3.1  云服務(wù)成本 294
12.3.2  考慮未來(lái)使用需求 294
12.4  考慮增加收入的機(jī)會(huì) 294
12.4.1  對(duì)當(dāng)前業(yè)務(wù)的拓展 295
12.4.2  新的收入機(jī)會(huì) 295
12.5  預(yù)測(cè)性維護(hù)的經(jīng)濟(jì)意義示例 297
12.5.1  預(yù)測(cè)性維護(hù)的現(xiàn)實(shí)情境 297
12.5.2  價(jià)值公式 297
12.5.3  價(jià)值決策示例 298
12.6  小結(jié) 305
第13章  總結(jié)和建議 307
13.1  本書(shū)關(guān)鍵主題回顧 307
13.1.1  物聯(lián)網(wǎng)數(shù)據(jù)流 308
13.1.2  物聯(lián)網(wǎng)探索性分析 309
13.1.3  物聯(lián)網(wǎng)數(shù)據(jù)科學(xué) 310
13.1.4  通過(guò)物聯(lián)網(wǎng)分析增加收入 311
13.2  示例挑戰(zhàn)項(xiàng)目 312
13.3  小結(jié) 313