大數(shù)據(jù)分析

第1章大數(shù)據(jù)基礎(chǔ)1
1.1什么是大數(shù)據(jù)4
1.1.1天文學(xué)——信息爆炸的起源5
1.1.2信息爆炸的社會(huì)5
1.1.3大數(shù)據(jù)的發(fā)展7
1.1.4大數(shù)據(jù)作為BI的進(jìn)化形式8
1.2大數(shù)據(jù)的定義9
1.2.1定義大數(shù)據(jù)9
1.2.2大數(shù)據(jù)的3V特征10
1.2.3廣義的大數(shù)據(jù)12
1.3大數(shù)據(jù)的結(jié)構(gòu)類(lèi)型12
1.4大數(shù)據(jù)應(yīng)用改變生活13
1.4.1在線(xiàn)娛樂(lè)14
1.4.2在線(xiàn)廣告14
1.4.3銷(xiāo)售和營(yíng)銷(xiāo)14
1.4.4數(shù)據(jù)可視化15
1.4.5運(yùn)營(yíng)智能15
1.5大數(shù)據(jù)準(zhǔn)備度自我評(píng)分表16
作業(yè)19第2章大數(shù)據(jù)分析基礎(chǔ)22
2.1大數(shù)據(jù)的影響25
2.2數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性27
2.3大數(shù)據(jù)分析的定義27
2.44種數(shù)據(jù)分析方法28
2.4.1描述性分析29
2.4.2診斷性分析30
2.4.3預(yù)測(cè)性分析30
2.4.4規(guī)范性分析32
2.4.5關(guān)鍵績(jī)效指標(biāo)33
2.5定性分析與定量分析33
2.6大數(shù)據(jù)分析的行業(yè)作用33
2.6.1大數(shù)據(jù)分析的作用33
2.6.2大數(shù)據(jù)分析的關(guān)鍵應(yīng)用35
2.6.3大數(shù)據(jù)分析的能力分析36
2.6.4大數(shù)據(jù)分析面臨的問(wèn)題36
作業(yè)38第3章大數(shù)據(jù)分析生命周期40
3.1大數(shù)據(jù)分析生命周期概述43
3.2商業(yè)案例評(píng)估44
3.3數(shù)據(jù)標(biāo)識(shí)44
3.4數(shù)據(jù)獲取與過(guò)濾44
3.5數(shù)據(jù)提取45
3.6數(shù)據(jù)驗(yàn)證與清理46
3.7數(shù)據(jù)聚合與表示47
3.8數(shù)據(jù)分析48
3.9數(shù)據(jù)可視化48
3.10分析結(jié)果的使用49
作業(yè)50第4章大數(shù)據(jù)分析基本原則52
4.1大數(shù)據(jù)的現(xiàn)代分析原則54
4.2原則1： 實(shí)現(xiàn)商業(yè)價(jià)值和影響56
4.3原則2： 專(zhuān)注于最后一千米56
4.4原則3： 持續(xù)改善57
4.5原則4： 加速學(xué)習(xí)能力和執(zhí)行力58
4.6原則5： 差異化分析58
4.7原則6： 嵌入分析59
4.8原則7： 建立現(xiàn)代分析架構(gòu)59
4.9原則8： 構(gòu)建人力因素60
4.10原則9： 利用消費(fèi)化趨勢(shì)60
作業(yè)61第5章構(gòu)建分析路線(xiàn)63
5.1什么是分析路線(xiàn)66
5.1.1商業(yè)競(jìng)爭(zhēng)3.0時(shí)代66
5.1.2創(chuàng)建獨(dú)特的分析路線(xiàn)67
5.2第1步： 確定關(guān)鍵業(yè)務(wù)目標(biāo)69
5.3第2步： 定義價(jià)值鏈69
5.4第3步： 頭腦風(fēng)暴分析解決方案機(jī)會(huì)71
5.4.1應(yīng)用描述71
5.4.2分析手段71
5.5第4步： 描述分析解決方案機(jī)會(huì)74
5.6第5步： 創(chuàng)建決策模型74
5.7第6步： 評(píng)估分析解決方案機(jī)會(huì)75
5.8第7步： 建立分析路線(xiàn)圖77
5.9第8步： 不斷演進(jìn)分析路線(xiàn)圖77
作業(yè)77第6章大數(shù)據(jù)分析的運(yùn)用79
6.1企業(yè)分析的分類(lèi)81
6.2戰(zhàn)略分析82
6.2.1專(zhuān)案分析83
6.2.2戰(zhàn)略市場(chǎng)細(xì)分84
6.2.3經(jīng)濟(jì)預(yù)測(cè)84
6.2.4業(yè)務(wù)模擬84
6.3管理分析85
6.4運(yùn)營(yíng)分析86
6.5科學(xué)分析88
6.6面向客戶(hù)的分析89
6.6.1預(yù)測(cè)服務(wù)89
6.6.2分析應(yīng)用89
6.6.3消費(fèi)分析90
6.6.4案例： 大數(shù)據(jù)促進(jìn)商業(yè)決策91
作業(yè)94第7章大數(shù)據(jù)分析的用例96
7.1什么是用例100
7.2預(yù)測(cè)用例101
7.3解釋用例104
7.4預(yù)報(bào)用例104
7.5發(fā)現(xiàn)用例106
7.6模擬用例106
7.7優(yōu)化用例107
作業(yè)107第8章預(yù)測(cè)分析方法109
8.1預(yù)測(cè)分析方法論111
8.2定義業(yè)務(wù)需求113
8.2.1理解業(yè)務(wù)問(wèn)題113
8.2.2定義應(yīng)對(duì)措施113
8.2.3了解誤差成本115
8.2.4確定預(yù)測(cè)窗口116
8.2.5評(píng)估部署環(huán)境116
8.3建立分析數(shù)據(jù)集117
8.3.1配置數(shù)據(jù)117
8.3.2評(píng)估數(shù)據(jù)117
8.3.3調(diào)查異常值118
8.3.4轉(zhuǎn)換數(shù)據(jù)119
8.3.5執(zhí)行基本表操作119
8.3.6處理丟失數(shù)據(jù)120
8.4降維與特征工程120
8.4.1降維120
8.4.2特征工程120
8.4.3特征變換123
8.5建立預(yù)測(cè)模型123
8.5.1制訂建模計(jì)劃123
8.5.2細(xì)分?jǐn)?shù)據(jù)集124
8.5.3執(zhí)行模型訓(xùn)練計(jì)劃125
8.5.4測(cè)量模型效果125
8.5.5驗(yàn)證模型126
8.6部署預(yù)測(cè)模型126
8.6.1審查和批準(zhǔn)預(yù)測(cè)模型127
8.6.2執(zhí)行模型評(píng)分127
8.6.3評(píng)價(jià)模型效果128
8.6.4管理模型資產(chǎn)128
8.7預(yù)測(cè)分析軟件系統(tǒng)129
作業(yè)129第9章預(yù)測(cè)分析技術(shù)132
9.1關(guān)于預(yù)測(cè)分析技術(shù)136
9.2統(tǒng)計(jì)分析136
9.3生存分析137
9.4有監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)138
9.4.1有監(jiān)督學(xué)習(xí)138
9.4.2無(wú)監(jiān)督學(xué)習(xí)140
9.4.3有監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)的區(qū)別141
9.5機(jī)器學(xué)習(xí)141
9.5.1機(jī)器學(xué)習(xí)的思路141
9.5.2異常檢測(cè)142
9.5.3過(guò)濾144
9.5.4貝葉斯網(wǎng)絡(luò)145
9.5.5文本挖掘146
9.6神經(jīng)網(wǎng)絡(luò)147
9.7深度學(xué)習(xí)149
9.8語(yǔ)義分析151
9.8.1自然語(yǔ)言處理152
9.8.2文本分析152
9.8.3文本處理153
9.8.4語(yǔ)義檢索154
9.8.5A/B測(cè)試154
9.9視覺(jué)分析155
9.9.1熱點(diǎn)圖156
9.9.2空間數(shù)據(jù)圖156
作業(yè)157第10章大數(shù)據(jù)分析模型161
10.1什么是分析模型169
10.2關(guān)聯(lián)分析模型169
10.2.1回歸分析170
10.2.2關(guān)聯(lián)規(guī)則分析171
10.2.3相關(guān)分析172
10.2.4相關(guān)分析與回歸分析173
10.3分類(lèi)分析模型173
10.3.1判別分析的原理和方法174
10.3.2基于機(jī)器學(xué)習(xí)的分類(lèi)模型174
10.3.3支持向量機(jī)175
10.3.4邏輯回歸176
10.3.5決策樹(shù)176
10.3.6k近鄰177
10.3.7隨機(jī)森林178
10.3.8樸素貝葉斯180
10.4聚類(lèi)分析模型180
10.4.1聚類(lèi)問(wèn)題分析181
10.4.2聚類(lèi)分析的分類(lèi)182
10.4.3聚類(lèi)有效性的評(píng)價(jià)183
10.4.4聚類(lèi)分析方法183
10.4.5聚類(lèi)分析的應(yīng)用184
10.5結(jié)構(gòu)分析模型184
10.5.1典型的結(jié)構(gòu)分析方法184
10.5.2社團(tuán)發(fā)現(xiàn)185
10.6文本分析模型185
作業(yè)186第11章用戶(hù)角色與分析工具189
11.1用戶(hù)角色193
11.1.1超級(jí)分析師193
11.1.2數(shù)據(jù)科學(xué)家194
11.1.3業(yè)務(wù)分析師195
11.1.4分析使用者195
11.2分析的成功因素196
11.3分析編程語(yǔ)言197
11.3.1R語(yǔ)言197
11.3.2SAS編程語(yǔ)言199
11.3.3SQL200
11.4業(yè)務(wù)用戶(hù)工具201
11.4.1BI的常用技術(shù)201
11.4.2BI工具和方法的發(fā)展歷程202
11.4.3新的分析工具與方法204
11.4.4業(yè)務(wù)工具實(shí)例206
作業(yè)208第12章大數(shù)據(jù)分析平臺(tái)210
12.1分布式分析217
12.1.1關(guān)于并行計(jì)算217
12.1.2并行計(jì)算的三種形式218
12.1.3數(shù)據(jù)并行與“正交”218
12.1.4分布式的軟件環(huán)境219
12.2預(yù)測(cè)分析架構(gòu)220
12.2.1獨(dú)立分析220
12.2.2部分集成分析221
12.2.3基于數(shù)據(jù)庫(kù)的分析223
12.2.4基于Hadoop的分析224
12.3Apache Spark分布式分析軟件225
12.4云計(jì)算中的分析227
12.4.1公有云和私有云228
12.4.2安全和數(shù)據(jù)移動(dòng)229
12.5現(xiàn)代SQL平臺(tái)229
12.5.1什么是現(xiàn)代SQL平臺(tái)230
12.5.2現(xiàn)代SQL平臺(tái)區(qū)別于傳統(tǒng)SQL平臺(tái)231
12.5.3MPP數(shù)據(jù)庫(kù)232
12.5.4SQLonHadoop232
12.5.5NewSQL數(shù)據(jù)庫(kù)233
12.5.6現(xiàn)代SQL平臺(tái)的發(fā)展233
作業(yè)234第13章社交網(wǎng)絡(luò)與推薦系統(tǒng)236
13.1社交網(wǎng)絡(luò)的定義239
13.1.1社交網(wǎng)絡(luò)的特點(diǎn)240
13.1.2社交網(wǎng)絡(luò)度量241
13.1.3社交網(wǎng)絡(luò)學(xué)習(xí)242
13.2社交網(wǎng)絡(luò)的結(jié)構(gòu)243
13.2.1社交網(wǎng)絡(luò)的統(tǒng)計(jì)學(xué)構(gòu)成244
13.2.2社交網(wǎng)絡(luò)的群體形成245
13.2.3圖與網(wǎng)絡(luò)分析246
13.3社交網(wǎng)絡(luò)的關(guān)聯(lián)分析248
13.4推薦系統(tǒng)248
13.4.1推薦系統(tǒng)的概念248
13.4.2推薦方法的組合251
13.4.3推薦系統(tǒng)的評(píng)價(jià)252
13.5協(xié)同過(guò)濾252
13.6推薦方法254
13.6.1基于用戶(hù)評(píng)價(jià)的推薦254
13.6.2基于人的推薦255
13.6.3基于標(biāo)簽的推薦255
作業(yè)256第14章組織分析團(tuán)隊(duì)258
14.1企業(yè)的分析文化262
14.1.1管理分析團(tuán)隊(duì)的有效因素262
14.1.2繁榮分析的文化共性263
14.2數(shù)據(jù)科學(xué)家（數(shù)據(jù)工作者）264
14.2.1數(shù)據(jù)科學(xué)家角色264
14.2.2分析人才的四種角色264
14.2.3數(shù)據(jù)準(zhǔn)備專(zhuān)業(yè)人員266
14.2.4分析程序員266
14.2.5分析經(jīng)理267
14.2.6分析通才268
14.2.7吸引數(shù)據(jù)科學(xué)家269
14.3集中式與分散式分析團(tuán)隊(duì)270
14.4組織分析團(tuán)隊(duì)272
14.4.1卓越中心272
14.4.2首席數(shù)據(jù)官與首席分析官272
14.4.3實(shí)驗(yàn)室團(tuán)隊(duì)273
14.4.4數(shù)據(jù)科學(xué)技能自我評(píng)估273
14.5走起，大數(shù)據(jù)分析275
作業(yè)276附錄278
附錄A部分作業(yè)參考答案278
附錄B大數(shù)據(jù)分析課程實(shí)踐280
B.1大數(shù)據(jù)幫零售企業(yè)制定促銷(xiāo)策略280
B.2電信公司通過(guò)大數(shù)據(jù)分析挽回核心客戶(hù)280
B.3大數(shù)據(jù)幫能源企業(yè)設(shè)置發(fā)電機(jī)地點(diǎn)281
B.4電商企業(yè)通過(guò)大數(shù)據(jù)制定銷(xiāo)售戰(zhàn)略281
B.5案例分析與課程實(shí)踐要求281
參考文獻(xiàn)284