數(shù)據(jù)分析通識

目 錄
第0章　技術與業(yè)務　1
0．1　一個場景　1
0．2　什么是業(yè)務　2
0．3　技術與業(yè)務的分工　3
0．4　數(shù)據(jù)分析工作者的定位　4
第　1章 數(shù)據(jù)處理的抽象流程與數(shù)據(jù)系統(tǒng)的
有機組成　6
1．1　數(shù)據(jù)與大數(shù)據(jù)　6
1．2　數(shù)據(jù)驅(qū)動的系統(tǒng)　7
1．3　數(shù)據(jù)處理的一般環(huán)節(jié)　8
1．4　數(shù)據(jù)的服務對象　9
1．5　與數(shù)據(jù)業(yè)務相關的技術分工　11
第　2章 數(shù)據(jù)獲取　15
2．1　獲取數(shù)據(jù)需要的成本　15
2．2　獲取數(shù)據(jù)的主要方式　15
2．2．1　設備采集　15
2．2．2　業(yè)務記錄與調(diào)查　16
2．2．3　日志與埋點　16
2．2．4　爬蟲抓取　17
2．2．5　合作、服務與購買　18
2．2．6　數(shù)據(jù)倉庫　19
2．3　采樣數(shù)據(jù)的陷阱　20
2．4　本章涉及的技術實現(xiàn)方案　22
2．4．1　爬蟲抓?。≒ython版）　22
2．4．2　前端埋點SDK　23
2．4．3　日志采集　23
2．4．4　數(shù)據(jù)倉庫　23
第3章　探索性數(shù)據(jù)分析與目的性數(shù)據(jù)
分析　24
3．1　探索性數(shù)據(jù)分析　24
3．2　一份數(shù)據(jù)集　24
3．3　數(shù)據(jù)字段分類　25
3．4　遍歷每個字段　26
3．4．1　了解離散屬性　27
3．4．2　了解連續(xù)屬性　28
3．4．3　分布與分箱　32
3．4．4　異常值與數(shù)據(jù)清洗　36
3．5　數(shù)據(jù)分析的本質(zhì)　37
3．5．1　尋找用來比較的實體　39
3．5．2　拿什么進行比較　42
3．5．3　怎樣進行比較　42
3．6　目的性數(shù)據(jù)分析　89
3．6．1　目的性數(shù)據(jù)分析的一般方法　90
3．6．2　目的性數(shù)據(jù)分析的意義　92
3．7　本章涉及的技術實現(xiàn)方案　93
3．7．1　數(shù)據(jù)分析軟件　93
3．7．2　SQL　96
3．7．3　Python　97
3．7．4　大數(shù)據(jù)分析解決方案　98
第4章　展示信息的推薦方式——
可視化　100
4．1　數(shù)據(jù)可視化　100
4．2　常見的圖表類型與應用場景　101
4．2．1　趨勢型　101
4．2．2　比較型　104
4．2．3　比例型　106
4．2．4　分布型　107
4．2．5　區(qū)間型　109
4．2．6　關聯(lián)型　109
4．2．7　地理型　112
4．3　數(shù)據(jù)可視化與數(shù)據(jù)分析　112
4．3．1　數(shù)據(jù)可視化與假設檢驗、
分布擬合　112
4．3．2　數(shù)據(jù)可視化與多維分析、鉆取
分析、交叉分析　115
4．3．3　數(shù)據(jù)可視化與秩次分析　117
4．3．4　數(shù)據(jù)可視化與相關分析、
回歸分析　119
4．3．5　數(shù)據(jù)可視化與分組歸類　121
4．3．6　數(shù)據(jù)可視化與目的性數(shù)據(jù)
分析　122
4．4　可視化數(shù)據(jù)交互　122
4．4．1　交互式可視化的流程　124
4．4．2　常見的數(shù)據(jù)可視化交互
組件　124
4．5　可視化設計　125
4．5．1　可視化設計的美學原則　125
4．5．2　可視化設計的高效原則　126
4．5．3　可視化交互的一些準則　129
4．6　可視化工程　129
4．6．1　確定主題　130
4．6．2　提煉數(shù)據(jù)　130
4．6．3　選擇合適的圖表　131
4．6．4　可視化設計　131
4．7　本章涉及的技術實現(xiàn)方案　131
4．7．1　Python　131
4．7．2　開源可視化API　132
4．7．3　商業(yè)化　132
第5章　特征工程　133
5．1　變量、字段、屬性、維度和特征　133
5．2　特征工程的內(nèi)涵　135
5．3　特征獲取　136
5．3．1　獲取用于提取特征的數(shù)據(jù)　136
5．3．2　特征的可用性評估　137
5．3．3　從特征獲取的角度清洗數(shù)據(jù)　137
5．4　特征處理與提取　138
5．4．1　數(shù)據(jù)清洗　138
5．4．2　特征選擇　138
5．4．3　特征變換　143
5．4．4　特征抽取　153
5．4．5　特征衍生　156
5．5　特征監(jiān)控　161
5．5．1　監(jiān)控已有特征　161
5．5．2　尋找新的特征　162
5．6　一個例子　163
5．6．1　有哪些數(shù)據(jù)　163
5．6．2　提取業(yè)務特征　164
5．6．3　特征處理　165
5．6．4　二次特征衍生　165
5．6．5　二次特征處理　165
5．6．6　建模與迭代　165
5．7　頭腦風暴　166
5．8　本章涉及的技術實現(xiàn)方案　167
5．8．1　Python　167
5．8．2　大數(shù)據(jù)平臺的特征工程模塊　168
5．8．3　組件化的特征工程　168
第6章　模型　169
6．1　模型的概念　169
6．2　業(yè)務模型、數(shù)據(jù)模型、函數(shù)模型　170
6．2．1　業(yè)務模型　170
6．2．2　數(shù)據(jù)模型　171
6．2．3　函數(shù)模型　173
6．2．4　其他“模型”與上述3種模型的
關系　174
6．3　機器學習與統(tǒng)計建模的聯(lián)系與
區(qū)別　175
6．4　函數(shù)模型與業(yè)務　176
6．4．1　數(shù)據(jù)、特征工程與函數(shù)
模型　177
6．4．2　監(jiān)督學習、無監(jiān)督學習、
半監(jiān)督學習與歸納偏置　177
6．4．3　交叉驗證與過擬合　182
6．5　常見的函數(shù)模型　185
6．5．1　數(shù)據(jù)的刻畫方式　185
6．5．2　分類與回歸　191
6．5．3　聚類　237
6．5．4　關聯(lián)　245
6．5．5　半監(jiān)督學習　249
6．6　調(diào)參　253
6．6．1　調(diào)參調(diào)的是超參數(shù)　253
6．6．2　經(jīng)驗調(diào)參　254
6．6．3　簡單模型　254
6．7　什么樣的模型是好模型　255
6．7．1　模型選擇　255
6．7．2　可解釋性　256
6．7．3　奧卡姆剃刀原理　257
6．8　遷移學習與強化學習　259
6．8．1　遷移學習　259
6．8．2　強化學習　261
6．9　本章涉及的技術實現(xiàn)方案　263
6．9．1　Python　263
6．9．2　大數(shù)據(jù)　264
第7章　結果評價　265
7．1　分類模型的結果評價　265
7．1．1　正樣本與負樣本　265
7．1．2　混淆矩陣及其衍生指標　266
7．1．3　ROC與AUC　268
7．1．4　提升圖　271
7．1．5　KS曲線　271
7．1．6　過采樣與欠采樣　272
7．2　回歸模型的結果評價　273
7．2．1　基于絕對數(shù)值的結果評價　273
7．2．2　基于比例數(shù)值的結果評價　274
7．2．3　決定系數(shù)與校正決定系數(shù)　274
7．3　聚類模型的結果評價　275
7．3．1　方差　275
7．3．2　輪廓系數(shù)　275
7．3．3　蘭德系數(shù)　276
7．4　關聯(lián)模型的結果評價　276
7．5　本章涉及的技術實現(xiàn)方案　276
第8章　數(shù)據(jù)應用與人工智能　278
8．1　業(yè)務數(shù)據(jù)化與數(shù)據(jù)業(yè)務化　278




8．2　數(shù)據(jù)應用的常見產(chǎn)出形式　279
8．2．1　指標　279
8．2．2　表格　280
8．2．3　可視化圖表與交互　273
8．2．4　報告　280
8．2．5　模型　280
8．3　幾種典型的數(shù)據(jù)應用系統(tǒng)　280
8．3．1　離線挖掘任務流　280
8．3．2　實時預測與挖掘任務　281
8．3．3　推薦系統(tǒng)　281
8．3．4　搜索引擎　282
8．3．5　Feed流　283
8．4　數(shù)據(jù)應用系統(tǒng)的優(yōu)勢與限制　283
第9章　未來的數(shù)據(jù)與數(shù)據(jù)的未來　285
9．1　數(shù)據(jù)融合與未來數(shù)據(jù)驅(qū)動系統(tǒng)的
展望　285
9．1．1　數(shù)據(jù)化是一切的起點　285
9．1．2　融合是數(shù)據(jù)發(fā)揮能量的
關鍵　286
9．1．3　計算還是太慢了　287
9．1．4　為什么要數(shù)據(jù)化、融合、
計算？　287
9．2　人工智能　288
9．2．1　人與人工智能　288
9．2．2　智能是個系統(tǒng)　289
9．2．3　智能域　290
后記——擁抱不確定的美好　291
參考文獻　295