Effective數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施

第1章  數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施介紹 1
1.1  選擇數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施的原因 2
1.2  什么是數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施 5
1.2.1  數(shù)據(jù)科學(xué)基礎(chǔ)設(shè)施堆棧 6
1.2.2  支持?jǐn)?shù)據(jù)科學(xué)項(xiàng)目的整個(gè)生命周期 8
1.2.3  不能以偏概全 9
1.3  良好基礎(chǔ)設(shè)施的重要性 10
1.3.1  管理復(fù)雜性 11
1.3.2  利用現(xiàn)有平臺(tái) 12
1.4  以人為中心的基礎(chǔ)設(shè)施 13
1.4.1  自由與責(zé)任 14
1.4.2  數(shù)據(jù)科學(xué)家自主性 15
1.5  本章小結(jié) 16
第2章  數(shù)據(jù)科學(xué)的工具鏈 17
2.1  建立開發(fā)環(huán)境 18
2.1.1  云賬戶 21
2.1.2  數(shù)據(jù)科學(xué)工作站 22
2.1.3  筆記 24
2.1.4  歸納 27
2.2  介紹工作流 29
2.2.1  工作流基礎(chǔ) 30
2.2.2  執(zhí)行工作流 31
2.2.3  工作流框架 33
2.3  本章小結(jié) 35
第3章  Metaflow簡介 37
3.1  Metaflow的基本概念 38
3.1.1  安裝Metaflow 39
3.1.2  編寫基本工作流 40
3.1.3  管理工作流中的數(shù)據(jù)流 44
3.1.4  參數(shù) 50
3.2  分支和合并 55
3.2.1  有效的DAG結(jié)構(gòu) 56
3.2.2  靜態(tài)分支 57
3.2.3  動(dòng)態(tài)分支 61
3.2.4  控制并發(fā) 64
3.3  Metaflow實(shí)際應(yīng)用 66
3.3.1  啟動(dòng)新項(xiàng)目 67
3.3.2  使用客戶端API訪問結(jié)果 69
3.3.3  調(diào)試故障 72
3.3.4  最后潤色 76
3.4  本章小結(jié) 79
第4章  隨計(jì)算層伸縮 81
4.1  什么是可伸縮性 82
4.1.1  整個(gè)堆棧的可伸縮性 83
4.1.2  實(shí)驗(yàn)文化 85
4.2  計(jì)算層 87
4.2.1  使用容器進(jìn)行批處理 89
4.2.2  計(jì)算層示例 92
4.3  Metaflow中的計(jì)算層 98
4.3.1  為Metaflow配置AWS批處理 100
4.3.2  @batch和@resources裝飾器 104
4.4  處理故障 107
4.4.1  使用@retry從瞬態(tài)錯(cuò)誤中恢復(fù) 109
4.4.2  使用@timeout殺死僵尸 110
4.4.3  最后一種裝飾器：@catch 111
4.5  本章小結(jié) 113
第5章  實(shí)踐可伸縮性和性能 115
5.1  從簡單開始：垂直可伸縮性 116
5.1.1  示例：聚類Yelp評論 117
5.1.2  實(shí)踐垂直可伸縮性 119
5.1.3  為什么選擇垂直可
伸縮性 124
5.2  實(shí)踐水平可伸縮性 126
5.2.1  為什么選擇水平可伸縮性 126
5.2.2  示例：超參數(shù)搜索 127
5.3  實(shí)施性能優(yōu)化 130
5.3.1  示例：計(jì)算共現(xiàn)矩陣 131
5.3.2  加快工作流的方法 139
5.4  本章小結(jié) 140
第6章  投入生產(chǎn) 141
6.1  穩(wěn)定的工作流調(diào)度 143
6.1.1  中心化元數(shù)據(jù) 145
6.1.2  使用AWS Step Functions和Metaflow 147
6.1.3  使用@schedule調(diào)度運(yùn)行 152
6.2  魯棒的執(zhí)行環(huán)境 153
6.2.1  Metaflow包如何流動(dòng) 155
6.2.2  為什么依賴管理很重要 160
6.2.3  使用@conda裝飾器 162
6.3  穩(wěn)定運(yùn)行 167
6.3.1  原型開發(fā)期間的命名空間 169
6.3.2  生產(chǎn)命名空間 173
6.3.3  使用@project的并行部署 174
6.4  本章小結(jié) 177
第7章  處理數(shù)據(jù) 179
7.1  快速數(shù)據(jù)的基礎(chǔ) 182
7.1.1  從S3加載數(shù)據(jù) 183
7.1.2  使用表格數(shù)據(jù) 188
7.1.3  內(nèi)存數(shù)據(jù)堆棧 192
7.2  與數(shù)據(jù)基礎(chǔ)設(shè)施的交互 194
7.2.1  現(xiàn)代數(shù)據(jù)基礎(chǔ)設(shè)施 195
7.2.2  用SQL準(zhǔn)備數(shù)據(jù)集 199
7.2.3  分布式數(shù)據(jù)處理 205
7.3  從數(shù)據(jù)到特征 210
7.3.1  區(qū)分事實(shí)和特征 211
7.3.2  編碼特征 213
7.4  本章小結(jié) 218
第8章  使用和操作模型 221
8.1  生成預(yù)測 223
8.1.1  批處理、流式和實(shí)時(shí)預(yù)測 225
8.1.2  示例：推薦系統(tǒng) 227
8.1.3  批處理預(yù)測 232
8.1.4  實(shí)時(shí)預(yù)測 243
8.2  本章小結(jié) 248
第9章  全棧機(jī)器學(xué)習(xí) 249
9.1  可插拔的特征編碼器和模型 250
9.1.1  為可插拔的組件開發(fā)框架 251
9.1.2  執(zhí)行特征編碼器 255
9.1.3  基準(zhǔn)模型 259
9.2  深度回歸模型 264
9.2.1  編碼輸入張量 266
9.2.2  定義深度回歸模型 269
9.2.3  訓(xùn)練深度回歸模型 272
9.3  總結(jié)所學(xué) 275
9.4  本章小結(jié) 277
附錄  安裝Conda 279