云端基因組學

目錄
序 . 1
前言 . 5
第1 章 概述 13
1.1 生物學和生命科學大數(shù)據(jù)的希望和挑戰(zhàn) . 14
1.2 大數(shù)據(jù)對基礎設施的挑戰(zhàn) 15
1.3 數(shù)據(jù)分享和分析云生態(tài)系統(tǒng) 16
1.3.1 云托管數(shù)據(jù)和云計算 . 16
1.3.2 生命科學研究平臺 18
1.3.3 基礎設施的標準化和復用 20
1.4 踐行FAIR 理念 22
1.5 小結和下一步學習內容 23
第2 章 基因組學簡介：新手必讀 25
2.1 基因組學入門 25
2.1.1 基因作為獨立遺傳單元（從某種程度上講） 26
2.1.2 生物學中心法則：從DNA 到RNA 再到蛋白質 . 29
2.1.3 DNA 突變的起因和后果 31
2.1.4 基因組學是基因組內和基因組間變異的清單 32
2.1.5 大規(guī)模系統(tǒng)性分析基因組的難點 33
2.2 基因組變異 . 33
2.2.1 以參考基因組為通用框架 33
2.2.2 變異的物理分類 37
2.2.3 種系變異和體細胞變異的區(qū)別 . 42
2.3 生成高通量測序數(shù)據(jù) . 45
2.3.1 從生物樣本到大量讀段數(shù)據(jù) 45
2.3.2 DNA 文庫類型：選擇合適的實驗設計 50
2.4 數(shù)據(jù)處理和分析 53
2.4.1 將讀段匹配到參考基因組 54
2.4.2 變異識別 56
2.4.3 數(shù)據(jù)質量和錯誤源 59
2.4.4 規(guī)格統(tǒng)一：功能等價流水線 63
2.5 小結和下一步學習內容 64
第3 章 生命科學家必備計算技術入門 . 65
3.1 基礎設施的基本組件和性能瓶頸 65
3.1.1 幾種處理器硬件：CPU、GPU、FPGA 和TPU 66
3.1.2 計算組織的層級：核、節(jié)點、集群和云 . 67
3.1.3 解決性能瓶頸 68
3.2 并行計算 72
3.2.1 并行處理一個簡單分析任務 72
3.2.2 從核到集群和云：多層并行機制 73
3.2.3 并行需權衡速度、效率和成本 . 75
3.3 并行和自動化流水線 . 76
3.3.1 工作流語言 . 77
3.3.2 常用基因組流水線語言 78
3.3.3 工作流管理系統(tǒng) 79
3.4 虛擬化和云 . 79
3.4.1 虛擬機和容器 80
3.4.2 云簡介 83
3.4.3 采用云服務從事研究的幾個場景 86
3.5 小結和下一步學習內容 88
第4 章 云上第一步 . 89
4.1 開通谷歌云賬號并創(chuàng)建首個項目 89
4.1.1 創(chuàng)建項目 90
4.1.2 核對你的結算賬號并激活免費試用額度 . 91
4.2 用Google Cloud Shell 運行基本命令 94
4.2.1 登錄Cloud Shell 虛擬機 94
4.2.2 用gsutil 訪問和管理文件 96
4.2.3 拉取Docker 鏡像并啟動容器 99
4.2.4 掛載數(shù)據(jù)卷，從容器內部訪問文件系統(tǒng) 102
4.3 創(chuàng)建自定義虛擬機 104
4.3.1 創(chuàng)建和配置你的虛擬機實例 104
4.3.2 用SSH 登錄虛擬機 . 111
4.3.3 驗證身份 112
4.3.4 復制本書材料到你的虛擬機 114
4.3.5 在虛擬機上安裝Docker 115
4.3.6 構建GATK 容器鏡像 . 116
4.3.7 停用虛擬機，停止燒錢 . 118
4.4 配置IGV 瀏覽器，讀取GCS 桶數(shù)據(jù) . 119
4.5 小結和下一步學習內容 . 124
第5 章 GATK 入門 125
5.1 開始用GATK . 125
5.1.1 運行要求 126
5.1.2 命令行句法 127
5.1.3 用Spark 實現(xiàn)多線程 128
5.1.4 GATK 實操 131
5.2 動手找變異 136
5.2.1 用HaplotypeCaller 尋找種系SNP 和InDel 136
5.2.2 根據(jù)變異上下文注釋過濾變異識別結果 146
5.3 GATK 最佳實踐簡介 154
5.3.1 本書涵蓋的最佳實踐 156
5.3.2 其他主要應用場景 156
5.4 小結和下一步學習內容 . 157
第6 章 用GATK 最佳實踐發(fā)現(xiàn)種系短變異 . 159
6.1 數(shù)據(jù)預處理 159
6.1.1 將讀段匹配到基因組參考 161
6.1.2 標記重復讀段 . 163
6.1.3 重新校正堿基質量值 165
6.2 聯(lián)合發(fā)現(xiàn)分析 . 167
6.2.1 聯(lián)合變異識別工作流概覽 167
6.2.2 識別每個樣本的變異，生成GVCF 文件 . 172
6.2.3 整合GVCF 文件 174
6.2.4 用聯(lián)合鑒定基因型方法處理多個樣本 176
6.2.5 重校正變異質量值，過濾聯(lián)合識別結果集 . 178
6.2.6 改進基因型分配結果并調整其可信度 183
6.2.7 下一步和延伸閱讀 184
6.3 用CNN 過濾法識別單樣本變異 185
6.3.1 CNN 單樣本工作流概覽 187
6.3.2 采用1D CNN 過濾單樣本W(wǎng)GS 變異識別結果集 188
6.3.3 采用2D CNN 在模型中加入讀段數(shù)據(jù) . 190
6.4 小結和下一步學習內容 . 193
第7 章 用GATK 最佳實踐發(fā)現(xiàn)體細胞變異 . 195
7.1 癌癥基因組研究面對的挑戰(zhàn) 195
7.2 體細胞短變異（SNV 和InDel） 197
7.2.1 腫瘤—正常組織配對分析工作流概覽 198
7.2.2 創(chuàng)建Mutect2 PoN 隊列 . 199
7.2.3 在腫瘤—正常組織配對上運行Mutect2 工具 . 202
7.2.4 估計樣本交叉污染 203
7.2.5 過濾Mutect2 識別結果 205
7.2.6 用Funcotator 工具注明識別結果的功能性預測效果 208
7.3 體細胞拷貝數(shù)變異 210
7.3.1 僅有腫瘤樣本的分析工作流概覽 . 211
7.3.2 創(chuàng)建體細胞CNA PoN 215
7.3.3 去噪 . 215
7.3.4 連接片段并識別CNA . 217
7.3.5 附加分析方法 . 220
7.4 小結和下一步學習內容 . 221
第8 章 用工作流自動執(zhí)行分析任務 223
8.1 WDL 和Cromwell 系統(tǒng)簡介 223
8.2 安裝和配置Cromwell 系統(tǒng) . 226
8.3 你的第一個WDL 工作流：Hello World 230
8.3.1 編寫最小示例，學習WDL 基本句法 . 231
8.3.2 在你的谷歌虛擬機上用Cromwell 系統(tǒng)運行簡單WDL 腳本 233
8.3.3 解釋Cromwell 輸出日志的要點 234
8.3.4 加個變量并以JSON 格式提供輸入 . 237
8.3.5 增加另一任務，完善工作流 239
8.4 你的第一個GATK 工作流：Hello HaplotypeCaller 241
8.4.1 探索WDL 工作流 242
8.4.2 生成JSON 輸入文件 246
8.4.3 運行工作流 247
8.4.4 破壞工作流，學習句法檢查和錯誤提示功能 . 249
8.5 介紹分散—聚集并行機制 . 253
8.5.1 探索WDL 工作流 254
8.5.2 生成圖表，實現(xiàn)可視化 . 260
8.6 小結和下一步學習內容 . 262
第9 章 真實基因組工作流詳解 263
9.1 神秘工作流1：加入條件語句，提高靈活性 263
9.1.1 工作流制圖 264
9.1.2 逆向破解條件切換 269
9.2 神秘工作流2：模塊化和代碼重用 276
9.2.1 工作流制圖 276
9.2.2 拆解套娃 281
9.3 小結和下一步學習內容 . 288
第10 章 用Pipelines API 運行多個工作流 . 289
10.1 GCP 平臺PAPI 服務簡介 289
10.2 直接發(fā)送Cromwell 作業(yè)到PAPI 292
10.2.1 配置Cromwell，實現(xiàn)與PAPI 通信 292
10.2.2 用PAPI 并行運行 HaplotypeCaller 工具 296
10.2.3 在Google Compute Engine 監(jiān)控工作流執(zhí)行 298
10.3 理解和優(yōu)化工作流的效率 302
10.3.1 操作粒度 . 302
10.3.2 權衡時間和金錢 . 303
10.3.3 成本優(yōu)化建議 305
10.3.4 針對平臺優(yōu)化和可移植性 307
10.4 用WDL Runner 封裝Cromwell 和PAPI 的執(zhí)行 308
10.4.1 WDL Runner 設置 309
10.4.2 用WDL Runner 并行運行HaplotypeCaller 工具 310
10.4.3 監(jiān)控WDL Runner 的執(zhí)行 . 311
10.5 小結和下一步學習內容 314
第11 章 在Terra 平臺快捷運行多個工作流 317
11.1 Terra 入門 317
11.1.1 生成賬號 . 318
11.1.2 創(chuàng)建結算項目 320
11.1.3 克隆預先配好的工作區(qū) 323
11.2 在Terra 平臺用Cromwell 服務器運行工作流 . 324
11.2.1 在單個樣本上運行工作流 324
11.2.2 在數(shù)據(jù)表的多個樣本上運行工作流 327
11.2.3 監(jiān)控工作流執(zhí)行 333
11.2.4 在數(shù)據(jù)表定位工作流輸出 337
11.2.5 再次運行同一工作流，展示緩存調用 . 339
11.3 運行一個真實、全規(guī)模GATK 最佳實踐流水線 . 341
11.3.1 尋找和克隆GATK 種系短變異發(fā)現(xiàn)最佳實踐工作區(qū) 342
11.3.2 檢查預加載數(shù)據(jù) 342
11.3.3 選數(shù)據(jù)并配置全規(guī)模工作流 . 344
11.3.4 啟動全規(guī)模工作流并監(jiān)控其執(zhí)行 345
11.3.5 下載輸出數(shù)據(jù)的幾種方法，或不下載 . 348
11.4 小結和下一步學習內容 349
第12 章 Jupyter Notebooks 中的交互式分析 351
12.1 Terra 平臺Jupyter 服務簡介 . 352
12.1.1 Jupyter Notebooks 概述 352
12.1.2 Jupyter Notebooks 在Terra 平臺的工作原理 354
12.2 開始用Terra 平臺的Jupyter 軟件 360
12.2.1 檢查和自定義筆記本運行環(huán)境的配置項 360
12.2.2 以編輯模式打開筆記本并檢查內核 366
12.2.3 運行Hello World 單元格 367
12.2.4 用gsutil 工具操作谷歌云存儲桶 370
12.2.5 聲明變量，指向本書數(shù)據(jù)桶的種系數(shù)據(jù) 371
12.2.6 設置沙盒并將輸出文件存入工作區(qū)數(shù)據(jù)桶 372
12.3 在嵌入式IGV 瀏覽器窗口查看基因組數(shù)據(jù) . 373
12.3.1 設置嵌入式IGV 瀏覽器 . 374
12.3.2 為IGV 瀏覽器添加數(shù)據(jù) . 375
12.3.3 設置訪問令牌，查看私有數(shù)據(jù) 377
12.4 運行GATK 命令，學習、測試或解決問題 378
12.4.1 運行GATK 基本命令：HaplotypeCaller 379
12.4.2 加載數(shù)據(jù)（BAM 和VCF）到IGV 瀏覽器 380
12.4.3 在嵌入式IGV 瀏覽器解決一個有問題的變異識別結果 . 382
12.5 可視化變異上下文注釋數(shù)據(jù) . 385
12.5.1 用VariantsToTable 導出感興趣的注釋值 385
12.5.2 加載R 腳本，繪制函數(shù)圖像 386
12.5.3 用makeDensityPlot 繪制QUAL 值密度圖 387
12.5.4 繪制QUAL 和DP 值散點圖 . 389
12.5.5 繪制附有邊緣密度的散點圖 . 390
12.6 小結和下一步學習內容 392
第13 章 在Terra 平臺自己組裝工作區(qū) . 393
13.1 管理工作區(qū)內外數(shù)據(jù) 393
13.1.1 以工作區(qū)桶為數(shù)據(jù)倉庫 394
13.1.2 訪問你在Terra 平臺外部管理的私有數(shù)據(jù) . 394
13.1.3 訪問Terra Data Library 數(shù)據(jù) 397
13.2 用基本組件重建教程工作區(qū) . 398
13.2.1 新建工作區(qū) 398
13.2.2 添加工作流到Methods Repository 并將其導入工作區(qū) 400
13.2.3 用JSON 文件快速創(chuàng)建配置 . 402
13.2.4 添加數(shù)據(jù)表 403
13.2.5 填充工作區(qū)資源數(shù)據(jù)表 406
13.2.6 用數(shù)據(jù)表創(chuàng)建工作流配置 406
13.2.7 添加筆記本并檢查運行環(huán)境 . 408
13.2.8 編寫工作區(qū)文檔并分享它 409
13.3 從GATK 最佳實踐工作區(qū)開始 410
13.3.1 克隆GATK 最佳實踐工作區(qū) 411
13.3.2 檢查GATK 工作區(qū)數(shù)據(jù)表，理解數(shù)據(jù)組織方式 411
13.3.3 了解千人基因組高覆蓋度數(shù)據(jù)集 414
13.3.4 從千人基因組工作區(qū)復制數(shù)據(jù)表 416
13.3.5 用TSV 加載文件從千人基因組工作區(qū)導入數(shù)據(jù) 417
13.3.6 對聯(lián)合數(shù)據(jù)集執(zhí)行聯(lián)合識別分析 419
13.4 圍繞數(shù)據(jù)集，建工作區(qū) 425
13.4.1 克隆千人基因組數(shù)據(jù)工作區(qū) . 426
13.4.2 從Dockstore 導入工作流 426
13.4.3 配置工作流，使用數(shù)據(jù)表 429
13.5 小結和下一步學習內容 430
第14 章 撰寫可完全復現(xiàn)的論文 . 433
14.1 案例研究概覽 433
14.1.1 計算可復現(xiàn)和FAIR 框架 434
14.1.2 案例研究的原始研究成果和歷史 436
14.1.3 評估可用信息和關鍵挑戰(zhàn) 437
14.1.4 設計可復現(xiàn)的實現(xiàn) . 439
14.2 生成合成數(shù)據(jù)集，替代私有數(shù)據(jù) 441
14.2.1 總體方法論 442
14.2.2 從千人基因組受試檢索變異數(shù)據(jù) 444
14.2.3 根據(jù)真人數(shù)據(jù)，仿造外顯子組數(shù)組 445
14.2.4 改變仿造外顯子組 . 449
14.2.5 生成最終數(shù)據(jù)集 . 452
14.3 重建數(shù)據(jù)處理和分析方法論 . 452
14.3.1 匹配和變異發(fā)現(xiàn) . 453
14.3.2 變異效果預測、排序和變異負荷分析 . 455
14.3.3 新實現(xiàn)的分析能力 . 456
14.4 通往FAIR 的道路漫長又曲折 . 457
14.5 總結 459
附錄 術語表 . 461