DBA實(shí)戰(zhàn)手記

目錄
序言1
序言2
序言3
前言
第1章  漫談數(shù)據(jù)庫1
1.1  什么是數(shù)據(jù)庫2
1.2  數(shù)據(jù)庫發(fā)展史2
1.2.1  國外數(shù)據(jù)庫的歷史2
1.2.2  國內(nèi)數(shù)據(jù)庫的歷史4
1.3  數(shù)據(jù)庫的主要分類6
1.3.1  關(guān)系數(shù)據(jù)庫：傳統(tǒng)交易數(shù)據(jù)庫6
1.3.2  鍵值數(shù)據(jù)庫：基于KV鍵值對的內(nèi)存數(shù)據(jù)庫7
1.3.3  列式數(shù)據(jù)庫：列式存儲(chǔ)的分析型數(shù)據(jù)庫9
1.3.4  文檔型數(shù)據(jù)庫：松散型數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)庫10
1.3.5  圖數(shù)據(jù)庫：用于社交圖譜的數(shù)據(jù)庫11
1.3.6  時(shí)序數(shù)據(jù)庫：適用于物聯(lián)網(wǎng)場景的數(shù)據(jù)庫12
1.3.7  搜索引擎數(shù)據(jù)庫：全文索引的數(shù)據(jù)庫14
1.3.8  多模數(shù)據(jù)庫：具有多種數(shù)據(jù)庫模式的融合數(shù)據(jù)庫17
1.3.9  最容易忽視的數(shù)據(jù)庫—移動(dòng)端數(shù)據(jù)庫19
1.4  數(shù)據(jù)庫應(yīng)用的發(fā)展趨勢22
1.4.1  國外數(shù)據(jù)庫應(yīng)用發(fā)展趨勢22
1.4.2  國內(nèi)數(shù)據(jù)庫應(yīng)用發(fā)展趨勢24
1.5  數(shù)據(jù)庫與新興數(shù)字技術(shù)30
1.5.1  數(shù)據(jù)庫與大數(shù)據(jù)技術(shù)30
1.5.2  數(shù)據(jù)庫的延伸：區(qū)塊鏈、物聯(lián)網(wǎng)32
1.6  與數(shù)據(jù)庫長相廝守的DBA33
1.6.1  DBA的定義與內(nèi)涵33
1.6.2  DBA的工作職責(zé)34
1.6.3  DBA需要具備的能力35
1.6.4  DBA的價(jià)值35
1.6.5  DBA是可以做一輩子的職業(yè)36
第2章  如何提升數(shù)據(jù)庫性能38
2.1  通過索引提升性能39
2.1.1  索引的概念及原理39
2.1.2  索引的種類44
2.1.3  規(guī)避索引使用的誤區(qū)68
2.1.4  通過索引實(shí)現(xiàn)海量數(shù)據(jù)中的高效查詢70
2.1.5  自動(dòng)化索引：數(shù)據(jù)庫自治的趨勢71
2.2  通過SQL優(yōu)化提升性能78
2.2.1  SQL優(yōu)化實(shí)現(xiàn)高速執(zhí)行任務(wù)79
2.2.2  慎用分頁有效提升性能86
2.2.3  從認(rèn)知上杜絕低效SQL89
2.3  避免數(shù)據(jù)庫對象設(shè)計(jì)失誤91
2.3.1  避免不必要的多表關(guān)聯(lián)導(dǎo)致的低效查詢91
2.3.2  避免動(dòng)態(tài)計(jì)算結(jié)果沒有單獨(dú)存儲(chǔ)導(dǎo)致的低效查詢93
2.3.3  避免沒有明確需求查詢條件導(dǎo)致的低效查詢97
2.3.4  避免過度分表98
2.4  從識(shí)別需求的合理性提升性能101
2.4.1  拒絕無效需求101
2.4.2  正確理解開發(fā)需求104
2.4.3  拒絕不合理的需求106
2.4.4  引導(dǎo)業(yè)務(wù)改善需求107
2.5  減少IO操作提升數(shù)據(jù)庫性能108
2.5.1  正確認(rèn)識(shí)數(shù)據(jù)庫的性能108
2.5.2  減少IO交互—批量寫入數(shù)據(jù)（MySQL）110
2.5.3  減少IO交互—批量寫入數(shù)據(jù)（Oracle）122
2.5.4  減少IO交互—批量寫入數(shù)據(jù)（PostgreSQL）123
2.5.5  精簡架構(gòu)127
第3章  如何運(yùn)維好數(shù)據(jù)庫130
3.1  運(yùn)維好數(shù)據(jù)庫的關(guān)鍵：處理故障131
3.1.1  常見的數(shù)據(jù)庫故障類型131
3.1.2  數(shù)據(jù)庫故障的危害132
3.2  分析處理數(shù)據(jù)庫故障的關(guān)鍵點(diǎn)133
3.2.1  分析數(shù)據(jù)庫故障的主要原因—SQL133
3.2.2  分析SQL的主要問題—處理速度慢134
3.2.3  分析數(shù)據(jù)庫參數(shù)對數(shù)據(jù)庫的影響134
3.2.4  分析硬件短板帶來的問題—IO吞吐能力與CPU計(jì)算能力135
3.3  數(shù)據(jù)庫故障處理的典型案例分析138
3.3.1  一次Elasticsearch誤刪除的故障分析139
3.3.2  一次配置文件丟失導(dǎo)致的MySQL數(shù)據(jù)庫故障分析141
3.3.3  一次In-Memory丟失引起的故障分析146
3.3.4  一次疑似分區(qū)查詢異常的故障分析150
3.3.5  一次數(shù)據(jù)庫歸檔導(dǎo)致的故障分析159
3.3.6  一次數(shù)據(jù)庫binlog寫入失敗的故障分析163
3.3.7  一次兩表關(guān)聯(lián)導(dǎo)致的故障分析165
3.3.8  數(shù)據(jù)庫連接數(shù)與連接復(fù)用不當(dāng)?shù)墓收戏治?66
3.3.9  一次數(shù)據(jù)庫CPU使用率100%的故障分析168
3.3.10  一次數(shù)據(jù)庫索引不當(dāng)引起的故障分析169
3.3.11  一次數(shù)據(jù)庫主從延遲過大的故障分析172
3.3.12  一次數(shù)據(jù)庫主從不一致的故障分析174
3.3.13  一次Redis數(shù)據(jù)庫無法啟動(dòng)的故障分析182
3.3.14  一次MySQL數(shù)據(jù)庫數(shù)據(jù)類型不恰當(dāng)導(dǎo)致的故障183
3.3.15  一次數(shù)據(jù)庫全表查詢的優(yōu)化187
第4章  如何進(jìn)行數(shù)據(jù)庫設(shè)計(jì)197
4.1  數(shù)據(jù)庫都有哪些架構(gòu)198
4.1.1  集中式架構(gòu)198
4.1.2  分布式架構(gòu)200
4.1.3  數(shù)據(jù)庫內(nèi)部的體系架構(gòu)201
4.1.4 “煙囪”式的數(shù)據(jù)庫架構(gòu)201
4.1.5  獨(dú)立業(yè)務(wù)線的數(shù)據(jù)庫架構(gòu)202
4.2  根據(jù)實(shí)際場景選擇數(shù)據(jù)庫架構(gòu)203
4.3  五個(gè)維度談數(shù)據(jù)庫選型203
4.3.1  從業(yè)務(wù)場景特征維度204
4.3.2  從數(shù)據(jù)規(guī)模大小維度204
4.3.3  從用戶自身開發(fā)團(tuán)隊(duì)能力維度205
4.3.4  從用戶自身運(yùn)維團(tuán)隊(duì)能力維度205
4.3.5  從公司管理能力維度206
4.4  數(shù)據(jù)庫拆分的利與弊206
4.4.1  數(shù)據(jù)庫拆分的背景207
4.4.2  數(shù)據(jù)庫拆分的三大問題：一致性、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)同步208
4.4.3  分表帶來的問題：一致性、聚合、排序、擴(kuò)縮容208
4.5  如何看待數(shù)據(jù)庫的合并210
4.5.1  為何要做數(shù)據(jù)庫合并210
4.5.2  數(shù)據(jù)庫合并的意義：降成本、提升穩(wěn)定性211
4.5.3  數(shù)據(jù)庫合并帶來的問題：雞蛋放在一個(gè)籃子里211
4.5.4  數(shù)據(jù)庫合并的前提：高質(zhì)量SQL、硬件的進(jìn)步、穩(wěn)定的基礎(chǔ)環(huán)境212
4.6  CAP理論與分布式數(shù)據(jù)庫212
4.6.1  CAP理論概述213
4.6.2  CAP理論的延展213
4.6.3  分庫分表不是分布式數(shù)據(jù)庫214
4.7  如何看待數(shù)據(jù)庫與中間件215
4.7.1  數(shù)據(jù)庫與中間件：上下游的“難兄難弟”215
4.7.2  中間件內(nèi)存溢出的原因：源頭還是數(shù)據(jù)庫215
4.7.3  適當(dāng)減少數(shù)據(jù)庫與中間件的數(shù)量：避免不必要的故障節(jié)點(diǎn)216
第5章  如何做好數(shù)據(jù)庫之間的數(shù)據(jù)同步217
5.1  數(shù)據(jù)同步的作用218
5.1.1  實(shí)現(xiàn)數(shù)據(jù)傳輸218
5.1.2  實(shí)現(xiàn)數(shù)據(jù)匯聚218
5.1.3  實(shí)現(xiàn)數(shù)據(jù)遷移219
5.2  數(shù)據(jù)庫同步的分類219
5.2.1  同構(gòu)數(shù)據(jù)庫的同步219
5.2.2  異構(gòu)數(shù)據(jù)庫的同步219
5.2.3  數(shù)據(jù)庫到消息隊(duì)列的同步219
5.2.4  數(shù)據(jù)庫到Hadoop的數(shù)據(jù)同步219
5.3  同構(gòu)數(shù)據(jù)庫數(shù)據(jù)同步的示例220
5.3.1  使用dblink實(shí)現(xiàn)Oracle數(shù)據(jù)庫之間的數(shù)據(jù)同步220
5.3.2  使用物化視圖實(shí)現(xiàn)遠(yuǎn)程Oracle數(shù)據(jù)庫之間的數(shù)據(jù)同步226
5.3.3  使用插件實(shí)現(xiàn)MySQL數(shù)據(jù)庫之間的數(shù)據(jù)同步231
5.3.4  利用數(shù)據(jù)同步實(shí)現(xiàn)MySQL的版本升級234
5.3.5  采用多源復(fù)制的功能實(shí)現(xiàn)MySQL數(shù)據(jù)庫之間的數(shù)據(jù)同步239
5.3.6  采用主從模式實(shí)現(xiàn)PostgreSQL主從數(shù)據(jù)同步242
5.4  異構(gòu)數(shù)據(jù)庫同步的實(shí)例—基于OGG248
5.4.1  CDC簡介248
5.4.2  OGG概述249
5.4.3  OGG微服務(wù)版的安裝部署249
5.4.4  使用OGG for Oracle實(shí)現(xiàn)Oracle數(shù)據(jù)庫之間的數(shù)據(jù)同步251
5.4.5  使用OGG for MySQL實(shí)現(xiàn)MySQL與異構(gòu)數(shù)據(jù)庫的同步279
5.4.6  使用OGG for BigData實(shí)現(xiàn)大數(shù)據(jù)組件與異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)同步284
第6章  認(rèn)識(shí)HTAP技術(shù)294
6.1  HTAP的概念及其價(jià)值295
6.1.1  HTAP：混合事物/分析處理295
6.1.2  HTAP的價(jià)值295
6.2  HTAP的幾種實(shí)現(xiàn)方式297
6.2.1  垂直方向的實(shí)現(xiàn)：以O(shè)racle數(shù)據(jù)庫為例297
6.2.2  水平方向的實(shí)現(xiàn)：以MySQL、TiDB數(shù)據(jù)庫為例298
6.2.3  其他類型數(shù)據(jù)庫的實(shí)現(xiàn)方式298
第7章  認(rèn)識(shí)數(shù)據(jù)庫的功能原理300
7.1  優(yōu)化器—基于統(tǒng)計(jì)學(xué)原理301
7.2  數(shù)據(jù)庫的查詢—火山模型316
7.3  數(shù)據(jù)庫AI—向量化319
7.4  編譯執(zhí)行323
第8章  認(rèn)識(shí)數(shù)據(jù)庫中的數(shù)學(xué)（邏輯與算法）326
8.1  數(shù)據(jù)庫中的典型邏輯與算法327
8.1.1  從斐波那契數(shù)列到數(shù)據(jù)分析327
8.1.2  增加數(shù)據(jù)維度處理—減少關(guān)聯(lián)332
8.1.3  多表關(guān)聯(lián)算法—一對多與多對多336
8.1.4  排除處理算法—笛卡兒積341
8.1.5  函數(shù)算法—對SQL的影響348
8.2  動(dòng)態(tài)規(guī)劃法在數(shù)據(jù)庫中的應(yīng)用351
8.2.1  動(dòng)態(tài)規(guī)劃原理1：爬樓梯351
8.2.2  動(dòng)態(tài)規(guī)劃原理2：背包問題355
8.2.3  動(dòng)態(tài)規(guī)劃的五部曲361
8.3  數(shù)據(jù)庫開發(fā)中的邏輯思維362
8.3.1  元數(shù)據(jù)的空與非空362
8.3.2  優(yōu)化器處理極值和極限：加速查詢速度369
8.3.3  并發(fā)處理熱點(diǎn)的邏輯：避免鎖371
8.3.4  減庫存的邏輯：從設(shè)計(jì)出發(fā)防止超賣373
第9章  DBA的日常：數(shù)據(jù)庫管理及開發(fā)的最佳實(shí)踐375
9.1  七個(gè)針對數(shù)據(jù)庫特性的最佳實(shí)踐376
9.1.1  Oracle的DML重定向376
9.1.2  Oracle的資源隔離381
9.1.3  MySQL的延遲復(fù)制—挽救誤刪除389
9.1.4  PostgreSQL的延遲復(fù)制395
9.1.5  數(shù)據(jù)庫對于磁盤IO吞吐的要求402
9.2  面向執(zhí)行器和優(yōu)化器的最佳實(shí)踐403
9.2.1  主流數(shù)據(jù)庫的事務(wù)異常處理機(jī)制對比（MySQL、PostgreSQL、Oracle）403
9.2.2  MySQL和達(dá)夢兩個(gè)數(shù)據(jù)庫優(yōu)化器的對比406
9.2.3  SQL語句的解析過程分析407
9.2.4  優(yōu)化器的多表關(guān)聯(lián)411
9.2.5  SQL使用in進(jìn)行子查詢412
9.2.6  數(shù)據(jù)歸檔和數(shù)據(jù)遷移419
9.3  數(shù)據(jù)庫的復(fù)制（克?。┡c高可用受控切換的最佳實(shí)踐424
9.3.1  Oracle的PDB數(shù)據(jù)庫克隆425
9.3.2  MySQL克隆的關(guān)鍵點(diǎn)428
9.3.3  MySQL的MGR架構(gòu)以及受控切換431
9.3.4  PostgreSQL的高可用切換434
9.3.5  Redis的高可用切換440
9.4  三個(gè)SQL編寫的最佳實(shí)踐445
9.4.1  關(guān)于MyBatis開發(fā)框架使用綁定變量的實(shí)踐445
9.4.2  使用exists的SQL語句的改寫451
9.4.3  設(shè)計(jì)上出發(fā)減少SQL的標(biāo)量子查詢458
9.5  時(shí)序數(shù)據(jù)庫使用的最佳實(shí)踐463
9.5.1  時(shí)序數(shù)據(jù)庫的數(shù)據(jù)庫表設(shè)計(jì)463
9.5.2  時(shí)序數(shù)據(jù)庫的數(shù)據(jù)分析466
附錄  DBA雜談468