Flink內(nèi)核原理與實(shí)現(xiàn)

定　價(jià)：￥119.00

作　者：	馮飛，崔鵬云，陳冠華著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	暫缺

購(gòu)買(mǎi)這本書(shū)可以去

ISBN：	9787111661894	出版時(shí)間：	2020-09-01	包裝：	平裝
開(kāi)本：	16開(kāi)	頁(yè)數(shù)：	328	字?jǐn)?shù)：

內(nèi)容簡(jiǎn)介

　　《Flink內(nèi)核原理與實(shí)現(xiàn)》既講解了Flink的入門(mén)、安裝、流計(jì)算開(kāi)發(fā)入門(mén)、類(lèi)型和序列化系統(tǒng)、監(jiān)控運(yùn)維、安全管理配置等基礎(chǔ)知識(shí)，又講解了Flink的時(shí)間概念、Window的實(shí)現(xiàn)原理及其代碼解析，F(xiàn)link的容錯(cuò)機(jī)制原理，F(xiàn)link容錯(cuò)的關(guān)鍵設(shè)計(jì)、代碼實(shí)現(xiàn)分析，F(xiàn)link Job從源碼到執(zhí)行整個(gè)過(guò)程的解析，F(xiàn)link Job的調(diào)度策略、資源管理策略、內(nèi)存管理、數(shù)據(jù)交換的關(guān)鍵設(shè)計(jì)和代碼實(shí)現(xiàn)分析，F(xiàn)link的RPC通信框架等深度內(nèi)容。《Flink內(nèi)核原理與實(shí)現(xiàn)》適合對(duì)實(shí)時(shí)計(jì)算感興趣的大數(shù)據(jù)開(kāi)發(fā)、運(yùn)維領(lǐng)域的從業(yè)人員閱讀，此外對(duì)機(jī)器學(xué)習(xí)工程技術(shù)人員也有所幫助。

作者簡(jiǎn)介

　　1. 馮飛，有 10余年IT研發(fā)經(jīng)驗(yàn)，專(zhuān)注于大數(shù)據(jù)相關(guān)技術(shù)領(lǐng)域，持續(xù)跟蹤研究大數(shù)據(jù)計(jì)算引擎的理論模型及其演進(jìn)，深入研讀Flink、Apache Beam、Spark等的源碼，尤其精通Flink。目前從事批流AI融合的新一代數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、研發(fā)等工作。2. 崔鵬云，畢業(yè)于北京郵電大學(xué)，獲碩士學(xué)位，曾在MicroSoft和Teradata國(guó)外知名企業(yè)的研發(fā)中心供職9年，有15年的企業(yè)級(jí)海量數(shù)據(jù)離線和在線分析技術(shù)應(yīng)用實(shí)戰(zhàn)經(jīng)驗(yàn)，擁有國(guó)內(nèi)外眾多TB及PB級(jí)大數(shù)據(jù)客戶實(shí)時(shí)數(shù)據(jù)處理和分析落地能力。3. 陳冠華，畢業(yè)于北京大學(xué)計(jì)算機(jī)軟件與理論專(zhuān)業(yè)，獲博士學(xué)位。2009~2011年在北京大學(xué)從事博士后研究工作，研究領(lǐng)域包括大數(shù)據(jù)內(nèi)存及實(shí)時(shí)計(jì)算技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等，有超過(guò)15年的海量數(shù)據(jù)離線和在線處理技術(shù)的學(xué)術(shù)研究與實(shí)踐經(jīng)驗(yàn)。

圖書(shū)目錄

前言
第1章 Flink入門(mén)
1.1 核心特點(diǎn)
1.1.1 批流一體
1.1.2 可靠的容錯(cuò)能力
1.1.3 高吞吐、低延遲
1.1.4 大規(guī)模復(fù)雜計(jì)算
1.1.5 多平臺(tái)部署
1.2 架構(gòu)
1.2.1 技術(shù)架構(gòu)
1.2.2 運(yùn)行架構(gòu)
1.3 Flink的未來(lái)
1.4 準(zhǔn)備工作
1.5 總結(jié)

第2章 Flink應(yīng)用
2.1 Flink應(yīng)用開(kāi)發(fā)
2.2 API層次
2.3 數(shù)據(jù)流
2.4 數(shù)據(jù)流API
2.4.1 數(shù)據(jù)讀取
2.4.2 處理數(shù)據(jù)
2.4.3 數(shù)據(jù)寫(xiě)出
2.4.4 旁路輸出
2.5 總結(jié)

第3章核心抽象
3.1 環(huán)境對(duì)象
3.1.1 執(zhí)行環(huán)境
3.1.2 運(yùn)行時(shí)環(huán)境
3.1.3 運(yùn)行時(shí)上下文
3.2 數(shù)據(jù)流元素
3.3 數(shù)據(jù)轉(zhuǎn)換
3.4 算子
3.4.1 算子行為
3.4.2 Flink算子
3.4.3 Blink算子
3.4.4 異步算子
3.5 函數(shù)體系
3.5.1 函數(shù)層次
3.5.2 處理函數(shù)
3.5.3 廣播函數(shù)
3.5.4 異步函數(shù)
3.5.5 數(shù)據(jù)源函數(shù)
3.5.6 輸出函數(shù)
3.5.7 檢查點(diǎn)函數(shù)
3.6 數(shù)據(jù)分區(qū)
3.7 連接器
3.8 分布式ID
3.9 總結(jié)

第4章時(shí)間與窗口
4.1 時(shí)間類(lèi)型
4.2 窗口類(lèi)型
4.3 窗口原理與機(jī)制
4.3.1 WindowAssigner
4.3.2 WindowTrigger
4.3.3 WindowEvictor
4.3.4 Window函數(shù)
4.4 水印
4.4.1 DataStream Watermark生成
4.4.2 Flink SQL Watermark生成
4.4.3 多流的Watermark
4.5 時(shí)間服務(wù)
4.5.1 定時(shí)器服務(wù)
4.5.2 定時(shí)器
4.5.3 優(yōu)先級(jí)隊(duì)列
4.6 窗口實(shí)現(xiàn)
4.6.1 時(shí)間窗口
4.6.2 會(huì)話窗口
4.6.3 計(jì)數(shù)窗口
4.7 總結(jié)

第5章類(lèi)型與序列化
5.1 DataStream類(lèi)型系統(tǒng)
5.1.1 物理類(lèi)型
5.1.2 邏輯類(lèi)型
5.1.3 類(lèi)型推斷
5.1.4 顯式類(lèi)型
5.1.5 類(lèi)型系統(tǒng)存在的問(wèn)題
5.2 SQL類(lèi)型系統(tǒng)
5.2.1 Flink Row
5.2.2 Blink Row
5.2.3 ColumnarRow
5.3 數(shù)據(jù)序列化
5.3.1 數(shù)據(jù)序列化/反序列化
5.3.2 String序列化過(guò)程示例
5.3.3 作業(yè)序列化
5.3.4 Kryo序列化
5.4 總結(jié)

第6章內(nèi)存管理
6.1 自主內(nèi)存管理
6.2 內(nèi)存模型
6.2.1 內(nèi)存布局
6.2.2 內(nèi)存計(jì)算
6.3 內(nèi)存數(shù)據(jù)結(jié)構(gòu)
6.3.1 內(nèi)存段
6.3.2 內(nèi)存頁(yè)
6.3.3 Buffer
6.3.4 Buffer資源池
6.4 內(nèi)存管理器
6.4.1 內(nèi)存申請(qǐng)
6.4.2 內(nèi)存釋放
6.5 網(wǎng)絡(luò)緩沖器
6.5.1 內(nèi)存申請(qǐng)
6.5.2 內(nèi)存回收
6.6 總結(jié)

第7章狀態(tài)原理
7.1 狀態(tài)類(lèi)型
7.1.1 KeyedState與OperatorState
7.1.2 原始和托管狀態(tài)
7.2 狀態(tài)描述
7.3 廣播狀態(tài)
7.4 狀態(tài)接口
7.4.1 狀態(tài)操作接口
7.4.2 狀態(tài)訪問(wèn)接口
7.5 狀態(tài)存儲(chǔ)
7.5.1 內(nèi)存型和文件型狀態(tài)存儲(chǔ)
7.5.2 基于RocksDB的StateBackend
7.6 狀態(tài)持久化
7.7 狀態(tài)重分布
7.7.1 OperatorState重分布
7.7.2 KeyedState重分布
7.8 狀態(tài)過(guò)期
7.8.1 DataStream中狀態(tài)過(guò)期
7.8.2 Flink SQL中狀態(tài)過(guò)期
7.8.3 狀態(tài)過(guò)期清理
7.9 總結(jié)

第8章作業(yè)提交
8.1 提交流程
8.1.1 流水線執(zhí)行器PipelineExecutor
8.1.2 Yarn Session提交流程
8.1.3 Yarn Per-Job提交流程
8.1.4 K8s Session提交流程
8.2 Graph總覽
8.3 流圖
8.3.1 StreamGraph核心對(duì)象
8.3.2 StreamGraph生成過(guò)程
8.3.3 單輸入物理Transformation的轉(zhuǎn)換示例
8.3.4 虛擬Transformation的轉(zhuǎn)換示例
8.4 作業(yè)圖
8.4.1 JobGraph核心對(duì)象
8.4.2 JobGraph生成過(guò)程
8.4.3 算子融合
8.5 執(zhí)行圖
8.5.1 ExecutionGraph核心對(duì)象
8.5.2 ExecutionGraph生成過(guò)程
8.6 總結(jié)

第9章資源管理
9.1 資源抽象
9.2 資源管理器
9.3 Slot管理器
9.4 SlotProvider
9.5 Slot選擇策略
9.6 Slot資源池
9.7 Slot共享
9.8 總結(jié)

第10章作業(yè)調(diào)度
10.1 調(diào)度
10.2 執(zhí)行模式
10.3 數(shù)據(jù)交換模式
10.4 作業(yè)生命周期
10.4.1 作業(yè)生命周期狀態(tài)
10.4.2 Task的生命周期
10.5 關(guān)鍵組件
10.5.1 JobMaster
10.5.2 TaskManager
10.5.3 Task
10.5.4 StreamTask
10.6 作業(yè)啟動(dòng)
10.6.1 JobMaster啟動(dòng)作業(yè)
10.6.2 流作業(yè)啟動(dòng)調(diào)度
10.6.3 批作業(yè)調(diào)度
10.6.4 TaskManger啟動(dòng)Task
10.7 作業(yè)停止
10.8 作業(yè)失敗調(diào)度
10.8.1 默認(rèn)作業(yè)失敗調(diào)度
10.8.2 遺留的作業(yè)失敗調(diào)度
10.9 組件容錯(cuò)
10.9.1 容錯(cuò)設(shè)計(jì)
10.9.2 HA服務(wù)
10.9.3 JobMaster的容錯(cuò)
10.9.4 ResourceManager容錯(cuò)
10.9.5 TaskManager 的容錯(cuò)
10.10 總結(jié)

第11章作業(yè)執(zhí)行
11.1 作業(yè)執(zhí)行圖
11.2 核心對(duì)象
11.2.1 輸入處理器
11.2.2 Task輸入
11.2.3 Task輸出
11.2.4 結(jié)果分區(qū)
11.2.5 結(jié)果子分區(qū)
11.2.6 有限數(shù)據(jù)集
11.2.7 輸入網(wǎng)關(guān)
11.2.8 輸入通道
11.3 Task執(zhí)行
11.3.1 Task處理數(shù)據(jù)
11.3.2 Task處理Watermark
11.3.3 Task處理StreamStatus
11.3.4 Task處理LatencyMarker
11.4 總結(jié)

第12章數(shù)據(jù)交換
12.1 數(shù)據(jù)傳遞模式
12.2 關(guān)鍵組件
12.2.1 RecordWriter
12.2.2 數(shù)據(jù)記錄序列化器
12.2.3 數(shù)據(jù)記錄反序列化器
12.2.4 結(jié)果子分區(qū)視圖
12.2.5 數(shù)據(jù)輸出
12.3 數(shù)據(jù)傳遞
12.3.1 本地線程內(nèi)的數(shù)據(jù)傳遞
12.3.2 本地線程間的數(shù)據(jù)傳遞
12.3.3 跨網(wǎng)絡(luò)的數(shù)據(jù)傳遞
12.4 數(shù)據(jù)傳遞過(guò)程
12.4.1 數(shù)據(jù)讀取
12.4.2 數(shù)據(jù)寫(xiě)出
12.4.3 數(shù)據(jù)清理
12.5 網(wǎng)絡(luò)通信
12.5.1 網(wǎng)絡(luò)連接
12.5.2 無(wú)流控
12.5.3 基于信用的流控
12.6 總結(jié)

第13章應(yīng)用容錯(cuò)
13.1 容錯(cuò)保證語(yǔ)義
13.2 檢查點(diǎn)與保存點(diǎn)
13.3 作業(yè)恢復(fù)
13.3.1 檢查點(diǎn)恢復(fù)
13.3.2 保存點(diǎn)恢復(fù)
13.3.3 恢復(fù)時(shí)的時(shí)間問(wèn)題
13.4 關(guān)鍵組件
13.4.1 檢查點(diǎn)協(xié)調(diào)器
13.4.2 檢查點(diǎn)消息
13.5 輕量級(jí)異步分布式快照
13.5.1 基本概念
13.5.2 Barrier對(duì)齊
13.6 檢查點(diǎn)執(zhí)行過(guò)程
13.6.1 JobMaster觸發(fā)檢查點(diǎn)
13.6.2 TaskExecutor執(zhí)行檢查點(diǎn)
13.6.3 JobMaster確認(rèn)檢查點(diǎn)
13.7 檢查點(diǎn)恢復(fù)過(guò)程
13.8 端到端嚴(yán)格一次
13.8.1 兩階段提交協(xié)議
13.8.2 兩階段提交實(shí)現(xiàn)
13.9 總結(jié)

第14章 Flink SQL
14.1 Apache Calcite
14.1.1 Calcite是什么
14.1.2 Calcite的技術(shù)特點(diǎn)
14.1.3 Calcite的主要功能
14.1.4 Calcite的核心原理
14.2 動(dòng)態(tài)表
14.2.1 流映射為表
14.2.2 連續(xù)查詢(xún)
14.2.3 流上SQL查詢(xún)限制
14.2.4 表到流的轉(zhuǎn)換
14.3 TableEnvironment
14.3.1 TableEnvironment體系
14.3.2 TableEnvironment使用示例
14.4 Table API
14.5 SQL API
14.6 元數(shù)據(jù)
14.6.1 元數(shù)據(jù)管理
14.6.2 元數(shù)據(jù)分類(lèi)
14.7數(shù)據(jù)訪問(wèn)
14.7.1Table Source
14.7.2Table Slink
14.8 SQL函數(shù)
14.9 Planner關(guān)鍵抽象
14.9.1 Expression
14.9.2 ExpressionResolver
14.9.3 Operation
14.9.4 QueryOperation
14.9.5 物理計(jì)劃節(jié)點(diǎn)
14.10 Blink Planner和Flink Planner對(duì)比
14.11 Blink與Calcite關(guān)系
14.12 Blink SQL執(zhí)行過(guò)程
14.12.1 從SQL到Operation
14.12.2 Operation到Transformation
14.13 Blink Table API執(zhí)行過(guò)程
14.13.1 Table API到Operation
14.13.2 Operation到Transformation
14.14 Flink與Calcite的關(guān)系
14.15 Flink SQL執(zhí)行過(guò)程
14.15.1 SQL 到Operation
14.15.2 Operation到DataStream/DataSet
14.16 Flink Table API執(zhí)行過(guò)程
14.17 SQL優(yōu)化
14.18 Blink優(yōu)化
14.18.1 優(yōu)化器
14.18.2 代價(jià)計(jì)算
14.18.3 優(yōu)化過(guò)程
14.18.4 優(yōu)化規(guī)則
14.18.5 公共子圖
14.19 Flink優(yōu)化
14.19.1 優(yōu)化器
14.19.2 優(yōu)化過(guò)程
14.19.3 優(yōu)化規(guī)則
14.20 代碼生成
14.20.1 為什么進(jìn)行代碼生成
14.20.2 代碼生成范圍
14.20.3 代碼生成示例
14.21 總結(jié)

第15章運(yùn)維監(jiān)控
15.1 監(jiān)控指標(biāo)
15.2 指標(biāo)組
15.3 監(jiān)控集成
15.4 指標(biāo)注冊(cè)中心
15.5 指標(biāo)查詢(xún)服務(wù)
15.6 延遲跟蹤實(shí)現(xiàn)原理
15.7 總結(jié)

第16章 RPC框架
16.1 Akka簡(jiǎn)介
16.1.1 Akka是什么
16.1.2 使用Akka
16.1.3 Akka的通信
16.2 RPC消息的類(lèi)型
16.3 RPC通信組件
16.3.1 RpcGateway
16.3.2 RpcEndpoint
16.3.3 RpcService
16.3.4 RpcServer
16.3.5 AkkaRpcActor
16.4 RPC交互過(guò)程
16.4.1 RPC請(qǐng)求發(fā)送
16.4.2 RPC請(qǐng)求響應(yīng)
16.5總結(jié)
專(zhuān)家寄語(yǔ)
參考文獻(xiàn)