大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)

定　價：￥59.00

作　者：	彭淵著
出版社：	機械工業(yè)出版社
叢編項：
標(biāo)　簽：	操作系統(tǒng)/系統(tǒng)開發(fā) 計算機/網(wǎng)絡(luò)

購買這本書可以去

ISBN：	9787111455035	出版時間：	2014-03-01	包裝：
開本：		頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計實戰(zhàn)》從作者的實戰(zhàn)經(jīng)驗出發(fā)，深入淺出地講解了如何建立一個Hadoop那樣的分布式系統(tǒng)，實現(xiàn)對多臺計算機CPU、內(nèi)存、硬盤的統(tǒng)一利用，從而獲取強大計算能力去解決復(fù)雜問題。一般互聯(lián)網(wǎng)企業(yè)的分布式存儲計算系統(tǒng)都是個大平臺，系統(tǒng)復(fù)雜、代碼龐大，而且只適合公司的業(yè)務(wù)，工程師很難下載安裝到自己的電腦里學(xué)習(xí)和吃透。本書對分布式核心技術(shù)進行了大量歸納和總結(jié)，并從中抽取出一套簡化的框架和編程API進行講解，方便工程師了解分布式系統(tǒng)的主要技術(shù)實現(xiàn)。這不是一本空談概念、四處摘抄的書，這本書包含了大量精煉示例，手把手教你掌握分布式核心技術(shù)?！”緯饕獌?nèi)容　分布式并行計算的基本原理解剖；分布式協(xié)調(diào)的實現(xiàn)，包括如何實現(xiàn)公共配置管理，如何實現(xiàn)分布式鎖，如何實現(xiàn)集群管理等；分布式緩存的實現(xiàn)，包括如何提供完整的分布式緩存來利用多機內(nèi)存能力；消息隊列的實現(xiàn)，包括如何實現(xiàn)發(fā)送和接收模式；分布式文件系統(tǒng)的實現(xiàn)，包括如何像操作本地文件一樣操作遠程文件，并利用多機硬盤存儲能力；分布式作業(yè)調(diào)度平臺的實現(xiàn)，包括資源隔離、資源調(diào)度等。　參考閱讀　978-7-111-43052-0大規(guī)模分布式存儲系統(tǒng)：原理解析與架構(gòu)實戰(zhàn)　978-7-111-40392-0分布式系統(tǒng)：概念與設(shè)計（原書第5版）　978-7-111-45244-7Hadoop應(yīng)用開發(fā)技術(shù)詳解　978-7-111-41766-8Hadoop技術(shù)內(nèi)幕：深入解析HadoopCommon和HDFS架構(gòu)設(shè)計與實現(xiàn)原理　978-7-111-42226-6Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計與實現(xiàn)原理　978-7-111-44534-0Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計與實現(xiàn)原理　978-7-111-43514-3網(wǎng)站數(shù)據(jù)分析：數(shù)據(jù)驅(qū)動的網(wǎng)站管理、優(yōu)化和運營　978-7-111-42591-5數(shù)據(jù)挖掘：實用案例分析

作者簡介

　　彭淵，資深架構(gòu)師，現(xiàn)任華為企業(yè)中間件首席架構(gòu)師，主要負責(zé)中間件和大數(shù)據(jù)。前淘寶高級專家（花名：千峰），先后在淘寶交易、淘寶中間件、集團核心系統(tǒng)、阿里金融等部門工作。曾任金蝶總體架構(gòu)部SOA架構(gòu)師，負責(zé)設(shè)計ESB。曾艱苦創(chuàng)業(yè)，編寫和銷售財務(wù)軟件。在Java技術(shù)領(lǐng)域從業(yè)十多年，撰寫過多款開源軟件，其中，淘寶分布式技術(shù)框架Fourinone為其代表作。他擁有軟件著作權(quán)的代表作有：BS系列軟件（包括財務(wù)進銷存、OA產(chǎn)品、CRM等）、FMS視頻會議、Flash網(wǎng)站生成軟件（華軍可下載），所有軟件作品均貢獻99%代碼。

圖書目錄

前　言第1章概述 1 1.1分布式計算、并行計算、云計算概述 1 1.2分布式產(chǎn)品Hadoop、ZooKeeper、HBase概述 6 1.3Fourinone的產(chǎn)生背景 12 第2章分布式并行計算的原理與實踐 14 2.1分布式并行計算模式 14 2.1.1最初想到的master-slave結(jié)構(gòu) 14 2.1.2“包工頭-職介所-手工倉庫-工人”模式 15 2.1.3基于消息中樞的計算模式 17 2.1.4基于網(wǎng)狀直接交互的計算模式 18 2.1.5并行結(jié)合串行模式 22 2.1.6包工頭內(nèi)部批量多階段處理模式 23 2.1.7計算集群模式和兼容遺留計算系統(tǒng) 24 2.1.8工人計算的服務(wù)化模式 26 2.2跟Hadoop的區(qū)別 28 2.3關(guān)于分布式的一些概念與產(chǎn)品 30 2.4配置文件和核心API介紹 35 2.5實踐與應(yīng)用 36 2.5.1一個簡單的示例 36 2.5.2工頭工人計算模式更完整的示例 39 2.5.3工人合并互相say hello的示例 44 2.5.4 實現(xiàn)Hadoop經(jīng)典實例Word Count 48 2.5.5分布式多機部署的示例 52 2.5.6分布式計算自動部署的示例 53 2.5.7計算過程中的故障和容災(zāi)處理 57 2.5.8計算過程中的相關(guān)時間屬性設(shè)置 60 2.5.9如何在一臺計算機上一次性啟動多個進程 63 2.5.10如何調(diào)用C/C++程序?qū)崿F(xiàn) 68 2.5.11如何中止工人計算和超時中止 68 2.5.12使用并行計算大幅提升遞歸算法效率 73 2.5.13使用并行計算求圓周率π 81 2.5.14從賭錢游戲看PageRank算法 86 2.5.15使用并行計算實現(xiàn)上億排序 96 2.5.16工人服務(wù)化模式應(yīng)用示例 104 2.6實時流計算 107 第3章分布式協(xié)調(diào)的實現(xiàn) 111 3.1協(xié)調(diào)架構(gòu)原理簡介 111 3.2核心API 113 3.3權(quán)限機制 115 3.4相對于ZooKeeper的區(qū)別 116 3.5與Paxos算法的區(qū)別 117 3.6實踐與應(yīng)用 119 3.6.1如何實現(xiàn)公共配置管理 119 3.6.2如何實現(xiàn)分布式鎖 126 3.6.3如何實現(xiàn)集群管理 129 3.6.4多節(jié)點權(quán)限操作示例 134 3.6.5領(lǐng)導(dǎo)者選舉相關(guān)屬性設(shè)置 137 第4章分布式緩存的實現(xiàn) 139 4.1小型網(wǎng)站或企業(yè)應(yīng)用的緩存實現(xiàn)架構(gòu) 139 4.2大型分布式緩存系統(tǒng)實現(xiàn)過程 140 4.3一致性哈希算法的原理、改進和實現(xiàn) 147 4.4解決任意擴容的問題 152 4.5解決擴容后數(shù)據(jù)均勻的問題 153 4.6分布式Session的架構(gòu)設(shè)計和實現(xiàn) 154 4.7緩存容量的相關(guān)屬性設(shè)置 156 4.8緩存清空的相關(guān)屬性設(shè)置 158 第5章消息隊列的實現(xiàn) 162 5.1閑話中間件與MQ 162 5.2JMS的兩種經(jīng)典模式 163 5.3如何實現(xiàn)發(fā)送接收的隊列模式 164 5.4如何實現(xiàn)主題訂閱模式 168 第6章分布式文件系統(tǒng)的實現(xiàn) 173 6.1FTTP架構(gòu)原理解析 174 6.2搭建配置FttpAdapter環(huán)境 177 6.3訪問集群文件根目錄 179 6.4訪問和操作遠程文件 181 6.5集群內(nèi)文件復(fù)制和并行復(fù)制 184 6.6讀寫遠程文件 187 6.7解析遠程文件 189 6.8并行讀寫遠程文件 191 6.9批量并行讀寫遠程文件和事務(wù)補償處理 194 6.10如何進行整型讀寫 198 6.11基于整型讀寫的上億排序 205 第7章分布式作業(yè)調(diào)度平臺的實現(xiàn) 219 7.1調(diào)度平臺的設(shè)計與實現(xiàn) 219 7.2資源隔離的實現(xiàn) 224 7.3資源調(diào)度算法 226 7.4其他作業(yè)調(diào)度平臺簡介 227 7.4.1其他MPI作業(yè)資源調(diào)度技術(shù) 227 7.4.2Mesos和Yarn簡介 229