Spark Streaming：實(shí)時(shí)流處理入門與精通

定　價(jià)：￥39.00

作　者：	[美] Sumit，Gupta（蘇密特-古普塔）著；韓燕波等譯
出版社：	電子工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	計(jì)算機(jī)/網(wǎng)絡(luò) 行業(yè)軟件及應(yīng)用

購買這本書可以去

ISBN：	9787121310492	出版時(shí)間：	2017-04-01	包裝：	平裝
開本：	16開	頁數(shù)：	184	字?jǐn)?shù)：

內(nèi)容簡介

　　本書主要對Spark和Spark的安裝、配置、主要架構(gòu)和組件進(jìn)行介紹，并介紹如何利用SparkStreaming進(jìn)行實(shí)時(shí)數(shù)據(jù)的處理，討論利用Spark Streaming的多種API和操作進(jìn)行近實(shí)時(shí)的分布式日志流的處理。本書要求讀者對Scala有很好的認(rèn)識和理解，以便能夠利用核心組件和應(yīng)用進(jìn)行高效編程。

作者簡介

　　Sumit Gupta從事設(shè)計(jì)、管理并提供各種業(yè)務(wù)領(lǐng)域（如酒店業(yè)務(wù)，醫(yī)療保健，風(fēng)險(xiǎn)管理，保險(xiǎn)業(yè)務(wù)等）的企業(yè)解決方案將近9年以上，是業(yè)內(nèi)經(jīng)驗(yàn)豐富的專家、技術(shù)創(chuàng)新者和傳播者。他熱愛技術(shù)，在軟件行業(yè)擁有14年的實(shí)踐經(jīng)驗(yàn)。在過去4～5年中一直使用大數(shù)據(jù)和云計(jì)算技術(shù)來解決復(fù)雜的業(yè)務(wù)問題?，F(xiàn)任北方工業(yè)大學(xué)教授、北方工業(yè)大學(xué)云計(jì)算研究中心主任?，F(xiàn)兼任中國計(jì)算機(jī)學(xué)會服務(wù)計(jì)算專業(yè)委員會副主任、中國電子學(xué)會云計(jì)算專家委員會委員、計(jì)算機(jī)學(xué)報(bào)編委。曾就職于德國國家計(jì)算機(jī)研究中心、德國弗郎霍夫軟件技術(shù)研究所和美國大規(guī)模分布系統(tǒng)實(shí)驗(yàn)室等機(jī)構(gòu)。2000年被聘為中科院計(jì)算技術(shù)研究所研究員，入選中科院海外杰出人才計(jì)劃（中科院百人計(jì)劃，2001期）。曾任中科院研究生院教授、博士生導(dǎo)師、中科院計(jì)算技術(shù)研究所網(wǎng)格與服務(wù)計(jì)算研究中心主任、軟件集成與服務(wù)計(jì)算研究分中心主任、中德軟件集成技術(shù)聯(lián)合實(shí)驗(yàn)室主任。在數(shù)據(jù)庫、工作流、分布對象中間件、移動(dòng)計(jì)算、網(wǎng)格計(jì)算等多個(gè)領(lǐng)域主持完成了863重點(diǎn)項(xiàng)目、國家基金重點(diǎn)項(xiàng)目、973子項(xiàng)等30項(xiàng)研究課題，發(fā)表論文140余篇，出版專著4部。申報(bào)或合作申報(bào)發(fā)明專利和軟件登記50項(xiàng)，其中已向工業(yè)界轉(zhuǎn)化5項(xiàng)。是目前國內(nèi)關(guān)于云計(jì)算方面研究的**科學(xué)家。

圖書目錄

目?錄
第1章?Spark和Spark Streaming的安裝與配置\t1
安裝Spark\t2
硬件需求\t2
軟件需求\t4
安裝Spark擴(kuò)展――Spark Streaming\t7
配置和運(yùn)行Spark集群\t8
你的第一個(gè)Spark程序\t11
用Scala編碼Spark作業(yè)\t12
用Java開發(fā)Spark作業(yè)\t15
管理員/開發(fā)者工具\(yùn)t18
集群管理 \t18
提交Spark作業(yè)\t19
故障定位 \t20
配置端口號 \t20
類路徑問題――類沒有發(fā)現(xiàn) \t20
其他常見異常\t20
總結(jié)\t21
第2章?Spark和Spark Streaming的體系結(jié)構(gòu)與組件\t23
批處理和實(shí)時(shí)數(shù)據(jù)處理的比較\t24
批處理\t24
實(shí)時(shí)數(shù)據(jù)處理\t26
Spark的體系結(jié)構(gòu)\t28
Spark對比Hadoop\t28
Spark的層次化結(jié)構(gòu)\t29
Spark Streaming的體系結(jié)構(gòu)\t31
Spark Streaming是什么\t32
Spark Streaming的上層體系結(jié)構(gòu)\t32
你的第一個(gè)Spark Streaming程序\t34
用Scala編碼Spark Streaming作業(yè)\t34
用Java編碼Spark Streaming作業(yè)\t37
客戶端程序\t39
打包和部署一個(gè)Spark Streaming作業(yè)\t41
總結(jié)\t43
第3章?實(shí)時(shí)處理分布式日志文件\t45
Spark的封裝結(jié)構(gòu)和客戶端API\t46
Spark內(nèi)核\t48
Spark庫及擴(kuò)展\t54
彈性分布式數(shù)據(jù)集及離散流\t58
彈性分布式數(shù)據(jù)集\t59
離散流\t63
從分布的、多樣的數(shù)據(jù)源中加載數(shù)據(jù)\t65
Flume 框架\t67
Flume的安裝和配置\t69
配置Spark以接收Flume事件\t73
封裝和部署Spark Streaming作業(yè)\t77
分布式日志文件處理的總體架構(gòu)\t77
總結(jié)\t78
第4章?在流數(shù)據(jù)中應(yīng)用Transformation\t79
理解并應(yīng)用Transformation功能\t80
模擬日志流\t80
功能操作\t82
轉(zhuǎn)換操作\t89
窗口操作\t91
性能調(diào)優(yōu)\t94
分塊和并行化\t94
序列化\t94
Spark內(nèi)存調(diào)優(yōu)\t95
總結(jié)\t97
第5章?日志分析數(shù)據(jù)的持久化\t99
Spark Streaming的輸出操作\t100
集成Cassandra\t110
安裝和配置Apache Cassandra\t110
配置Spark\t112
通過編寫Spark作業(yè)將流式網(wǎng)頁日志存入Cassandra\t113
總結(jié)\t120
第6章?與Spark高級庫集成\t121
實(shí)時(shí)查詢流數(shù)據(jù)\t122
了解Spark SQL\t122
集成Spark SQL與流數(shù)據(jù)\t129
圖的分析――Spark GraphX\t135
GraphX API介紹\t137
集成Spark Streaming\t140
總結(jié)\t147
第7章?產(chǎn)品部署\t149
Spark部署模式\t150
部署在Apache Mesos上\t151
部署在Hadoop或者YARN上\t156
高可用性和容錯(cuò)性\t160
單機(jī)模式下的高可用性\t160
Mesos或者YARN下的高可用性\t162
容錯(cuò)性\t162
Streaming 作業(yè)的監(jiān)聽\t166
應(yīng)用程序UI界面/作業(yè)UI界面\t166
與其他監(jiān)控工具的集成\t169
總結(jié)\t170