并行計(jì)算綜論

　　內(nèi)容簡(jiǎn)介目錄這是一本全面介紹近年來并行計(jì)算研究進(jìn)展的著作，主要按照并行性、并行應(yīng)用、軟件技術(shù)以及關(guān)鍵技術(shù)和算法等方面展開討論。關(guān)于并行性，主要概述了并行計(jì)算的各個(gè)方面并介紹其所依賴的軟、硬件平臺(tái)；關(guān)于并行應(yīng)用，主要介紹了并行計(jì)算在計(jì)算流體力學(xué)、環(huán)境與能源、計(jì)算化學(xué)，以及其他十幾個(gè)典型數(shù)值和非數(shù)值計(jì)算領(lǐng)域中的應(yīng)用；關(guān)于軟件技術(shù)，主要介紹了并行計(jì)算的軟件基礎(chǔ)，包括消息傳遞和線程、并行I/O、編程語言與編譯器、面向?qū)ο蟮牟⑿袔?、問題求解環(huán)境、性能調(diào)整與程序調(diào)試工具等；關(guān)于關(guān)鍵技術(shù)和算法，主要介紹了在大量應(yīng)用領(lǐng)域廣泛使用的并行計(jì)算技術(shù)和并行算法，包括可重用軟件與算法、高性能科學(xué)模擬中的圖剖分問題、網(wǎng)格剖分、模板與數(shù)值線性代數(shù)、PDE可擴(kuò)展求解軟件、并行連續(xù)優(yōu)化、科學(xué)計(jì)算路徑追蹤和自動(dòng)微分等。本書還列出了近年來與并行計(jì)算相關(guān)的上千篇參考文獻(xiàn)。本書是一本綜合性很強(qiáng)的并行計(jì)算專著，可供對(duì)并行計(jì)算感興趣的高等院校、研究所、工業(yè)和商業(yè)部門等各應(yīng)用領(lǐng)域的研究和工程技術(shù)人員參考。并行計(jì)算具有將計(jì)算能力從單個(gè)處理機(jī)無縫地?cái)U(kuò)展到無窮多個(gè)處理機(jī)的潛力。然而，應(yīng)用程序的性能仍無法與并行機(jī)的峰值性能相匹配，并行機(jī)上的編程任務(wù)仍然相當(dāng)繁重，而且在編程時(shí)還需要盡可能挖掘應(yīng)用程序的并行性。當(dāng)前，在并行機(jī)上獲取高可擴(kuò)展并行性的諸多工作仍然是由應(yīng)田開發(fā)人員承擔(dān)的?！恫⑿杏?jì)算綜論》-書收集了60多位從事并行計(jì)算的杰出研究人員的知識(shí)和經(jīng)驗(yàn)，主要按照并行性、并行應(yīng)用、軟件技術(shù)，以及關(guān)鍵技術(shù)和算法等方面展開討論，為相關(guān)領(lǐng)域的學(xué)生、科學(xué)家和工程師們提供了一本內(nèi)容豐富的讀本。本書主要特點(diǎn)·由研究并行工具、語言、技術(shù)等領(lǐng)域的專家編寫。·測(cè)試可用的并行技術(shù)并指導(dǎo)學(xué)生和技術(shù)人員如何選擇和獲取實(shí)用的技術(shù)。·提供多個(gè)應(yīng)用領(lǐng)域中的實(shí)例，其中包括化學(xué)、圖像處理、數(shù)據(jù)挖掘、海洋模擬和地震模擬等?！ぬ接懥瞬⑿杏?jì)算技術(shù)未來發(fā)展方向及其所能支持的應(yīng)用類型。譯者序 10多年前， 在大規(guī)模并行計(jì)算機(jī)， 尤其是分布式存儲(chǔ)并行計(jì)算機(jī)上， 如何開發(fā)高效可移植的并行算法和并行應(yīng)用程序， 曾經(jīng)是困擾科學(xué)與工程計(jì)算應(yīng)用部門的一個(gè)最大難題， 也束縛了高性能并行計(jì)算在國(guó)內(nèi)的普及推廣應(yīng)用. 如今， 隨著高性能并行機(jī)的日益普及， 尤其是低價(jià)格高性能比的微機(jī)機(jī)群的推廣應(yīng)用， 以及并行編程標(biāo)準(zhǔn)， 尤其是消息傳遞MPI和共享存儲(chǔ)OpenMP的統(tǒng)一， 高性能并行計(jì)算已經(jīng)成為加速我國(guó)科學(xué)與工程應(yīng)用數(shù)值模擬的一種關(guān)鍵支撐技術(shù)， 是從事科學(xué)與工程計(jì)算專業(yè)的研究人員或者學(xué)生想學(xué)習(xí)的一門基礎(chǔ)課程. 特別是近幾年以來， 我國(guó)在對(duì)計(jì)算需求較大的應(yīng)用部門. 研究所和大學(xué)以及許多大城市中， 相繼成立了高性能計(jì)算中心， 配備了每秒峰值超過萬億次浮點(diǎn)運(yùn)算， 包含上千個(gè)處理器的大規(guī)模高性能并行機(jī). 國(guó)家863計(jì)劃也啟動(dòng)了國(guó)家高性能計(jì)算網(wǎng)格環(huán)境， 希望共享各個(gè)高性能計(jì)算中心的資源， 加速提高我國(guó)的數(shù)值模擬水平. 應(yīng)該說， 目前我國(guó)高性能并行計(jì)算硬件平臺(tái)已經(jīng)比較先進(jìn)， 開展高性能并行計(jì)算研究的條件已經(jīng)非常成熟. 自從并行計(jì)算機(jī)在我國(guó)誕生并應(yīng)用以來， 我國(guó)關(guān)鍵應(yīng)用部門. 大學(xué). 研究所和工業(yè)部門就已經(jīng)對(duì)并行計(jì)算進(jìn)行了長(zhǎng)期的研究. 但是， 從總體水平上， 尤其是并行應(yīng)用軟件的開發(fā)水平上， 我國(guó)還遠(yuǎn)遠(yuǎn)落后于美國(guó)等國(guó)家， 這一差距比計(jì)算機(jī)硬件落后的差距大得多. 如何在現(xiàn)有高性能并行計(jì)算機(jī)硬件平臺(tái)和軟件支撐環(huán)境上， 結(jié)合各個(gè)應(yīng)用部門的具體應(yīng)用和數(shù)值方法的特點(diǎn)， 通過移植. 改進(jìn)和設(shè)計(jì)高效的并行算法， 將現(xiàn)有的大量應(yīng)用程序移植到高性能可擴(kuò)展并行機(jī)上運(yùn)行， 甚至直接重新設(shè)計(jì)高效的并行應(yīng)用軟件， 并開發(fā)相應(yīng)的輔助軟件工具， 以簡(jiǎn)化并行應(yīng)用程序的開發(fā)， 縮短軟件開發(fā)周期， 提高軟件的計(jì)算效率， 將是從事并行科學(xué)與工程計(jì)算研究的人員必須面對(duì)的一個(gè)關(guān)鍵問題. 只有解決了這個(gè)問題， 才能真正用好大規(guī)模并行計(jì)算機(jī)， 縮短我國(guó)與國(guó)外的應(yīng)用差距. 因此， 為了達(dá)到以上目的， 我們?cè)谧龊貌⑿杏?jì)算的普及推廣工作的同時(shí)， 希望能盡快學(xué)習(xí)國(guó)外并行應(yīng)用軟件開發(fā)的先進(jìn)經(jīng)驗(yàn)， 加速提高我們的研制能力. 可喜的是， 該書全面總結(jié)了美國(guó)國(guó)家科學(xué)基金并行計(jì)算研究中心近10多年來在并行計(jì)算研究和并行應(yīng)用程序開發(fā)方面所做的工作， 正好可用于填補(bǔ)我國(guó)在這方面的不足， 值得我們學(xué)習(xí)和借鑒. 該書是一本全面介紹近10多年來并行計(jì)算研究進(jìn)展的著作， 內(nèi)容涵蓋了高性能并行計(jì)算研究和應(yīng)用的各個(gè)方面， 包括并行計(jì)算研究依賴的并行機(jī)硬件平臺(tái). 并行應(yīng)用開發(fā). 并行編程軟件技術(shù). 并行計(jì)算關(guān)鍵技術(shù)和算法等. 該書的作者是多位長(zhǎng)期從事高性能并行計(jì)算研究的國(guó)際知名并行計(jì)算專家， 其中包括Jack Dongarra， Ian Foster， Geoffrey Fox， William Gropp等， 他們長(zhǎng)期領(lǐng)導(dǎo)著國(guó)際并行計(jì)算的前沿工作. 因此， 該書也是對(duì)他們多年來工作的一個(gè)系統(tǒng)總結(jié)， 是一本難得的既有學(xué)術(shù)水平， 又有實(shí)際應(yīng)用價(jià)值的綜合性書籍. 同時(shí)， 該書也注意到它的參考價(jià)值， 列出了近年來涉及并行計(jì)算研究的上千篇文獻(xiàn)， 這對(duì)我們無疑是非常有用的. 鑒于以上原因， 我們組織了該書的翻譯工作. 為了保證該書的翻譯質(zhì)量， 在莫?jiǎng)t堯研究員的組織下， 具體分為3個(gè)小組， 分別由莫?jiǎng)t堯研究員. 陳軍和曹小林副研究員負(fù)責(zé). 其中， 陳軍負(fù)責(zé)第一部分和第二部分， 翻譯了第1章. 第3章. 第9章. 第10章. 第11章和第16章， 羅紅兵翻譯了第12章. 第13章和第14章， 張曉霞翻譯了第2章和第15章， 莫?jiǎng)t堯負(fù)責(zé)第三部分， 翻譯了第8章（其中， 陳虹翻譯了8. 7節(jié)）， 張愛清翻譯了第4章. 第6章和第7章， 左風(fēng)麗翻譯了第5章， 曹小林負(fù)責(zé)第四部分和第五部分， 翻譯了第X章到第25章， 廖麗翻譯了第17章. 第19章和第21章， 徐小文翻譯了第20章， 金光浩翻譯了第18章. 譯稿完成后， 為了確保翻譯質(zhì)量， 我們首先在組內(nèi)相互閱讀譯稿并校對(duì)， 然后在組間相互閱讀譯稿并校對(duì)， 接下來由莫?jiǎng)t堯和陳軍閱讀全書譯稿， 以確保譯文前后的一致性， 最后由李曉梅教授負(fù)責(zé)審校全書譯稿. 感謝北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所高性能計(jì)算中心提供的良好條件， 使本書的翻譯得以順利完成. 感謝北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究所張寶琳研究員和中科院計(jì)算數(shù)學(xué)研究所張林波研究員關(guān)于翻譯的一些有益討論. 由于譯者水平有限， 如果有不確切或錯(cuò)誤之處， 望讀者不吝賜教.前言 并行計(jì)算研究中心（CRPC：Centerfor Researchon Parallel Computation）是美國(guó)國(guó)家科學(xué)基金（NSF：National Science Foundation）資助的科學(xué)和技術(shù)中心. 并行計(jì)算研究中心自成立以來， 一直致力于并行計(jì)算研究和技術(shù)開發(fā)， 并使并行計(jì)算"真正有用". 其間， 通過移植. 改進(jìn)和設(shè)計(jì)新的高效算法， 已經(jīng)將一大批現(xiàn)有應(yīng)用程序移植到可擴(kuò)展并行機(jī)上運(yùn)行， 并開發(fā)了大量相應(yīng)的輔助工具軟件. 所有這些工作源自CRPC內(nèi)部和業(yè)界廣泛的應(yīng)用需求. 盡管這些策略和工具已被并行應(yīng)用專業(yè)開發(fā)人員所熟悉， 但據(jù)我們所知， 目前還沒有相關(guān)資料為新涉足該領(lǐng)域的人詳細(xì)介紹這些內(nèi)容. 為此， 本書意圖填補(bǔ)這項(xiàng)空白， 將詳細(xì)介紹這些應(yīng)用以及移植它們所使用的技術(shù). 本書旨在幫助新涉足并行計(jì)算領(lǐng)域的人員盡快了解如何使用這些技術(shù). 本書也適合從事計(jì)算科學(xué)的學(xué)生和研究人員了解與掌握高性能并行計(jì)算中的基礎(chǔ)理論和實(shí)際技能. 這里， 我們假設(shè)讀者已經(jīng)較好地了解了應(yīng)用科學(xué)或計(jì)算科學(xué)， 但缺少并行計(jì)算的基礎(chǔ)知識(shí)， 因此本書包括了大量教學(xué)資料. 同時(shí)， 我們希望本書成為從事并行應(yīng)用程序開發(fā)的人員的一本實(shí)用參考書， 為此書中深入剖析了并行計(jì)算中有用的特殊技術(shù)和方法. 如果讀者希望粗略了解這些方法， 可以閱讀每個(gè)部分開頭的應(yīng)用概述或技術(shù)概述章節(jié). 希望讀者能從我們過去15年的積累中獲取一些有用的經(jīng)驗(yàn)， 避免再犯與我們?cè)讷@取這些經(jīng)驗(yàn)時(shí)所犯的同樣錯(cuò)誤. 本書的內(nèi)容 本書由五個(gè)部分組成. 第一部分并行性 這個(gè)部分介紹了并行計(jì)算及其所依賴的軟. 硬件環(huán)境. 其中， 分別概述了并行計(jì)算的各個(gè)方面， 深入闡述了現(xiàn)代并行機(jī)體系結(jié)構(gòu)， 討論了并行編程必須考慮的一些問題. 第二部分并行應(yīng)用 這個(gè)部分幫助初級(jí)開發(fā)人員理解如何將高性能計(jì)算應(yīng)用到大量特定領(lǐng)域， 注重于如何選擇合適的軟件和算法及其具體實(shí)現(xiàn). 其中， 分別討論了計(jì)算流體力學(xué). 環(huán)境與能源. 計(jì)算化學(xué)等領(lǐng)域的應(yīng)用與實(shí)現(xiàn)， 并用單獨(dú)的一章（給出了11幅彩圖）介紹了并行計(jì)算在其他領(lǐng)域的成功應(yīng)用. 這些內(nèi)容涵蓋了廣泛的科學(xué)領(lǐng)域和數(shù)值方法. 后續(xù)章節(jié)將再次引用這些應(yīng)用， 并將深入討論并行應(yīng)用開發(fā)所需的軟件技術(shù)和算法. 第三部分各種軟件技術(shù) 這個(gè)部分介紹了并行應(yīng)用開發(fā)過程中用到的一些軟件技術(shù)的進(jìn)展， 包括消息傳遞庫. 用于并行計(jì)算的運(yùn)行時(shí)庫（例如HPC++類庫， 類似HPF的語言， Co-ArrayFORTRAN， 和HPC++）. 類似poblo的性能分析與調(diào)整工具以及高級(jí)程序設(shè)計(jì)系統(tǒng)等. 這個(gè)部分的目的是為讀者選擇正確的并行計(jì)算技術(shù)提供指導(dǎo)信息. 第四部分關(guān)鍵技術(shù)與算法 這個(gè)部分討論了大量科學(xué)與工程應(yīng)用問題數(shù)值模擬計(jì)算中廣泛使用的并行數(shù)值算法， 包括線性代數(shù). 連續(xù)和離散最優(yōu)化等. 其中， 每一章針對(duì)不同算法進(jìn)行了深入討論， 主要為應(yīng)用開發(fā)人員在尋求不同問題的最佳算法的過程中提供可用的資源. 第五部分結(jié)論 這個(gè)部分總結(jié)了上述內(nèi)容， 并討論了高性能科學(xué)與工程計(jì)算業(yè)界將要面臨的重要問題， 包括網(wǎng)格環(huán)境下的分布式計(jì)算. 本書的使用方式 讀者可以從以下幾個(gè)方面來使用本書. 新涉足并行計(jì)算領(lǐng)域的人員可以先閱讀第一部分的所有章節(jié)， 然后閱讀第4章. 第9章. 第16章. 第17章和第25章. 第4章. 第9章和第17章分別概要介紹了第二部分. 第三部分和第四部分的內(nèi)容， 為那些對(duì)其中某些內(nèi)容感興趣的讀者指明了需要進(jìn)一步閱讀的章節(jié). 如果讀者是特定領(lǐng)域的開發(fā)人員， 想了解對(duì)自己有所幫助的技術(shù)， 可以從第二部分開始閱讀. 這個(gè)部分介紹了大量的應(yīng)用和并行技術(shù). 如果讀者找到了與自己正在研究的領(lǐng)域相似的應(yīng)用， 可以通過交叉參考第三部分和第四部分中的內(nèi)容， 找到有用的策略和技術(shù). 最后， 并行計(jì)算專家可以將本書作為參考文獻(xiàn). 每個(gè)部分的引言為該部分的其他內(nèi)容提供了指導(dǎo)信息. 本書也可以作為系統(tǒng)用戶的一本指南， 這些系統(tǒng)包括從小型桌面對(duì)稱多處理機(jī)和PC機(jī)群， 到價(jià)值上億美元甚至更昂貴的高端超級(jí)計(jì)算機(jī). 本書主要介紹軟件技術(shù)以及使用這些技術(shù)的大規(guī)模應(yīng)用程序. 在每個(gè)議題中， 首先一般性地討論了該領(lǐng)域的狀況， 然后詳細(xì)描述了其中的關(guān)鍵技術(shù)或方法. 在某些議題中， 例如消息傳遞編程， 直接采用消息傳遞界面來展開討論， 在其他議題中， 例如問題求解環(huán)境， 我們選擇了具有代表性的系統(tǒng)來闡述其中的概念. 致謝 本書汲取了自CRPC成立以來高性能并行計(jì)算界所取得的研究進(jìn)展. CRPC是美國(guó)國(guó)家科學(xué)基金資助的科學(xué)和技術(shù)中心， 包括了萊斯大學(xué)， 加利福尼亞技術(shù)研究所， 美國(guó)Argonne國(guó)家實(shí)驗(yàn)室， 美國(guó)Losalalnos國(guó)家實(shí)驗(yàn)室， Syracuse大學(xué)， 田納西大學(xué)Knoxville分校和得克薩斯大學(xué)奧斯汀分校的相關(guān)人員. 美國(guó)國(guó)家科學(xué)基金的資助使本書得以問世. 本書中的研究工作得到了美國(guó)國(guó)家科學(xué)基金， 美國(guó)能源部， 美國(guó)國(guó)防部（特別是國(guó)防先進(jìn)研究項(xiàng)目機(jī)構(gòu)）和美國(guó)航空航天局的贊助， 另外還得到了CRPC所屬研究所. 每章作者所在的研究機(jī)構(gòu)的贊助. 在美國(guó)國(guó)家科學(xué)基金資助結(jié)束后， 萊斯大學(xué)提供了基金資助， 這項(xiàng)基金用于為本書的完成償付技術(shù)支持費(fèi)用. 我們也非常感謝那些幫助我們完成本書的人們. Teresa Parks利用他的編輯與技術(shù)技巧修正了原始手稿. Sarah Gonzales提供了技術(shù)支持以及出版用的圖形. Gail Pieper校對(duì)了其中一些章節(jié). 在我們使用LaTex的過程中得到Keith Cooper的指導(dǎo)和建議. Ellen Butler和Shil-iang Chang匯編了本書的目錄. Penny Anderson為本書的出版做了大量工作， 包括匯集作者的簡(jiǎn)介， 并收集版權(quán)表格， 以及獲取關(guān)于使用帶版權(quán)資料的許可權(quán). Ellen Butler， Kahryn O'Brien， Penny Anderson和Theresa Chatman組織了會(huì)議和遠(yuǎn)程電信會(huì)議. 處理信件. 管理郵件列表， 并在別人需要幫助時(shí)慷慨相助. 我們非常感謝他們， 沒有他們的努力， 這本書將難以出版. 另外， 我們還要感謝Denise Penrose. 他是Morgan Kaufmann出版社專門負(fù)責(zé)本書的編輯， 他在手稿準(zhǔn)備方面提出了有用的建議， 并為我們的手稿組織了單獨(dú)的評(píng)論文章， 這對(duì)我們非常有用. Emilia Thiuri為即將出版的最后手稿提供了編輯支持并提出了寶貴意見. 制作編輯Howard Severson使本書的出版得以緊湊地進(jìn)行， 并在此期間始終保持其幽默的言談. 所有這些出版人員， 包括校對(duì)編輯Barbara Kohl和Carol Leyba， 索引編輯Steve Rath， 均為本書的高質(zhì)量完成做出了貢獻(xiàn). 我們也感謝那些為本書提供鮮亮外表的人們和工具：提供文字設(shè)計(jì)的DettaPenna，提供封面設(shè)計(jì)的FrancesBaca， 用于制作插圖的Dartmouth Publishing工具和用于排版的Windfall Software工具. 尤其感謝排版人員的努力， 將我們?cè)诤笃谒龅挠嘘P(guān)數(shù)字方面的改動(dòng)修正到出版物中. 最后， 評(píng)論人員為本書提供了許多充滿智慧并且非常實(shí)用的評(píng)注， 這對(duì)本書的結(jié)構(gòu). 內(nèi)容和質(zhì)量都有著重要的影響. 對(duì)所有這些人以及每一章的作者， 我們表示衷心的感謝. 第一部分 并行性 第1章 引言 1.1 并行計(jì)算硬件 1.2 并行應(yīng)用 1.3 軟件和算法 1.4 并行計(jì)算科學(xué) 第2章 并行機(jī)體系結(jié)構(gòu) 2.1 單處理機(jī)體系結(jié)構(gòu) 2.2 并行體系結(jié)構(gòu) 2.3 并行體系結(jié)構(gòu)的未來趨勢(shì) 2.4 小結(jié) 第3章 并行編程面臨的問題 3.1 體系結(jié)構(gòu) 3.2 程序并行分解 3.3 并行性能優(yōu)化 3.4 存儲(chǔ)層次管理 3.5 并行調(diào)試 3.6 性能分析與調(diào)整 3.7 并行I/O 3.8 小結(jié) 第二部分 并行應(yīng)用 第4章 一般應(yīng)用問題 4.1 一個(gè)簡(jiǎn)單例子的應(yīng)用特征 4.2 求解泊松方程的雅可比方法的通信結(jié)構(gòu) 4.3 一般計(jì)算格式的通信開銷 4.4 基本復(fù)合系統(tǒng)應(yīng)用模型 4.5 時(shí)間步進(jìn)模擬和事件驅(qū)動(dòng)模擬 4.6 應(yīng)用問題的時(shí)間結(jié)構(gòu) 4.7 基本復(fù)合系統(tǒng)并行模型小結(jié) 4.8 元計(jì)算問題 4.9 小結(jié) 第5章 計(jì)算流體力學(xué)中的并行計(jì)算 5.1 計(jì)算流體力學(xué)概述 5.2 不可壓流 5.3 可壓流 5.4 小結(jié) 第6章 環(huán)境和能源科學(xué)中的并行計(jì)算 6.1 地下流建模 6.2 IPARS和NetSolve網(wǎng)格計(jì)算 6.3 IPARS的跟蹤與交互式模擬 6.4 地表水模擬 6.5 利用ADR實(shí)現(xiàn)流體和輸運(yùn)耦合模擬 6.6 小結(jié) 第7章 并行計(jì)算化學(xué)：NWChem綜述 7.1 分子量子化學(xué) 7.2 NWChem體系結(jié)構(gòu) 7.3 NWChem中的并行計(jì)算支撐模塊 7.4 NWChem中的化學(xué)相關(guān)模塊 7.5 NWChem在計(jì)算化學(xué)領(lǐng)域中的地位 7.6 計(jì)算化學(xué)算法的共同特征 7.7 小結(jié) 第8章 應(yīng)用綜述 8.1 數(shù)值廣義相對(duì)論 8.2 格子量子色動(dòng)力學(xué)的數(shù)值模擬 8.3 海洋建模 8.4 地震模擬 8.5 宇宙結(jié)構(gòu)的形成 8.6 計(jì)算電磁學(xué) 8.7 數(shù)據(jù)挖掘中的并行算法 8.8 信號(hào)和圖像處理中的高性能計(jì)算 8.9 確定型Monte Carlo方法及其并行化 8.10 光子源擬實(shí)時(shí)X射線微成像實(shí)驗(yàn) 8.11 基于WebHLA的部隊(duì)建模與仿真元計(jì)算環(huán)境 8.12 應(yīng)用的計(jì)算結(jié)構(gòu) 8.13 小結(jié) 第三部分 各種軟件技術(shù) 第9章 軟件技術(shù) 9.1 并行編程技術(shù)的選擇 9.2 如何獲得正確和有效的執(zhí)行 9.3 小結(jié) 第10章 消息傳遞和線程 10.1 消息傳遞編程模型 10.2 多線程編程 10.3 小結(jié) 第11章 并行I/O 11.1 并行I/O框架 11.2 MPI-IO 11.3 并行I/O優(yōu)化 11.4 如何獲得高的I/0性能 11.5 小結(jié) 第12章 編程語言與編譯器 12.1 自動(dòng)并行 12.2 高性能FORTRAN：數(shù)據(jù)并行編程 12.3 OpenMP：共享存儲(chǔ)并行編程 12.4 Co-Array FORTRAN：SPMD編程 12.5 支持技術(shù) 12.6 發(fā)展趨勢(shì) 12.7 小結(jié) 第13章 面向?qū)ο蟮牟⑿袔?13.1 面向?qū)ο蟮牟⑿袔?13.2 Java中的面向?qū)ο蟛⑿芯幊?13.3 C++多線程計(jì)算 13.4 遠(yuǎn)程函數(shù)調(diào)用. 全局指針和Java RMI 13.5 基于組件的軟件設(shè)計(jì) 13.6 小結(jié) 第14章 問題求解環(huán)境 14.1 NetSolve：基于網(wǎng)絡(luò)的解法器： 14.2 基于WebFlow對(duì)象的Web計(jì)算 14.3 WebPDELab 14.4 其他網(wǎng)格計(jì)算環(huán)境 14.5 小結(jié) 第15章 性能調(diào)整和程序調(diào)試工具 15.1 正確性和性能監(jiān)測(cè)的基本概念 15.2 測(cè)試與調(diào)試實(shí)現(xiàn)上面臨的問題 15.3 編譯器的高度集成 15.4 軟件工具的界面和使用 15.5 軟件工具實(shí)例 15.6 面臨的挑戰(zhàn)和開放性問題 15.7 小結(jié) 第16章 二維泊松問題 16.1 數(shù)學(xué)模型 16.2 簡(jiǎn)單算法 16.3 泊松方程的并行求解 16.4 增加全局操作 第四部分 關(guān)鍵技術(shù)與算法 第17章 可重用的軟件和算法 17.1 模板：并行軟件的設(shè)計(jì)模式 17.2 通信器和中性數(shù)據(jù)結(jié)構(gòu) 17.3 標(biāo)準(zhǔn)的庫和組件 17.4 自動(dòng)微分 17.5 模板和數(shù)值線性代數(shù) 17.6 小結(jié) 第18章 高性能科學(xué)模擬的圖剖分技術(shù) 18.1 網(wǎng)格剖分與圖 18.2 靜態(tài)圖剖分技術(shù) 18.3 自適應(yīng)計(jì)算的負(fù)載平衡 18.4 并行圖剖分 18.5 多約束和多目標(biāo)圖剖分 18.6 小結(jié) 第19章 網(wǎng)格生成 19.1 網(wǎng)格生成的策略和技術(shù) 19.2 網(wǎng)格生成過程和幾何預(yù)處理 19.3 自適應(yīng)網(wǎng)格生成 19.4 并行網(wǎng)格生成 19.5 網(wǎng)格生成軟件 19.6 網(wǎng)格結(jié)構(gòu) 19.7 與網(wǎng)格生成有關(guān)的網(wǎng)址 19.8 幾何/網(wǎng)格生成的主要困難 19.9 未來發(fā)展方向 19.10 小結(jié) 第20章 模板和數(shù)值線性代數(shù) 20.1 稠密線性代數(shù)算法 20.2 計(jì)算機(jī)體系結(jié)構(gòu)對(duì)性能的影響 20.3 稠密線性代數(shù)庫 20.4 稀疏線性代數(shù)方法 20.5 稀疏直接法 20.6 稀疏迭代法 20.7 稀疏特征值問題 20.8 小結(jié) 第21章 可擴(kuò)展的偏微分方程解法軟件 21.1 偏微分方程簡(jiǎn)介 21.2 并行偏微分方程計(jì)算的難點(diǎn) 21.3 并行求解策略 21.4 PETSc軟件中并行求解偏微分方程的方法 21.5 PDE軟件 21.6 小結(jié) 第22章 并行連續(xù)最優(yōu)化 22.1 局部最優(yōu)化 22.2 全局最優(yōu)化 22.3 直接搜索方法 22.4 相連子系統(tǒng)最優(yōu)化 22.5 變量與約束分布 22.6 小結(jié) 第23章 科學(xué)計(jì)算中的路徑追蹤及其在AUTO上的實(shí)現(xiàn) 23.1 局部連續(xù) 23.2 全局連續(xù)和度理論 23.3 折疊和分歧 23.4 實(shí)際的路徑追蹤方法 23.5 分歧點(diǎn)處的分支選擇 23.6 計(jì)算實(shí)例：AUTO 23.7 并行AUTO 23.8 小結(jié) 第24章 自動(dòng)微分 24.1 自動(dòng)微分概述 24.2 自動(dòng)微分實(shí)現(xiàn)技術(shù) 24.3 自動(dòng)微分軟件 24.4 消息傳遞并行代碼的自動(dòng)微分 24.5 自動(dòng)微分的高級(jí)用法 24.6 小結(jié) 第五部分 結(jié) 論 第25章 結(jié)論和未來發(fā)展方向 25.1 計(jì)算資源 25.2 應(yīng)用 25.3 軟件 25.4 模板. 算法和技術(shù) 25.5 未來發(fā)展方向 參考文獻(xiàn) 術(shù)語表

暫缺《并行計(jì)算綜論》作者簡(jiǎn)介