並行計算與高性能計算

編寫可擴展的、快速、強大、節能的程式，才適合處理大量數據。使用並行程式設計，可將數據處理任務分佈在多個CPU上完成，從而從根本上提高性能。只需要稍加學習，讀者就可以創建速度和效率化的軟體。《平行計算與高性能計算》將講述用於提高代碼運行效率的技術。

你將學習評估硬體架構，學會使用OpenMP和MPI等行業標準工具，將掌握用於高性能計算的數據結構和演算法，並學習手持設備的節能技術。你甚至可在一組GPU上運行大規模海嘯模擬程式。主要內容：規劃新的並行專案，瞭解CPU和GPU架構上的差異，找到性能不佳的內核和迴圈，使用批次處理調度來管理應用程式。閱讀門檻：本書適用於精通高性能計算語言（如C、C++或Fortran)的有經驗的程序員。

第Ⅰ部分 平行計算介紹
第1章 為什麼使用平行計算
1.1 為什麼要學習平行計算
1.1.1 平行計算的潛在優勢是什麼
1.1.2 平行計算的注意事項
1.2 平行計算的基本定律
1.2.1 平行計算的極限：Amdahl定律
1.2.2 突破並行極限：Gustafson-Barsis定律
1.3 平行計算如何工作
1.3.1 應用程式示例
1.3.2 當今異構並行系統的硬體模型
1.3.3 當今異構並行系統的應用程式模型及軟件模型
1.4 對並行方法進行分類
1.5 並行策略
1.6 並行加速與比較加速：兩種不同的衡量標準
1.7 你將在本書中學到哪些內容
1.7.1 擴展閱讀
1.7.2 練習
1.8 本章小結
第2章 規劃並行化
2.1 處理新專案：準備工作
2.1.1 版本控制：為並行代碼創建一個安全的存儲庫
2.1.2 測試套件：創建健壯、可靠的應用程式的 步
2.1.3 查找和修復記憶體問題
2.1.4 提高代碼的可攜性
2.2 概要分析：探測系統功能和應用程式性能之間的差距
2.3 計畫：成功的基礎
2.3.1 探索benchmark和mini-apps
2.3.2 核心資料結構和代碼模組化設計
2.3.3 演算：重新設計並行
2.4 實施
2.5 提交：高品質的打 程
2.6 進一步探索
2.6.1 擴展閱讀
2.6.2 練習
2.7 本章小結
第3章 性能極限與分析
3.1 瞭解應用程式的潛在性能限制
3.2 瞭解硬體性能：基準測試
3.2.1 用於收集系統特徵的工具
3.2.2 計算浮點運算的 理論值
3.2.3 記憶體層級和理論記憶體頻寬
3.2.4 頻寬和浮點運算的實證測量
3.2.5 計算flop和頻寬之間的機器平衡
3.3 描述你的應用程式：分析
3.3.1 分析工具
3.3.2 處理器時鐘頻率和能耗的實證測量
3.3.3 在運行時跟蹤記憶體
3.4 進一步探索
3.4.1 擴展閱讀
3.4.2 練習
3.5 本章小結

第Ⅱ部分 CPU：並行的主力
第Ⅲ部分 GPU：加速應用程式運行
第Ⅳ部分 高性能計算生態系統
附錄A 參考資料
附錄B 習題答案