并行計(jì)算(Parallel Computing)是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程。為執(zhí)行并行計(jì)算,計(jì)算資源應(yīng)包括一臺配有多處理機(jī)(并行處理)的計(jì)算機(jī)、一個(gè)與網(wǎng)絡(luò)相連的計(jì)算機(jī)專有編號,或者兩者結(jié)合使用。并行計(jì)算的主要目的是快速解決大型且復(fù)雜的計(jì)算問題。此外還包括:利用非本地資源,節(jié)約成本。
為利用并行計(jì)算,通常計(jì)算問題表現(xiàn)為以下特征:
(1)將工作分離成離散部分,有助于同時(shí)解決;
(2)隨時(shí)并及時(shí)地執(zhí)行多個(gè)程序指令;
(3)多計(jì)算資源下解決問題的耗時(shí)要少于單個(gè)計(jì)算資源下的耗時(shí)。
并行計(jì)算是相對于串行計(jì)算來說的,所謂并行計(jì)算分為時(shí)間上的并行和空間上的并行。 時(shí)間上的并行就是指流水線技術(shù),而空間上的并行則是指用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。
并行計(jì)算科學(xué)中主要研究的是空間上的并行問題。從程序和算法設(shè)計(jì)人員的角度來看,并行計(jì)算又可分為數(shù)據(jù)并行和任務(wù)并行。一般來說,因?yàn)閿?shù)據(jù)并行主要是將一個(gè)大任務(wù)化解成相同的各個(gè)子任務(wù),比任務(wù)并行要容易處理。
云計(jì)算是在并行計(jì)算之后產(chǎn)生的概念,是由并行計(jì)算發(fā)展而來, 兩者在很多方面有著共性。學(xué)習(xí)并行計(jì)算對于理解云計(jì)算有很大的幫助。并行計(jì)算是學(xué)習(xí)云計(jì)算必須要學(xué)習(xí)的基礎(chǔ)課程。
但并行計(jì)算不等于云計(jì)算,云計(jì)算也不等同并行計(jì)算。兩者區(qū)別如下。
(1)云計(jì)算萌芽于并行計(jì)算;
(2)并行計(jì)算、網(wǎng)格計(jì)算只用于特定的科學(xué)領(lǐng)域,專業(yè)的用戶;
(3)并行計(jì)算追求的高性能;
(4)云計(jì)算對于單節(jié)點(diǎn)的計(jì)算能力要求低