並行編程模式
對等模式—程序的各個部分地位相同,功能和代碼基本壹致,只是處理的數據或對象不同；主從模式—程序通信進程之間的壹種主從或依賴關系 。
點對點通信模式
阻塞—發送完成的數據已經拷貝出發送緩沖區,即發送緩沖區可以重新分配使用,阻塞接受的完成意味著接收數據已經拷貝到接收緩沖區,即接收方已可以使用。非阻塞—在必要的硬件支持下,可以實現計算和通信的重疊。4種通信模式：標準通信模式、緩存通信模式、同步通信模式、就緒通信模式 。
組通信
壹個特定組內所有進程都參加全局的數據處理和通信操作 。
功能：通信—組內數據的傳輸；同步—所有進程在特定的點上取得壹致；計算—對給定的數據完成壹定的操作 。
類型：1）數據移動：廣播（mpi bcast） 收集（mpi gather） 散射（mpi scater）組收集（mpi all gather）全交換（all to all）；2）聚集：規約（mpi reduce）將組內所有的進程輸入 緩沖區中的數據按，定操作OP進行運算,並將起始結果返回到root進程的接收緩沖區掃描（mpi scan）要求每壹個進程對排在它前面的進程進行規約操作,結果存入自身的輸出緩沖區；3）同步：路障（mpi barrier）實現通信域內所有進程互相同步,它們將處於等待狀態,直到所有進程執行它們各自的MPI-BARRIER調用 。