當前物理CPU正遵循摩爾定律在穩定的高速發(fā)展，然而人類(lèi)對計算能力的要求更高，一方面應用對計算能力要求超過(guò)摩爾定律的速度，另外一方面要求提高計算能力的使用效率，這都離不開(kāi)軟件的協(xié)助。虛擬化和分布式都是現在流行的架構，他們代表著(zhù)兩個(gè)不同的發(fā)展方向：虛擬化--一臺機器分成多臺機器用；分布式--多臺機器合成一臺機器用。正可謂"天下大勢，分久必合，合久必分"。
一、分布式架構發(fā)展和現狀
1. 從SMP到MPP
從系統架構來(lái)看，目前的商用服務(wù)器主要分為三類(lèi)，對稱(chēng)多處理器結構SMP，非一致存儲訪(fǎng)問(wèn)結構NUMA以及海量并行處理結構MPP。
● SMP（Symmetric Multi-Processor）
所謂對稱(chēng)多處理器結構，是指服務(wù)器中多個(gè)CPU對稱(chēng)工作，無(wú)主次或從屬關(guān)系。各CPU共享相同的物理內存，每個(gè)CPU訪(fǎng)問(wèn)內存中的任何地址所需時(shí)間是相同的，因此SMP也被稱(chēng)為一致存儲器訪(fǎng)問(wèn)結構（UMA：Uniform Memory Access）。
SMP服務(wù)器的主要特征是共享，系統中所有資源（CPU、內存、I/O等）都是共享的。也正是由于這種特征，導致了SMP服務(wù)器的主要問(wèn)題，那就是它的擴展能力非常有限。
● NUMA（Non-Uniform Memory Access）
由于SMP在擴展能力上的限制，人們開(kāi)始探究如何進(jìn)行有效地擴展從而構建大型系統的技術(shù)，NUMA就是這種努力下的結果之一。利用NUMA技術(shù)，可以把幾十個(gè)CPU（甚至上百個(gè)CPU）組合在一個(gè)服務(wù)器內。
NUMA服務(wù)器的基本特征是具有多個(gè)CPU模塊，每個(gè)CPU模塊由多個(gè)CPU（如4個(gè)）組成，并且具有獨立的本地內存、I/O槽口等。由于其節點(diǎn)之間可以通過(guò)互聯(lián)模塊（如稱(chēng)為Crossbar Switch）進(jìn)行連接和信息交互，因此每個(gè)CPU可以訪(fǎng)問(wèn)整個(gè)系統的內存。顯然，訪(fǎng)問(wèn)本地內存的速度將遠遠高于訪(fǎng)問(wèn)遠地內存（系統內其它節點(diǎn)的內存）的速度，這也是非一致存儲訪(fǎng)問(wèn)NUMA的由來(lái)。由于這個(gè)特點(diǎn)，為了更好地發(fā)揮系統性能，開(kāi)發(fā)應用程序時(shí)需要盡量減少不同CPU模塊之間的信息交互。利用NUMA技術(shù)，可以較好地解決原來(lái)SMP系統的擴展問(wèn)題，在一個(gè)物理服務(wù)器內可以支持上百個(gè)CPU。比較典型的NUMA服務(wù)器的例子即我們常說(shuō)的小機例如HP的Supterdome和IBM的Power服務(wù)器。
但NUMA的節點(diǎn)互聯(lián)機制是在同一個(gè)物理服務(wù)器內部實(shí)現的，當某個(gè)CPU需要進(jìn)行遠地內存訪(fǎng)問(wèn)時(shí)，它必須等待，這也是NUMA服務(wù)器無(wú)法實(shí)現CPU增加時(shí)性能線(xiàn)性擴展的主要原因。2013年年度備受矚目的"淘寶去IOE"的原因也在此。在IBM的小機和Oracle數據庫的組合下，淘寶通過(guò)硬件升級獲得的性能增長(cháng)達到了瓶頸，無(wú)法滿(mǎn)足客戶(hù)的爆發(fā)性增長(cháng)。
● MPP（Massive Parallel Processing）
和NUMA不同，MPP提供了另外一種進(jìn)行系統擴展的方式，它由多個(gè)SMP服務(wù)器通過(guò)一定的節點(diǎn)互聯(lián)網(wǎng)絡(luò )進(jìn)行連接，協(xié)同工作，完成相同的任務(wù)，從用戶(hù)的角度來(lái)看是一個(gè)服務(wù)器系統。其基本特征是由多個(gè)SMP服務(wù)器（每個(gè)SMP服務(wù)器稱(chēng)節點(diǎn)）通過(guò)節點(diǎn)互聯(lián)網(wǎng)絡(luò )連接而成，每個(gè)節點(diǎn)只訪(fǎng)問(wèn)自己的本地資源（內存、存儲等），是一種完全無(wú)共享（Share Nothing）結構，因而擴展能力最好，理論上其擴展無(wú)限制（如圖1所示）。目前的技術(shù)可實(shí)現512個(gè)節點(diǎn)互聯(lián)，數千個(gè)CPU。目前業(yè)界對節點(diǎn)互聯(lián)網(wǎng)絡(luò )暫無(wú)標準，如 NCR的Bynet，IBM的SPSwitch，它們都采用了不同的內部實(shí)現機制。但節點(diǎn)互聯(lián)網(wǎng)僅供MPP服務(wù)器內部使用，對用戶(hù)而言是透明的。
在MPP系統中，每個(gè)SMP節點(diǎn)也可以運行自己的操作系統、數據庫等。但和NUMA不同的是，它不存在異地內存訪(fǎng)問(wèn)的問(wèn)題。換言之，每個(gè)節點(diǎn)內的CPU不能訪(fǎng)問(wèn)另一個(gè)節點(diǎn)的內存。節點(diǎn)之間的信息交互是通過(guò)節點(diǎn)互聯(lián)網(wǎng)絡(luò )實(shí)現的，這個(gè)過(guò)程一般稱(chēng)為數據重分配（Data Redistribution）。
但是MPP服務(wù)器需要一種復雜的機制來(lái)調度和平衡各個(gè)節點(diǎn)的負載和并行處理過(guò)程。目前一些基于MPP技術(shù)的服務(wù)器往往通過(guò)系統級軟件（如數據庫）來(lái)屏蔽這種復雜性。例如NCR的Teradata就是基于MPP技術(shù)的一個(gè)關(guān)系數據庫軟件，基于此數據庫來(lái)開(kāi)發(fā)應用時(shí)，不管后臺服務(wù)器由多少個(gè)節點(diǎn)組成，開(kāi)發(fā)人員所面對的都是同一個(gè)數據庫系統，而不需要考慮如何調度其中某幾個(gè)節點(diǎn)的負載。
MPP以其優(yōu)良的擴展架構成為了分布式架構的基礎。
圖1.MPP服務(wù)器架構圖
