一手設計出Netflix云端架構的云端教父Adrian Cockcroft，目前是AWS云端架構策略和開(kāi)源發(fā)展的推手
關(guān)於這趟旅程，起點(diǎn)是2008年8月的一次SAN儲存設備故障事件，足足讓Netflix的關(guān)鍵數據庫系統當機2天，當時(shí)因為無(wú)法查詢(xún)訂單數據，一連3天，沒(méi)有寄出任何一片顧客租借的DVD影片。大家都在問(wèn)Netflix怎麼了！Netflix是全美最大的DVD租片服務(wù)公司，顧客透過(guò)網(wǎng)站租片，過(guò)兩天就會(huì )在自家郵箱收到，看完再用回郵信封寄回。
這次事件讓Netflix開(kāi)始反省，就算砸大錢(qián)，買(mǎi)來(lái)業(yè)界最高階的Oracle數據庫系統，搭配最頂級的硬體設備設備，為何還是會(huì )出錯？當時(shí)Adrian Cockcroft是網(wǎng)站工程團隊的總監，他開(kāi)始意識到：「服務(wù)可用性的主角應該是應用程式，而不是硬體。」而順著(zhù)這個(gè)思路進(jìn)一步發(fā)現，其實(shí)，Netflix不見(jiàn)得需要昂貴的硬體，而是可以考慮租用便宜的云端環(huán)境，也許就夠了。
這并不是Netflix獨到的經(jīng)驗，很多企業(yè)資訊主管遇到當機事件時(shí)，都會(huì )有同樣的反省。但是，「得等到出現外在危機的壓力，企業(yè)才會(huì )真的愿意采取行動(dòng)，我們也是。」Adrian Cockcroft事後回憶。
Netflxi在2010年4月公開(kāi)上云計劃，所有人都不看好，直到年底公開(kāi)了這張AWS架構圖後，才讓大家意識到，大型企業(yè)真的也可以上云。
全球布局的外部壓力浮現，才下定決心上云端
這個(gè)來(lái)自外部的壓力，出現在2009年。Netflix除了租片服務(wù)，從2007年也開(kāi)始在美國提供線(xiàn)上影片串流服務(wù)，當年2月，Netflix宣布累計出借了10次億份DVD，但他們的串流服務(wù)人數，遲遲沒(méi)有突破1千萬(wàn)用戶(hù)。
之後，Netflix在2010年進(jìn)軍國際市場(chǎng)，而為了解決DVD全球寄送的問(wèn)題，Netflix決定改變，開(kāi)始主推線(xiàn)上串流服務(wù)。這也讓Adrian Cockcroft開(kāi)始思考，新業(yè)務(wù)帶來(lái)的挑戰有多大。
原有的DVD出租生意，顧客大約每周使用一次Netflix網(wǎng)站來(lái)租片，須等到DVD寄到顧客手上看完後，顧客才會(huì )再次上站來(lái)租片，寄送的時(shí)間，往往決定了顧客下次何時(shí)再上線(xiàn)挑片的頻率，而這個(gè)頻率大約是每人每周一次。
但是，線(xiàn)上串流服務(wù)的挑戰完全不同，Netflix串流服務(wù)顧客每天大約可以可以觀(guān)賞5到6段影片，租片量是DVD租片的10倍以上，而影片還提供個(gè)人化瀏覽服務(wù)，顧客會(huì )花更多時(shí)間上站選片，甚至顧客看到一半停下來(lái)，網(wǎng)站還要記住他當時(shí)所看到的進(jìn)度，下次再繼續播放。根據Adrian Cockcroft估計，串流顧客與Netflix官網(wǎng)的互動(dòng)（瀏覽）頻率，大約是租片顧客的100倍。
換言之，租片量10倍成長(cháng)，顧客互動(dòng)次數增加100倍，兩者相乘，租片顧客改用串流服務(wù)後，每周帶來(lái)Netflix數據中心的流量成長(cháng)，是過(guò)去的1千倍。只要有0.1%的用戶(hù)改用串流服務(wù)，Netflix數據中心承受的流量規模，就要翻倍。
轉移前端系統時(shí)，Netflix的策略是，先從最簡(jiǎn)單的網(wǎng)頁(yè)開(kāi)始轉移，一次只將網(wǎng)站上的一頁(yè)服務(wù)搬上云端。這是Netflix第一個(gè)搬上AWS的網(wǎng)頁(yè)。（數據來(lái)源：Adrian Cockcroft）
IT未來(lái)要考慮全球顧客的參與度
從IT營(yíng)運模式的改變來(lái)看，Adrian Cockcroft指出，過(guò)去IT只需考慮到，以員工人數來(lái)決定系統的擴充規模，但未來(lái)IT要考慮全球顧客的參與度，以此決定擴充規模。這個(gè)數字轉型壓力是根本性的變革，從服務(wù)數百、數千人，到服務(wù)全球顧客，而且要提供24小時(shí)服務(wù)。
2009年時(shí)，Netflix有兩個(gè)選擇，第一是雇用一個(gè)世界級數據中心維運團隊，未來(lái)需要多少用量，就預先建置多少數據中心。第二個(gè)選擇是使用Netflix競爭對手AWS提供的云。當時(shí)的Amazon Prime影片串流服務(wù)，是Netflix最大的競爭者。「選擇自己蓋數據中心，還是租用競爭對手的服務(wù)，改把錢(qián)花在內容和開(kāi)發(fā)者身上。」Adrian Cockcroft表示，這是當年經(jīng)營(yíng)高層最頭痛的抉擇。
還有一個(gè)難題，促使Netflix最後決定上云端。那就是進(jìn)軍全球市場(chǎng)後，Netflix串流服務(wù)也會(huì )整合到多種播放裝置上，不只是電腦，還增加了iPhone、Wii、PS3和Xbox的版本，未來(lái)的成長(cháng)規模幾乎難以預測。如何滿(mǎn)足至少是1千倍的擴充需求？Netflix決定開(kāi)始認真評估，了解搬上云端的風(fēng)險。
首先，考慮AWS業(yè)務(wù)和Amazon Prime服務(wù)的關(guān)連，後來(lái)Netflix高層也直接聯(lián)系Amazon創(chuàng )辦人，確定兩者各自獨立運作。其次是要測試AWS的能耐，評估AWS的擴充能力，能否勝過(guò)自行建置數據中心的速度。後來(lái)，Netflix簽署AWS 第一個(gè)企業(yè)授權契約，直接上網(wǎng)用信用卡刷卡就完成這件事。
直到2010年4月，Netflix開(kāi)始公開(kāi)即將上云的消息，Adrian Cockcroft表示，大家都覺(jué)得他們瘋了，因為他們是第一家這麼做的大企業(yè)。不過(guò)，早在2009年，Adrian Cockcroft率領(lǐng)的網(wǎng)站工程團隊，就展開(kāi)上云轉移的作業(yè)。而這個(gè)過(guò)程的第一步，是先檢視那些不會(huì )直接面對顧客的系統，決定先將影片編碼（Movie Encoding）伺服器放上AWS的EC2。因為，這類(lèi)影片編碼服務(wù)需要大量機器來(lái)運算，但現有數據中心的空間并不足以擴充。
選定搬遷的目標後，下一步就是要測試EC2的擴充能力，Adrian Cockcroft表示，那次一口氣向AWS提出要求，想在一小時(shí)內要取得3千臺EC2虛擬機器，後來(lái)，真的拿到了，也才讓Netflix相信，云端真的可行；接著(zhù)，就真的把影片編碼的實(shí)體主機關(guān)了，全部搬上EC2。影片編碼的處理，租用了數千臺EC2實(shí)例來(lái)組成運算農場(chǎng)，當時(shí)還用了不少Windows環(huán)境的影片轉碼軟體，處理了上萬(wàn)部影片，而為此而儲存在S3的數據量，已經(jīng)高達PB級。
除了影片編碼，第二步則是改將大量的網(wǎng)站存取日志放上云端，尤其是所有串流服務(wù)的日志。Netflix有太多想紀錄追蹤的資訊，都改用S3來(lái)儲存，這些日志數據每天的成長(cháng)量也是TB級。最後，利用Hadoop來(lái)分析，還和AWS合作整合Hive SQL來(lái)設計數據超市，再整合到Netflix內部數據中心的BI系統上。
2010年初，Netflix就決定不再蓋數據中心了，并且在年初開(kāi)始也把串流服務(wù)的後端系統搬上云，例如像是DRM金鑰管理、用戶(hù)重播書(shū)簽服務(wù)、高可用設計的「播放」按鈕服務(wù)等。
Netflix還決定要在2010年底前，要把前端系統和用戶(hù)端設備的API服務(wù)，也都搬上云端。當時(shí)，多數後端系統仍部署在數據中心內，不過(guò)，前端上云後，機房就可用於擴充後端系統。
“過(guò)去IT只考慮服務(wù)員工數，來(lái)決定系統規模，但未來(lái)IT要考慮全球顧客的參與度，來(lái)決定擴充力道，這個(gè)數字轉型壓力，是根本性的變革”。
──云端教父 Adrian Cockcroft
2010年底官網(wǎng)前端系統全面上云
「我們沒(méi)有備案！一定要在年底前將網(wǎng)站前端搬上AWS。」那時(shí)，Netflix每次經(jīng)營(yíng)會(huì )議時(shí)，都會(huì )秀出一張圖，上面有一臺準備起飛的飛機，代表著(zhù)Netflix，軌道盡頭就是樹(shù)林，「到了年底，沒(méi)有飛上云端，就會(huì )撞上樹(shù)林。」Adrian Cockcroft強調。在2010年12月初，完成官網(wǎng)最後幾頁(yè)的轉移，過(guò)程沒(méi)有發(fā)生任何一次當機，Netflix順利飛上了云端。
原本，Adrian Cockcroft一開(kāi)始設計了一個(gè)漸進(jìn)式轉移的作法，但他的老板直接指示：「全部砍掉重練！頂多留下你覺(jué)得有用的10～20％，你不要的程式碼，一行都不要留。」他希望趁著(zhù)重新設計的機會(huì )，要求Adrian Cockcroft設計可符合未來(lái)5年需求、兼顧效率和生產(chǎn)力的新架構。「因為，我們不想成為一味節省成本的公司，而要追求業(yè)務(wù)速度。」Adrian Cockcroft表示。
除了重新打造新架構，在轉移前端系統時(shí)，Adrian Cockcroft的策略是，先從最簡(jiǎn)單的網(wǎng)頁(yè)開(kāi)始轉移，逐次將網(wǎng)站上的一頁(yè)服務(wù)搬上云端，并且先從最簡(jiǎn)單的API服務(wù)開(kāi)始轉移，其次是轉移對應的頁(yè)面，然後再進(jìn)行下一個(gè)API和下一個(gè)頁(yè)面。同樣的作法，先套用到其他服務(wù)頁(yè)面，再來(lái)，才是轉移其他不同數據來(lái)源的頁(yè)面。
因為是一頁(yè)一頁(yè)地轉移上云端，因此，他們也采取雙軌系統并行。用戶(hù)先登入位於數據中心的舊版官網(wǎng)網(wǎng)頁(yè)、後端系統和登入服務(wù)，再挑選合適網(wǎng)頁(yè)，切換成由云端提供服務(wù)的版本給顧客。一旦出現問(wèn)題，可以馬上切換回來(lái)，因為采取標準HTTP轉址來(lái)切換，因此，顧客不會(huì )察覺(jué)。
在數據轉移的策略上，原有系統數據都儲存在Oracle數據庫中，先利用Oracle遠端副本功能，在云端建立一份副本數據庫，多數用戶(hù)只是需要查詢(xún)數據，就先由云端數據庫來(lái)提供，只有用戶(hù)需要更新記錄時(shí)，才連回數據中心的Oracle數據庫來(lái)修改。
2011年決定全面上云端後，新的挑戰是如何備份。過(guò)去，Netflix采用磁帶進(jìn)行離線(xiàn)備份，來(lái)保存系統記錄。上了云端後，Adrian Cockcroft不想把數據再運回本地端數據中心來(lái)備份，因此，改而不同的服務(wù)區域，建立不同的AWS帳號，利用不同帳號的S3服務(wù)，來(lái)提供另一個(gè)備份。
此外，所有系統記錄數據不會(huì )刪除，而是采取每90天自動(dòng)執行清除程式，將數據壓縮備份到歸檔區的S3帳號，因為可預期這些數據存取頻率不高，壓縮數據的時(shí)候，也以縮小容量為主，而不用考慮解壓縮速度來(lái)節省空間。後來(lái)AWS推出了超便宜的歸檔服務(wù)Glacier，就有更彈性的備份策略可用。
後來(lái)，Netflix發(fā)現，上云的決定是正確的作法。因為拓展到全球市場(chǎng)後，光是2009年第三季到2010年第三季，一年內串流服務(wù)就成長(cháng)了145％，從原有的1千萬(wàn)名用戶(hù)，增加到1,600萬(wàn)人。更大的挑戰是，到了冬天，大家都待在家里看電視，從感恩節到圣誕節期間的串流影片需求，將會(huì )大爆發(fā)。2011年時(shí)，Netflix就決定，全面上云，連後端和全部數據都要搬上去，不過(guò)，仍有少數數據轉移不易，例如，當時(shí)有些支付法規遵循的要求，規定數據必須落地。結果，他們花了7年時(shí)間，直到2016年1月，Netflix才完成所有云端轉移工作，并且關(guān)閉了數據中心的最後一臺機器。
數字轉型三階段：速度、規模，以及策略
從Netflix上云的經(jīng)驗，Adrian Cockcroft歸納，企業(yè)數字轉型的途徑可分成三階段。第一，是先追求速度，采用新架構，例如將所有JAR元件都微服務(wù)化，就不用每隔兩周得關(guān)機10分鐘來(lái)更新，或是統一服務(wù)設計模式，而不是共用一套標準程式碼，同時(shí)，還將復雜糾纏的服務(wù)API，改為功能分明的分層式架構。這些設計，後來(lái)讓Netflix的云端架構，成為微服務(wù)架構的經(jīng)典參考范本。
「有了速度，下一步才追求規模。」他解釋?zhuān)纾高^(guò)水平式擴充架構，滿(mǎn)足越來(lái)越多服務(wù)上云後的運算需求，還要提高利用率。數字轉型的最後一個(gè)階段，就是策略性轉型，目標是徹底取代數據中心，將關(guān)鍵應用搬上云端。
Netflix租用了超過(guò)10萬(wàn)個(gè)EC2虛擬機器，來(lái)服務(wù)遍布全球130多國市場(chǎng)的上億名用戶(hù)。根據Netflix統計，從2007年12月到2015年12月為止，每月串流服務(wù)播放總時(shí)數，成長(cháng)了1千倍以上。正是因為當年上云端的決定，才能支撐起這樣的千倍的發(fā)展速度。
Profile
云端教父 Adrian Cockcroft
1982年：進(jìn)入劍橋顧問(wèn)公司擔任軟體工程師，一待就是6年，專(zhuān)責開(kāi)發(fā)即時(shí)嵌入式訊號處理和控制系統，後來(lái)還兼職擔任Unix系統首席管理員。
1988年：進(jìn)入昇陽(yáng)電腦，任職長(cháng)達16年，直到2004年才離開(kāi)昇陽(yáng)，他不只熟諳云端技術(shù)和軟體技術(shù)，更是高效能電腦技術(shù)的專(zhuān)家，最後成為昇陽(yáng)高效能工業(yè)計算（HPTC）部門(mén)的首席架構師。在昇陽(yáng)期間，也有多本高效能電腦的相關(guān)著(zhù)作，例如他是《Sun Performance and Tuning：Java and Internet》第二版一書(shū)的第一作者，這是暢銷(xiāo)的HPC調校參考書(shū)之一。
2004年：離開(kāi)昇陽(yáng)後，9月轉而進(jìn)入eBay工作，主要參與多項創(chuàng )新計畫(huà)，也是eBay Research Lab創(chuàng )始團隊成員之一。早在iPhone和Android問(wèn)世之前，Adrian Cockcroft就開(kāi)始研發(fā)自制手機和先進(jìn)行動(dòng)應用。
2007年：進(jìn)入Netflix，擔任網(wǎng)站工程團隊總監，負責Netflix首頁(yè)開(kāi)發(fā)，以及打造個(gè)人化選片服務(wù)，尤其是研發(fā)背後的演算法，也參與了Netflix Java系統重構計畫(huà)，也就是SOA架構的導入。
2008年8月：一場(chǎng)SAN儲存設備大當機，Netflix開(kāi)始考慮采用云端。Adrian Cockcroft是關(guān)鍵評估者之一。
2009年：Netflix開(kāi)始展開(kāi)云端轉型之旅，先將內部系統搬上云端AWS，例如影片編碼。
2010年：進(jìn)一步將網(wǎng)站前端系統全部放上AWS。
2010年4月：Netflix開(kāi)始宣布上云端計畫(huà)。
2010年12月：正式完成官網(wǎng)上云端轉移。
2011年：開(kāi)始將後端系統搬上云端。
2013年：Netflix也大方公開(kāi)了這套轉型上云端的經(jīng)驗，甚至打包自己開(kāi)發(fā)的工具和架構設計范本，開(kāi)源推出了NetflixOSS平臺，這也成了設計云端原生架構的最佳實(shí)務(wù)參考之一。
2014年：Adrian Cockcroft離開(kāi)Netflix，轉而進(jìn)入Battery Ventures創(chuàng )投擔任技術(shù)院士，從更宏觀(guān)的角度，來(lái)觀(guān)察科技產(chǎn)業(yè)、網(wǎng)路新創(chuàng )、創(chuàng )新技術(shù)的發(fā)展。
2016年1月：Netflix最後一批數據搬上云端，完成了為期7年的云端之路。
2016年10月：Adrian Cockcroft進(jìn)入AWS擔任云端架構策略副總裁，不只帶領(lǐng)AWS的開(kāi)源推動(dòng)工作，也開(kāi)始到各國分享自己一路參與云端架構發(fā)展的經(jīng)驗。
2018年6月：Adrian Cockcroft首次來(lái)臺分享數字轉型經(jīng)驗和云端發(fā)展策略。
