應對Meltdown和Spectre這兩個(gè)漏洞，對于OpenStack人來(lái)說(shuō)不是件輕松的事。比如CERN就必須重啟整個(gè)云來(lái)修補Meltdown和Spectre漏洞。
1月3日Meltdown和Spectre CPU安全漏洞被公開(kāi)披露，引發(fā)了全球IT用戶(hù)和云運營(yíng)商的一連串活動(dòng)。在OpenCtack溫哥華峰會(huì )上，Openstack人詳細介紹了他們如何處理Meltdown和Spectre漏洞——這是一個(gè)很耗時(shí)的過(guò)程。
CERN
CERN（大型強子對撞機（LHC）的所在地）擁有最大的OpenStack云基礎設施（大約30萬(wàn)個(gè)計算核心）。Arne Wiebalck負責CERN的OpenStack云的整體運維，當Meltdown和Specter等漏洞出現時(shí)，他的責任是及時(shí)反應并部署相應的修復程序。
“在冬季休息期間，CERN通常會(huì )關(guān)閉兩個(gè)星期，所以當每個(gè)人都還沒(méi)來(lái)上班時(shí)，事情發(fā)生了。”他說(shuō)。
根據Wiebalck的說(shuō)法，CERN有一個(gè)專(zhuān)門(mén)負責網(wǎng)絡(luò )安全的團隊。他的運維團隊與安全團隊協(xié)調，了解需要采取什么措施來(lái)緩解Meltdown和Spectre的風(fēng)險。
“最終我們決定關(guān)閉整個(gè)云來(lái)打補丁。”Wiebalck說(shuō)。
考慮到CERNOpenStack云的規模，整體關(guān)閉和打補丁的折磨可不是小事。 Wiebalck表示，他的團隊不得不關(guān)閉并重啟超過(guò)3萬(wàn)臺虛擬機，并告知成千上萬(wàn)的CERN云用戶(hù)會(huì )發(fā)生關(guān)機。
“我們已經(jīng)在生產(chǎn)中運行了大約五年的云，而這是我們第一次不得不關(guān)閉所有的東西。”他說(shuō)。
不過(guò)，CERN并沒(méi)有簡(jiǎn)單地同時(shí)關(guān)閉所有的東西，而是在幾天的時(shí)間內分階段執行打補丁、關(guān)機和重啟過(guò)程。CERN使用了一個(gè)迭代過(guò)程，最初關(guān)閉了大約200個(gè)虛擬機管理程序，以查看它們是否會(huì )返回以及是否有任何錯誤。
盡管CERN像大多數大型IT組織一樣利用自動(dòng)化流程，但在為Meltdown和Specter打補丁和重啟時(shí)，涉及必須由人來(lái)運行和監控的大量手動(dòng)流程。
“我們有一些工具可以與數百臺機器進(jìn)行對話(huà)，但實(shí)際上，我和我的同事基本上都是通過(guò)手動(dòng)方式來(lái)做這件事。”Wiebalck說(shuō)。
OpenStack基礎設施
Clarke Boylan是OpenStack基礎設施項目的PTL，負責運行用于構建全球云中使用的OpenStack軟件的系統。Boyland也和CERN的Wiebalck一樣，必須重啟大量系統才能為Meltdown和Spectre打補丁。
Boylan表示，OpenStack基礎設施團隊將打補丁工作進(jìn)行了分工，并利用Ansible配置管理技術(shù)確保補丁內核到位。
“我們仍然讓人仔細觀(guān)察，以確保服務(wù)仍能以預期的方式運行。”Boylan說(shuō)。
盡管有Meltdown和Spectre補丁，但人們擔心潛在的性能下降問(wèn)題—— 這正是Boylan團隊所監控的。OpenStack基礎設施團隊的首要任務(wù)是盡快部署Linux內核補丁。
更進(jìn)一步，Boylan指出，OpenStack Nova計算項目開(kāi)發(fā)人員為Nova增加了一項功能，允許增強對CPU功能標志的控制，以便云運維人員可以限制對CPU更危險部分的訪(fǎng)問(wèn)，并減輕補丁對性能的影響。
教訓是什么？
像Dave McCowan這樣的OpenStack社區成員認為，Meltdown and Spectre問(wèn)題對云運維人員來(lái)說(shuō)是一個(gè)很好的教訓。他是OpenStack Barbican秘密管理項目的前PTL、思科工程師。
“學(xué)到的教訓是要為任何可能發(fā)生的事情做好準備。當你考慮架構一個(gè)云和規劃工具時(shí)，要知道你可能需要給系統中的任何東西打補丁或替換它們。”
原文鏈接：
http://www.eweek.com/security/openstack-operators-detail-how-they-patched-for-meltdown-spectre
內容覆蓋主流開(kāi)源領(lǐng)域
投稿郵箱
openstackcn@sina.cn
