• <strike id="fdgpu"><input id="fdgpu"></input></strike>
    <label id="fdgpu"></label>
    <s id="fdgpu"><code id="fdgpu"></code></s>

  • <label id="fdgpu"></label>
  • <span id="fdgpu"><u id="fdgpu"></u></span>

    <s id="fdgpu"><sub id="fdgpu"></sub></s>
    您當前的位置是:  首頁(yè) > 資訊 > 文章精選 >
     首頁(yè) > 資訊 > 文章精選 >

    OpenStack 技術(shù)介紹及架構設計

    2020-03-20 09:16:30   作者:張志強   來(lái)源: twt社區   評論:0  點(diǎn)擊:


      【摘要】云計算是一股新興的IT勢力,將會(huì )隨著(zhù)時(shí)間的推移和技術(shù)的演變被越來(lái)越多的企業(yè)所接受,企業(yè)也會(huì )根據業(yè)務(wù)的需要將系統逐漸遷移到云平臺中,從實(shí)現IT成本的降低和減少運營(yíng)風(fēng)險。本文將主要和大家一起復盤(pán)云計算的發(fā)展史和相關(guān)概念,并淺談一下流行的OpenStack云管理平臺的架構設計思路。
      【作者】張志強,多年的云計算、虛擬化架構設計、企業(yè)信息化建設、自動(dòng)化運維經(jīng)驗,擁有豐富的混合元架構及管理經(jīng)驗。
      云計算的發(fā)展
      說(shuō)起云計算想必大家都很熟悉,它被視為科技界的革命性產(chǎn)物,極大可能的改變人們的工作方式和商業(yè)模式的運作。但是它并不是從石頭縫中突然蹦出來(lái)的,而是經(jīng)過(guò)了諸多技術(shù)的成熟和演變誕生的。云計算吸收了之前并行計算、分布式計算和網(wǎng)格計算的優(yōu)勢,借助虛擬化、效用計算等技術(shù)混合而成。按照資源形態(tài)來(lái)分,主要經(jīng)歷了以下不同的發(fā)展階段:
      圖1-云計算的發(fā)展
      1、資源分散時(shí)代
      IT發(fā)展初期,百廢待興。所有的系統處于分散零落的狀態(tài),哪里需要IT系統,就在哪里構建,IT資源分散,架構不清晰。業(yè)務(wù)資源和數據資源相對分散,IT管理模式較為落后,浪費了很多的IT資源。各種IT設備五花八門(mén),問(wèn)題層出不窮。
      2、資源大集中時(shí)代
      這個(gè)時(shí)代主要解決了企業(yè)IT資源分散管理難和容災的問(wèn)題。將企業(yè)分散的數據資源、IT 資源進(jìn)行了物理集中,形成了規模化的數據中心基礎設施。在數據集中過(guò)程中,不斷實(shí)施數據和業(yè)務(wù)的整合,大多數企業(yè)的數據中心基本完成了自身的標準化,使得既有業(yè)務(wù)的擴展和新業(yè)務(wù)的部署能夠規劃、可控,并以企業(yè)標準進(jìn)行IT 業(yè)務(wù)的實(shí)施,解決了數據業(yè)務(wù)分散時(shí)期的混亂無(wú)序問(wèn)題。在這一階段中,很多企業(yè)在數據集中后期也開(kāi)始了容災建設。企業(yè)的容災中心建設普遍受到重視,以金融為熱點(diǎn)行業(yè)幾乎開(kāi)展了全行業(yè)的容災建設熱潮,并且金融行業(yè)的大部分容災建設的級別都非常高,面向應用級容災(數據零丟失為目標)。總的來(lái)說(shuō),解決了企業(yè)IT 分散管理和容災的問(wèn)題。
      3、資源虛擬化時(shí)代
      隨著(zhù)企業(yè)的快速發(fā)展,數據中心IT 基礎設施擴張迅速,但是系統建設成本高、周期長(cháng),即使是標準化的業(yè)務(wù)模塊建設,軟硬件采購成本、調試運行成本與業(yè)務(wù)實(shí)現周期并沒(méi)有顯著(zhù)下降。標準化并沒(méi)有給系統帶來(lái)靈活性,集中的大規模IT 基礎設施出現了大量系統利用率不足的問(wèn)題,不同的系統運行在獨占的硬件資源中,效率低下導致資源浪費,而數據中心的能耗、空間問(wèn)題逐步突顯出來(lái)。因此,以降低成本、提升IT 運行靈活性、提升資源利用率為目的的虛擬化開(kāi)始在數據中心進(jìn)行部署。虛擬化屏蔽了不同物理設備的異構性,將基于標準化接口的物理資源虛擬化成邏輯上也完全標準化和一致化的邏輯計算資源(虛擬機)和邏輯存儲空間。虛擬化可以將多臺物理服務(wù)器整合成單臺,每臺服務(wù)器上運行多種應用的虛擬機,實(shí)現物理服務(wù)器資源利用率的提升,由于虛擬化環(huán)境可以實(shí)現計算與存儲資源的邏輯化變更,特別是虛擬機的克隆,使得數據中心IT 實(shí)施的靈活性大幅提升,業(yè)務(wù)部署周期可用數月縮小到一天以?xún)取L摂M化后,應用以VM 為單元部署運行,數據中心服務(wù)器數量可大為減少且計算能效提升,使得數據中心的能耗與空間問(wèn)題得到控制。通過(guò)虛擬化,提升了企業(yè)IT 架構的靈活性,數據中心資源利用率有效提高,運行成本降低。
      4、云計算時(shí)代
      對企業(yè)而言,數據中心的各種軟硬件系統是一大筆很大的資源投入。系統在建成后一般經(jīng)歷3-5 年硬件方面將面臨逐步老化與更換,而軟件技術(shù)則不斷面臨升級的壓力。另一方面,IT 的投入難以匹配業(yè)務(wù)的發(fā)展需求,即使虛擬化后,也難以解決不斷增加的業(yè)務(wù)對資源的變化需求,在一定時(shí)期內擴展性總是有所限制。云計算可以使IT 資源彈性擴展、按需服務(wù),將服務(wù)作為IT 的核心,提升業(yè)務(wù)敏捷性,進(jìn)一步大幅降低成本。因此,面向服務(wù)的IT 需求開(kāi)始演化到云計算架構上。云計算架構可以由企業(yè)自己構建,也可采用第三方云設施,但基本趨勢是企業(yè)將逐步采取租用IT 資源的方式來(lái)實(shí)現業(yè)務(wù)需要,如同水力、電力資源一樣,計算、存儲、網(wǎng)絡(luò )將成為企業(yè)IT 運行的一種被使用的資源,無(wú)需自己建設,可按需獲得。解決了IT 資源的動(dòng)態(tài)需求和最終成本問(wèn)題,使得IT 部門(mén)可以專(zhuān)注于服務(wù)的提供和業(yè)務(wù)運營(yíng)。
      什么是云計算?
      云計算的概念已經(jīng)由來(lái)很久了,各種版本不一。從物理上講,就是將所有的計算資源、網(wǎng)絡(luò )資源、存儲資源及應用等資源從本地挪到互聯(lián)網(wǎng)的一個(gè)集中區域去計算。之后通過(guò)網(wǎng)絡(luò )進(jìn)行互聯(lián),獲得相關(guān)的結果。從邏輯上講,就是改變了傳統IT的服務(wù)模式,從大鍋飯到按需分配的進(jìn)化。就像我們用水用電一樣,你不需要自己購買(mǎi)發(fā)電機,購買(mǎi)水泵,只需要通過(guò)電卡或者水卡充值購買(mǎi)即可,根據自己的使用需求。
      簡(jiǎn)單地說(shuō)云計算是一種未來(lái)引領(lǐng)技術(shù)發(fā)展的主要架構之一,很多的應用都基于云計算。云提供商通過(guò)云端應用提供各種多元化的服務(wù)到用戶(hù)端,用戶(hù)只需要使用即可,不需要額外的運維和維護成本。
      總之云的最大特點(diǎn)就是按需汲取、隨時(shí)擴展和按量計費。
      圖2-云計算
      云計算的類(lèi)型
      云計算是個(gè)很大的概念,不同的業(yè)務(wù)場(chǎng)景會(huì )需要不同的云計算框架和應用。為此從業(yè)務(wù)的應用場(chǎng)景可分為公有云、私有云和混合云。
      公有云
      公有云從文字上就可以看出,云被建立在第三方的區域,而不是自己建立的。一般是由第三方機構進(jìn)行建立并通過(guò)互聯(lián)網(wǎng)提供各種各樣的應用給用最終使用者。公有云廠(chǎng)商按照用戶(hù)的需求,進(jìn)行資源的分配,提供各種不同層級的服務(wù)給用戶(hù)。國內類(lèi)似阿里云、華為云、京東云,國外類(lèi)似AWS和微軟的Azure等。
      私有云
      私有云顧名思義,就是云平臺由自己企業(yè)內部建立,不對外提供服務(wù)。所有資源自給自足,按照企業(yè)的實(shí)際情況進(jìn)行彈性伸縮。私有云的初期構建成本較高,長(cháng)期看是比傳統IT的投資要低。從控制權上來(lái)講,私有云較公有云具備更好的控制權。
      混合云
      混合云是指將公有云和私有云通過(guò)專(zhuān)線(xiàn)進(jìn)行互聯(lián)互通,既可以享受公有云的速度與強大的計算能力,又可以保證數據存儲在企業(yè)在私有云中保證數據的安全可控。因此,混合云也是未來(lái)企業(yè)主要的服務(wù)模式和發(fā)展方向。
      云平臺
      目前云平臺主要分為兩大陣營(yíng),開(kāi)源系和商業(yè)系,其主要目的是管理云資源和提供云服務(wù)。兩大陣營(yíng)的代表產(chǎn)品有開(kāi)源的云管平臺OpenStack和商業(yè)平臺VMware。
      VMware與OpenStack相比,是兩種截然不同的設計架構和理念。無(wú)論是從設計、安裝部署、功能和維護方面都有較大的差異。VMware套件是以虛擬化技術(shù)為核心,通過(guò)其強悍的虛擬化能力,虛擬計算資源、網(wǎng)絡(luò )資源和存儲等資源提供靈活的資源分配能力。其ESXi是當前最流行、最穩定的虛擬機管理系統。其提供優(yōu)秀的部署架構和穩定的運行平臺。做為商業(yè)軟件,VMware自然經(jīng)過(guò)了全面的測試,并且具有單一的部署架構,簡(jiǎn)單明了。由于VMware具有健壯的架構和穩定的部署機制,成為很多高規格用戶(hù)在數據中心級環(huán)境中的首選。
      而OpenStack作為一個(gè)開(kāi)源系統,沒(méi)有任何一家單獨的公司控制OpenStack的發(fā)展路線(xiàn)。OpenStack本身是年輕的,但是卻具有巨大的市場(chǎng)動(dòng)力,與此同時(shí),很多大公司都在支持OpenStack的發(fā)展,例如IBM、Dell、HP等。有了如此多公司的資源投入,OpenStack的發(fā)展將是多元化的。
      作為企業(yè)IT決策者,可以根據自身的實(shí)際需求和技術(shù)考量來(lái)決定使用哪一種云平臺,提供適合業(yè)務(wù)發(fā)展的計算基礎。
      云計算的服務(wù)模式
      云服務(wù)的類(lèi)型主要分為三種,基礎設計即服務(wù)(IAAS)、平臺即服務(wù)(PAAS)和軟件即服務(wù)(SAAS)。為了理解,以前將使用各種服務(wù)的簡(jiǎn)稱(chēng)。
      IAAS
      基礎設施即服務(wù)算是整個(gè)云平臺中最基礎也是最重要的一塊,處于PAAS層以下。用于提供各種資源給應用,比如計算資源、網(wǎng)絡(luò )資源、存儲資源和其他優(yōu)化性資源,如vCDN加速、云防護等。
      國內外提供這種層面的服務(wù)商很多,比如AWS、阿里等等。用戶(hù)只需要安裝自己的操作系統和應用即可,底層硬件無(wú)需知曉。
      PAAS
      平臺即服務(wù)包括IAAS層和基礎開(kāi)發(fā)環(huán)境。位于IAAS層的上方,用戶(hù)無(wú)需自己安裝各種軟件開(kāi)發(fā)環(huán)境,只需要申請相關(guān)的環(huán)境后,進(jìn)行開(kāi)發(fā)即可。開(kāi)發(fā)環(huán)境以下的部分均由云提供商負責。使開(kāi)發(fā)人員僅僅關(guān)注自己的開(kāi)發(fā)上,提高了開(kāi)發(fā)的效率和質(zhì)量。
      SAAS
      算是更為靈活的一種服務(wù)交付模式,用戶(hù)無(wú)需投入任何的資源進(jìn)行軟件的開(kāi)發(fā)和運營(yíng)。只需要通過(guò)互聯(lián)網(wǎng)連接到自己需要的軟件即可工作。SAAS改變了很多企業(yè)的服務(wù)模式,實(shí)現了應用的靈活擴展和安全提供服務(wù)。類(lèi)似Google的Gmail、微信、釘釘等,數不勝數。
      圖3-云服務(wù)類(lèi)型
      OpenStack的前世今生
      由上文可知,OpenStack是開(kāi)源云管平臺之一,可以通過(guò)其對虛擬化資源進(jìn)行調度管理,幫助企業(yè)快速實(shí)現云的建設與業(yè)務(wù)價(jià)值釋放。
      什么是OpenStack?
      學(xué)習OpenStack之前大家一定要先知道什么是OpenStack。OpenStack是一個(gè)由NASA(美國國家航空航天局)和Rackspace合作研發(fā)并發(fā)起的,以Apache許可證授權的自由軟件和開(kāi)放源代碼項目。是一個(gè)開(kāi)源的云計算管理平臺項目,由幾個(gè)主要的組件組合起來(lái)完成具體工作。OpenStack支持幾乎所有類(lèi)型的云環(huán)境,項目目標是提供實(shí)施簡(jiǎn)單、可大規模擴展、豐富、標準統一的云計算管理平臺。通過(guò)各種互補的服務(wù)提供了基礎設施即服務(wù)(IaaS)的解決方案,每個(gè)服務(wù)提供API以進(jìn)行集成。
      OpenStack本身是一個(gè)屬于IAAS層的服務(wù),用于對基礎設施的管理,如計算資源、存儲資源和網(wǎng)絡(luò )資源等。它的社區擁有超過(guò)130家企業(yè)及1350位開(kāi)發(fā)者,這些機構與個(gè)人都將OpenStack作為基礎設施即服務(wù)(IaaS)資源的通用前端。OpenStack項目的首要任務(wù)是簡(jiǎn)化云的部署過(guò)程并為其帶來(lái)良好的可擴展性。
      OpenStack組件介紹
      OpenStack是由多個(gè)關(guān)鍵的組件組成,相互之間通過(guò)消息隊列進(jìn)行通信,當然只是其中一種,還有API等方式。多種組件相互配合,最終完成用戶(hù)在OpenStack平臺上的各種動(dòng)作。隨著(zhù)時(shí)間的推移,越來(lái)越多的組件被開(kāi)發(fā)用于優(yōu)化OpenStack平臺,完善平臺功能。以下簡(jiǎn)單介紹一下幾個(gè)主要的核心組件,每個(gè)組件都有個(gè)好記的代號,比如Nova、Glance、Keystone、Ceilometer、Horizon、Cinder、Swift、Heat等等,其余的組件,大家可以訪(fǎng)問(wèn)OpenStack官方進(jìn)行學(xué)習。
      圖4-組件連接圖
      控制組件
      控制節點(diǎn)和它的名字一樣,是對其余各個(gè)類(lèi)型節點(diǎn)的管理。主要包括管理支持服務(wù)、基礎管理服務(wù)和擴展管理服務(wù)。如MySQL、消息隊列,其它支持組件等。
      計算組件
      代號為Nova,主要用于虛擬化資源的載體,提供各種虛擬機的建立。分配各種計算資源到虛擬機,如CPU、內存等。此節點(diǎn)相對于其他節點(diǎn)來(lái)說(shuō),需要更多的CPU和內存資源。
      鏡像組件
      代號為Glance,主要用于提供OpenStack平臺的鏡像服務(wù)。負責磁盤(pán)和服務(wù)器虛擬鏡像的查詢(xún)、注冊和傳輸的功能。Glance本身其實(shí)并不存儲鏡像,它只是一個(gè)代理,充當鏡像存儲服務(wù)和其他Openstack組件之間的紐帶。所有的磁盤(pán)和鏡像存儲在OpenStack的后端服務(wù)上,比如對象存儲系統或者本地存儲系統中。
      塊存儲組件
      代號為Cinder,主要提供OpenStack的塊存儲服務(wù),為云環(huán)境提供塊設備的創(chuàng )建、添加和卸載,支持多種主流的存儲平臺。塊設備適用于對應性能要求較高的應用場(chǎng)景,比如數據庫。塊設備的快照功能可以實(shí)現基于塊存儲卷的數據備份,而且也可以利用快照進(jìn)行數據恢復。
      網(wǎng)絡(luò )組件
      代號為Neutron,主要提供OpenStack的網(wǎng)絡(luò )服務(wù),之前的代碼為Quantum,后改名為Neutron。Neutron提供云計算環(huán)境下的虛擬網(wǎng)絡(luò )功能,目的是為OpenStack云更靈活地劃分物理網(wǎng)絡(luò ),在多租戶(hù)環(huán)境下提供給每個(gè)租戶(hù)獨立的網(wǎng)絡(luò )環(huán)境。該模塊最開(kāi)始是 Nova 的一部分,叫 nova-network,后來(lái)從 Nova 中分離出來(lái)。該模塊之所以重要是因為如果沒(méi)有虛擬網(wǎng)絡(luò )服務(wù),OpenStack 就變?yōu)閱渭兲峁┨摂M機實(shí)例和虛擬存儲服務(wù)的平臺,這就違背了提供分布式虛擬服務(wù)的云計算核心價(jià)值。
      認證組件
      代號為KeyStone,主要提供了用戶(hù)目錄的集中式存儲,以及相關(guān)的授權服務(wù),便于其他OpenStack服務(wù)的訪(fǎng)問(wèn)。提供創(chuàng )建用戶(hù)和租戶(hù),并且以基于角色的方式限制用戶(hù)租戶(hù)訪(fǎng)問(wèn)云計算中的計算、網(wǎng)絡(luò )、存儲等資源。
      對象存儲組件
      代號為Swift,是OpenStack所有組件中最早的之一,還有一個(gè)是Nova組件。主要提供對象存儲,存儲的是一些資源文件,如圖片、代碼等文件。在OpenStack平臺中,任何的數據都是一個(gè)對象。是一個(gè)可擴展并且提供了冗余的存儲系統。
      OpenStack發(fā)展路線(xiàn)
      OpenStack經(jīng)過(guò)9年多的演進(jìn),版本也從最早的Austin版本發(fā)展到了現在最新的Queens版本。功能上不斷的完善,組件兼容性越發(fā)穩定。以下是出自官方的OpenStack版本Release時(shí)間表。
      (本文首發(fā)于2018年,相關(guān)版本信息請以官網(wǎng)最新發(fā)布為準)
      通過(guò)眾多企業(yè)及社區專(zhuān)業(yè)人士的代碼貢獻,OpenStack平臺將會(huì )越來(lái)越穩定,承載越來(lái)越多的關(guān)鍵服務(wù)。
      OpenStack架構設計思路
      OpenStack是一個(gè)靈活性非常強的云管理平臺,各種組件靈活搭配,實(shí)現單一或者冗余的不同架構。所有的架構都應按照不同的業(yè)務(wù)場(chǎng)景進(jìn)行設計,沒(méi)有任何的架構是萬(wàn)年不變的,所以要求云平臺架構師要深入的理解業(yè)務(wù)需求,從而設計一個(gè)符合需求的好架構。一個(gè)樓能蓋多高就要看它的地基好不好,骨架合不合理。
      下文將主要講兩個(gè)典型的OpenStack架構,單一架構不在這次的討論范圍內,因其主要是用于測試和學(xué)習環(huán)境,不具備生產(chǎn)環(huán)境的要求。
      典型架構一基本節點(diǎn)部署方式
      業(yè)務(wù)場(chǎng)景:
      公司IT主要要求搭建一套基于OpenStack的私有云平臺系統。主要承載公司內部的非核心系統及一些輕應用。要求IT可用率必須滿(mǎn)足兩個(gè)9,業(yè)務(wù)對實(shí)時(shí)在線(xiàn)要求不高。
      架構設計:
      經(jīng)分析,架構設計不需要過(guò)于復雜。在TCO控制得當的情況下,只需要滿(mǎn)足基本的功能即可,無(wú)需投入更多的高可靠功能。
      如上圖所示,主要包括3個(gè)控制節點(diǎn)(含網(wǎng)絡(luò )節點(diǎn))、N個(gè)計算節點(diǎn)(根據實(shí)際情況自定決定)、1個(gè)塊存儲節點(diǎn)及1個(gè)鏡像節點(diǎn)。控制節點(diǎn)和網(wǎng)絡(luò )節點(diǎn)實(shí)現了冗余,保證了主要功能的高可用。由于對業(yè)務(wù)實(shí)時(shí)性要求不高,所以VM都存儲在Nova節點(diǎn)的本地,無(wú)法自動(dòng)實(shí)現遷移,出故障后需要管理員介入。管理流量通過(guò)千兆網(wǎng)卡,數據流量通過(guò)萬(wàn)兆網(wǎng)卡傳輸,保證了數據的隔離。
      典型架構一高可用節點(diǎn)部署方式
      業(yè)務(wù)場(chǎng)景:
      同樣的場(chǎng)景,不同的是老板要求業(yè)務(wù)的實(shí)效性和平臺的高可靠性。主要承載公司的核心系統,比如郵件系統、OA系統、SRM等關(guān)鍵系統。
      架構設計:
      經(jīng)分析,這樣的架構要求要比第一個(gè)場(chǎng)景復雜很多。架構師要考慮平臺的高可靠,同時(shí)也要確保問(wèn)題發(fā)生后,對業(yè)務(wù)應用沒(méi)有影響,或者說(shuō)影響到最低。
      如上圖所示,主要包括3個(gè)控制節點(diǎn)(含網(wǎng)絡(luò )節點(diǎn))、N個(gè)計算節點(diǎn)(根據實(shí)際情況自定決定)、2個(gè)塊存儲節點(diǎn)、1個(gè)鏡像節點(diǎn)以及1個(gè)自動(dòng)化部署工具節點(diǎn)。同時(shí)采用了IBM GPFS分布式文件系統對計算節點(diǎn)數據進(jìn)行存儲,3副本存儲。這種架構保證了平臺功能的高可用,同時(shí)也確保了數據的可靠性和高可用。由于對業(yè)務(wù)實(shí)時(shí)性要求高,所以VM都存儲在GPFS存儲中,可以自動(dòng)實(shí)現遷移,出故障后無(wú)需管理員介入。管理流量通過(guò)千兆網(wǎng)卡,數據流量通過(guò)萬(wàn)兆網(wǎng)卡傳輸,保證了數據流量的隔離。
      總結
      云計算是個(gè)未來(lái)技術(shù)發(fā)展的趨勢,會(huì )隨著(zhù)業(yè)務(wù)的不同,發(fā)展出不同的云架構。OpenStack做為開(kāi)源云管理平臺之一,在眾多熱心技術(shù)人員和多家公司的鼎力支持下,已經(jīng)越來(lái)越穩定,成為眾多企業(yè)的私有云甚至公有云的首選平臺。但是對于未來(lái)的發(fā)展,OpenStack依然面臨很多的挑戰。
      1) 技術(shù)方面:
      OpenStack屬于開(kāi)源軟件,很多組件是由不同的個(gè)體或者機構自行開(kāi)發(fā)的。組件過(guò)多,導致整體OpenStack的安裝部署相對于成型的商業(yè)軟件較為復雜。由于沒(méi)有專(zhuān)業(yè)的測試團隊在社區,所以拍錯和升級較苦難。
      2) 投資方面:
      OpenStack的發(fā)展離不開(kāi)資金的支持。在發(fā)展過(guò)程中,得到了多家國際IT巨頭的支持與代碼奉獻。各家公司在這方面投入的資金也相對較大。由于是開(kāi)源環(huán)境,運維難度高,所以人力成本和研發(fā)成本也是很高的。
      3) 市場(chǎng)方面:
      現在商業(yè)成熟的產(chǎn)品很多,所以OpenStack要與這些廠(chǎng)商爭奪地盤(pán),必須想辦法突出自身的技術(shù)優(yōu)勢,優(yōu)化自己的技術(shù)劣勢。從現在趨勢來(lái)看,還是任重而道遠。
    【免責聲明】本文僅代表作者本人觀(guān)點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對文中陳述、觀(guān)點(diǎn)判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

    專(zhuān)題

    CTI論壇會(huì )員企業(yè)

    亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩 武功县| 页游| 澎湖县| 蛟河市| 佳木斯市| 徐水县| 涟水县| 准格尔旗| 汪清县| 铁岭市| 城步| 甘孜县| 夹江县| 松滋市| 澜沧| 桂东县| 吴桥县| 绥化市| 蓬安县| 九台市| 长汀县| 仁寿县| 黎城县| 张家界市| 喜德县| 盐源县| 江油市| 秀山| 营口市| 德化县| 凌源市| 温州市| 阳原县| 平定县| 天峻县| 香格里拉县| 古交市| 正镶白旗| 乌兰察布市| 凤庆县| 三明市| http://444 http://444 http://444 http://444 http://444 http://444