SparkMR on QingCloud 集成了 Spark 與 Hadoop MapReduce 雙計算引擎，提供統一的 HDFS 數據存儲引擎及 YARN 調度系統，為用戶(hù)提供靈活、高效、可多模式切換的全新云端大數據處理平臺。
大數據時(shí)代，數據資源是企業(yè)的無(wú)形資產(chǎn)，也是核心競爭力之一。如何低成本、高效率地進(jìn)行數據統一管理和分析，獲得商業(yè)決策支持成為擺在企業(yè)面前的一道難題。大數據平臺正是為了企業(yè)的這種需求應運而生并持續發(fā)展創(chuàng )新。
青云QingCloud 于 2015 年 8 月推出了基于 Spark 的大數據集群服務(wù)，同年 12 月，推出 Hadoop 集群服務(wù)作為大數據基礎平臺的有力補充，以此來(lái)滿(mǎn)足企業(yè)在大數據領(lǐng)域的不同需求。
但由于 Spark 與 Hadoop 作為兩個(gè)獨立的服務(wù)，用戶(hù)同時(shí)使用這兩種處理引擎時(shí)，需要部署兩套 HDFS，相同的數據需要加載并存放兩份，無(wú)論是成本還是效率都不是最好的選擇。
同時(shí)，從數據統一管理角度出發(fā)，青云QingCloud 推出 SparkMR on QingCloud，通過(guò) QingCloud AppCenter 以云應用方式交付用戶(hù)使用，對原有大數據平臺的 Spark 與 Hadoop 服務(wù)進(jìn)行了全方位的升級與整合。（SparkMR 支持 Apache Hadoop 2.7.3 與 Apache Spark 2.2.0。）
Spark 和 Hadoop 兩者結合后，除了可以顯著(zhù)降低成本之外，相對原大數據平臺還提供了更豐富、靈活的可選配置，用戶(hù)可以分角色定制節點(diǎn)配置（CPU 2~16 核可選，內存 2~64 GB 可選）。
總的來(lái)說(shuō)，SparkMR on QingCloud 作為支撐全新雙引擎大數據平臺的重要組件，具有多重亮點(diǎn)：
靈活的計算模式
SparkMR 在底層提供統一的 HDFS 作為數據存儲引擎，在上層提供 Spark 及與 MapReduce 兩種計算引擎，并提供 YARN 作為調度系統。用戶(hù)可以輕松實(shí)現三種不同的計算模式，即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之間的切換。
強大的計算能力
SparkMR 為了方便用戶(hù)開(kāi)發(fā) Spark 應用，除了支持 Java 和 Scala 開(kāi)發(fā)之外， 還提供了 Python 與 R 兩種語(yǔ)言的運行環(huán)境。其中為 Python 用戶(hù)提供了 Anaconda 發(fā)行版的 Python 2 和 Python 3，并支持在這兩種 Python 版本間進(jìn)行切換。同時(shí)，分別為這兩個(gè) Python 版本預置了多個(gè) Anaconda 發(fā)行版的數據科學(xué)包，為數據科學(xué)和機器學(xué)習/深度學(xué)習等 AI 開(kāi)發(fā)場(chǎng)景，提供了強大的計算能力支撐。
便捷的集成能力
SparkMR 支持指定依賴(lài)服務(wù)的功能，即通過(guò) AppCenter 2.0 框架內原生的應用感知機制，實(shí)現與其他大數據分析組件之間自動(dòng)化的無(wú)縫集成。
SparkMR 與 QingStor? 對象存儲平臺也進(jìn)行了預置集成，用戶(hù)可以通過(guò)簡(jiǎn)單的配置即可開(kāi)啟對 QingStor? 對象存儲的支持，以應對海量大規模數據的存儲問(wèn)題。
良好的調度策略
SparkMR 提供 Spark 與 YARN 的自定義調度器的功能，用戶(hù)可以根據自己實(shí)際的需求，自定義集群內資源調度策略，賦予用戶(hù)在多租戶(hù)使用場(chǎng)景下更為精細化的管理能力。
簡(jiǎn)易的服務(wù)定制
SparkMR 通過(guò)控制臺提供近 60 個(gè)配置參數，用戶(hù)通過(guò)控制臺的 UI 操作即可完成集群部署及服務(wù)的個(gè)性化定制， 比如用戶(hù)可以通過(guò) UI 即可完成設置 Hadoop 代理用戶(hù)的功能。
配置參數頁(yè)面
SparkMR 的 Client（客戶(hù)端）節點(diǎn)也實(shí)現了完全的自動(dòng)化配置，用戶(hù)無(wú)需再單獨創(chuàng )建并手動(dòng)配置 BigData Client 或者 Spark Client。這意味著(zhù)用戶(hù)在控制臺完成配置及服務(wù)定制后，在部署完成時(shí)，已經(jīng)可以開(kāi)始執行計算任務(wù)，真正實(shí)現了一鍵部署、即刻使用。
完善的服務(wù)監控
節點(diǎn)監控信息
SparkMR 提供了完善的服務(wù)級別分角色的監控能力，用戶(hù)不僅可以看到常規資源層監控，還可以通過(guò)可視化的方式清晰了解整體服務(wù)的運行情況。同時(shí)基于服務(wù)監控，還提供了監控告警、健康檢查和服務(wù)自動(dòng)恢復等功能。
未來(lái)，SparkMR 應用將逐步替代現有的 Spark 與 Hadoop 服務(wù)，為用戶(hù)提供功能更為強大、使用更加便捷的大數據基礎組件服務(wù)。
掃描下方二維碼，獲取更多 SparkMR 的使用說(shuō)明
同期上線(xiàn)大數據服務(wù)
https://appcenter.qingcloud.com/apps/app-3k61fkmg
HBase 是一個(gè)開(kāi)源的、分布式的、數據多版本的，列式存儲的 NoSQL 數據庫。依托 Hadoop 的分布式文件系統 HDFS 作為底層存儲， 能夠為數十億行數百萬(wàn)列的海量數據表提供隨機、實(shí)時(shí)的讀寫(xiě)訪(fǎng)問(wèn)。
HBase on QingCloud 提供原生 Apache HBase 1.2.6 發(fā)行版，HDFS 使用原生 Apache Hadoop 2.7.3 發(fā)行版。提供的服務(wù)包含：HBase 數據庫服務(wù)、HDFS 分布式文件系統、Phoenix 查詢(xún)引擎、HBase Restful 服務(wù)、HBase Thrift 服務(wù)，壓縮格式方面支持 GZIP、BZIP2、LZO、SNAPPY。
https://appcenter.qingcloud.com/apps/app-o1rl71en
MongoDB 是一個(gè)可擴展的高性能，高可用，開(kāi)源的文檔型數據庫，是當前 NoSQL 數據庫產(chǎn)品中最熱門(mén)的一種。它在許多場(chǎng)景下用于替代傳統的關(guān)系型數據庫或鍵值對存儲方式，也可以使用它的 MapReduce 功能進(jìn)行數據分析。MongoDB 原生支持副本集和分片，可以在高可用性的同時(shí)儲存海量數據。得益于其無(wú)模式 （Schema-free） 的特性，開(kāi)發(fā)人員能夠快速的迭代式開(kāi)發(fā)，靈活的應對業(yè)務(wù)變化。
MongoDB on QingCloud 提供原生 MongoDB Replication 云服務(wù)，提供冗余并增加了數據的高可用性。
