神州泰岳DINFO-OEC：閃耀在非結構化大數據分析挖掘領(lǐng)域的明星

　　……

　　新一代信息技術(shù)與經(jīng)濟社會(huì )各領(lǐng)域的深度融合，引發(fā)了數據量的爆發(fā)式增長(cháng)，使得數據資源成為國家重要的戰略資源和核心創(chuàng )新要素。據統計，全球所掌握的數據，每?jì)赡昃蜁?huì )翻倍。到2020年，全球的數據量將達到40ZB，其中我國所掌握的數據將占20%。大數據的廣泛深入應用，使人類(lèi)社會(huì )逐漸走向數據經(jīng)濟時(shí)代。

　　早在2015年，國務(wù)院發(fā)布了《促進(jìn)大數據發(fā)展行動(dòng)綱要》，以加快政府數據開(kāi)放共享，推動(dòng)資源整合，提升治理能力；推動(dòng)產(chǎn)業(yè)創(chuàng )新發(fā)展，培育新興業(yè)態(tài)，助力經(jīng)濟轉型；強化安全保障，提高管理水平，促進(jìn)健康發(fā)展為主要任務(wù)。神州泰岳積極響應《行動(dòng)綱要》，在人工智能與大數據業(yè)務(wù)上飛速發(fā)展，深入鉆研，推出了業(yè)界首款面向業(yè)務(wù)建模的DINFO-OEC非結構化大數據分析挖掘平臺。

　　本篇我們將為大家分享DINFO-OEC非結構化大數據分析挖掘平臺的主要功能特點(diǎn)概要，后面幾期文章我們會(huì )圍繞這些主要功能點(diǎn)詳細展開(kāi)。

　　大數據中80%都是非結構化大數據，非結構化大數據因其中的業(yè)務(wù)對象、對象之間的關(guān)系等都蘊含在文本內容中，而文本內容來(lái)源繁多、表達方式靈活多樣、存在著(zhù)大量的歧義性，因此無(wú)法使用傳統的BI工具等進(jìn)行分析，無(wú)法直接服務(wù)于業(yè)務(wù)，實(shí)現業(yè)務(wù)價(jià)值。因此非結構化大數據是大數據處理的難點(diǎn)和熱點(diǎn)。

　　DINFO-OEC是非結構化大數據分析挖掘平臺，由業(yè)務(wù)建模技術(shù)和分析挖掘技術(shù)組成，能處理任何來(lái)源的非結構化信息和半結構化信息。將繁雜無(wú)序的非結構化信息，通過(guò)創(chuàng )建的業(yè)務(wù)模型規則，進(jìn)行分析，得出有序的結構化數據。適用范圍廣，可以適用于信用卡投訴領(lǐng)域、電商評價(jià)領(lǐng)域、企業(yè)關(guān)聯(lián)關(guān)系挖掘領(lǐng)域等。能夠根據不同場(chǎng)景、領(lǐng)域對復雜需求進(jìn)行定制。

　　一、應用接口：應用接口定義后，能夠通過(guò)接口邏輯中的算法組件鏈接進(jìn)行相應的語(yǔ)義分析。主要由接口定義、接口邏輯、接口發(fā)布組成。

圖：接口定義

圖：接口邏輯

圖：接口發(fā)布

　　二、應用建模：根據業(yè)務(wù)需求進(jìn)行模型創(chuàng )建，通過(guò)創(chuàng )建的業(yè)務(wù)模型，對非結構化數據進(jìn)行分析挖掘。主要由模型規劃、模型建設、模型發(fā)布組成。

圖：模型規劃

圖：模型建設

圖：模型發(fā)布

　　三、應用任務(wù)：在應用任務(wù)中，設計好接口的分析規則、統計規則后，能夠根據指定的規則分析數據源中的數據。

　　主要包含：任務(wù)添加、任務(wù)編輯、任務(wù)刪除、任務(wù)運行、任務(wù)中斷、任務(wù)啟動(dòng)、任務(wù)終止、日志查看、條度設置、結果查看、結果導出、導出查詢(xún)、任務(wù)詳情查看等。

圖：應用任務(wù)

　　四、應用模板：在應用開(kāi)發(fā)中，可以將已發(fā)布的接口導成應用模板，導出成功后即可在應用模板查看。應用模板主要是對模板資源的展示，支持詳細信息查看，如模板中的接口列表、模板中的接口信息等。

圖：應用模板列表

圖：模板信息

　　五、模型schema：在應用建模中，可以將已發(fā)布的模型導出成模型schema，對模型的資源進(jìn)行積累。模型schema主要是對模型資源的展示、和資源詳情查看，如模型的本體樹(shù)結構、要素樹(shù)結構、概念樹(shù)結構等。

圖：模型schema列表

圖：模型詳情

　　六、語(yǔ)言資源：對語(yǔ)言資源的統計。包含概念資源、通用資源、領(lǐng)域資源、用戶(hù)資源的占比詳情和建設詳情。

圖：語(yǔ)言資源

　　縱觀(guān)全文，我們基本可以了解到DINFO-OEC不僅能提供強大的非結構化大數據分析挖掘能力，同時(shí)平臺面向業(yè)務(wù)的建模也極大提高了業(yè)務(wù)人員的工作效率——業(yè)務(wù)人員只需要重點(diǎn)關(guān)注業(yè)務(wù)場(chǎng)景邏輯梳理及其表述，不需要關(guān)注技術(shù)實(shí)現細節，極大地縮短應用場(chǎng)景創(chuàng )新周期。DINFO-OEC的出現，推動(dòng)了行業(yè)在中文文本領(lǐng)域處理技術(shù)向前邁出了一大步，也促使企業(yè)在開(kāi)發(fā)應用時(shí)專(zhuān)注于業(yè)務(wù)的大數據創(chuàng )新，而不局限于語(yǔ)義技術(shù)和文本技術(shù)的研究方面。