一、大數(shù)據(jù)市場(chǎng)規(guī)模與特征分析
大數(shù)據(jù)產(chǎn)業(yè)是指對(duì)互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、運(yùn)營(yíng)商等渠道產(chǎn)生的大量數(shù)據(jù)資源進(jìn)行快速獲取、收集存儲(chǔ)、價(jià)值提煉、智能處理和分發(fā),從而用于企業(yè)決策支持等方面的信息服務(wù)業(yè)。
大數(shù)據(jù)全生命周期可劃分為“數(shù)據(jù)產(chǎn)生—數(shù)據(jù)采集—數(shù)據(jù)傳輸—數(shù)據(jù)存儲(chǔ)—數(shù)據(jù)處理—數(shù)據(jù)分析—數(shù)據(jù)發(fā)布、展示和應(yīng)用—產(chǎn)生新數(shù)據(jù)”等。因此,大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括數(shù)據(jù)源層、數(shù)據(jù)儲(chǔ)存平臺(tái)層、數(shù)據(jù)分析和挖掘?qū)右约按髷?shù)據(jù)應(yīng)用層。大數(shù)據(jù)應(yīng)用層主要分布在互聯(lián)網(wǎng)、電信、金融、零售和政府等行業(yè),和企業(yè)用戶的業(yè)務(wù)更加結(jié)合得緊密,通過(guò)大數(shù)據(jù)分析實(shí)現(xiàn)商業(yè)智能(BI)、決策支持和用戶需求挖掘等應(yīng)用價(jià)值。由于中國(guó)互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模和移動(dòng)終端數(shù)量的快速增長(zhǎng),業(yè)務(wù)數(shù)據(jù)和交互信息的爆炸式增長(zhǎng),中國(guó)大數(shù)據(jù)應(yīng)用進(jìn)入發(fā)展元年,應(yīng)用市場(chǎng)規(guī)模增長(zhǎng)提速。據(jù)ICTresearch的研究顯示,2012年,中國(guó)大數(shù)據(jù)應(yīng)用市場(chǎng)規(guī)模為4.5億,同比增長(zhǎng)40.6%。
二、當(dāng)前大數(shù)據(jù)相關(guān)政策分析
大數(shù)據(jù)是一個(gè)具有國(guó)家戰(zhàn)略意義的新興產(chǎn)業(yè),正受到政府的高度關(guān)注。2012年5月,國(guó)務(wù)院頒發(fā)了《“十二五”國(guó)家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》,提出了高端軟件和新興信息服務(wù)產(chǎn)業(yè)發(fā)展目標(biāo);加強(qiáng)以網(wǎng)絡(luò)化操作系統(tǒng)、海量數(shù)據(jù)處理軟件等為代表的基礎(chǔ)軟件、云計(jì)算軟件、工業(yè)軟件、智能終端軟件、信息安全軟件等關(guān)鍵軟件的開發(fā),推動(dòng)大型信息資源庫(kù)建設(shè),積極培育云計(jì)算服務(wù)、電子商務(wù)服務(wù)等新興服務(wù)業(yè)態(tài),促進(jìn)信息系統(tǒng)集成服務(wù)向產(chǎn)業(yè)鏈前后端延伸,推進(jìn)網(wǎng)絡(luò)信息服務(wù)體系變革轉(zhuǎn)型和信息服務(wù)的普及,利用信息技術(shù)發(fā)展數(shù)字內(nèi)容產(chǎn)業(yè),提升文化創(chuàng)意產(chǎn)業(yè),促進(jìn)信息化與工業(yè)化的深度融合。在關(guān)鍵開發(fā)技術(shù)方面,開展移動(dòng)智能終端軟件、網(wǎng)絡(luò)化計(jì)算平臺(tái)與支撐軟件、智能海量數(shù)據(jù)處理相關(guān)軟件研發(fā)和產(chǎn)業(yè)化。
2012年2月,工信部發(fā)布《物聯(lián)網(wǎng)”十二五”發(fā)展規(guī)劃》,把“加強(qiáng)處理技術(shù)研究”作為核心技術(shù)攻關(guān)之一,提出:重點(diǎn)支持適用于物聯(lián)網(wǎng)的海量信息存儲(chǔ)和處理,以及數(shù)據(jù)挖掘、圖像視頻智能分析等技術(shù)的研究,支持?jǐn)?shù)據(jù)庫(kù)、系統(tǒng)軟件、中間件等技術(shù)的開發(fā),推動(dòng)軟硬件操作界面基礎(chǔ)軟件的研究。將“信息處理技術(shù)”列為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一,包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析。另外三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程,包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù),也是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分,與大數(shù)據(jù)產(chǎn)業(yè)發(fā)展密切相關(guān)。
2013年,國(guó)務(wù)院發(fā)布《關(guān)于推進(jìn)物聯(lián)網(wǎng)有序健康發(fā)展的指導(dǎo)意見》,提出加快傳感器網(wǎng)絡(luò)、智能終端、大數(shù)據(jù)處理、智能分析、服務(wù)集成等關(guān)鍵技術(shù)研發(fā)創(chuàng)新,推進(jìn)物聯(lián)網(wǎng)與新一代移動(dòng)通信、云計(jì)算、下一代互聯(lián)例、衛(wèi)星通信等技術(shù)的融合發(fā)展。重視信息資源的智能分析和綜合利用,避免重?cái)?shù)據(jù)采集、輕數(shù)據(jù)處理和綜合應(yīng)用。
自2012年,國(guó)家已陸續(xù)出臺(tái)相關(guān)的產(chǎn)業(yè)規(guī)劃利政策,從不同側(cè)面推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。然而,專門針對(duì)大數(shù)據(jù)發(fā)展尤其是基于互聯(lián)網(wǎng)應(yīng)用的社交大數(shù)據(jù)的政策規(guī)劃還沒(méi)有。為充分利用大數(shù)據(jù)的價(jià)值,中國(guó)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展需上升到國(guó)家戰(zhàn)略層面,從政策制定、資源投入、人才培養(yǎng)等方面給予支持。企業(yè)與相關(guān)的新興產(chǎn)業(yè)和行業(yè)結(jié)合,通過(guò)相關(guān)產(chǎn)業(yè)的政策帶動(dòng)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展;另一方面是在國(guó)家政策的引導(dǎo)下,成立聯(lián)盟、建立專業(yè)組織,引導(dǎo)大數(shù)據(jù)政策提出和產(chǎn)業(yè)環(huán)境的建立。
三、當(dāng)前主要技術(shù)發(fā)展趨勢(shì)分析
在目前大數(shù)據(jù)發(fā)展背景下,數(shù)據(jù)存儲(chǔ)技術(shù)、處理技術(shù)、分析技術(shù)等在不斷創(chuàng)新和完善,開放的技術(shù)平臺(tái)和系統(tǒng)的發(fā)展主要呈現(xiàn)以下幾方面的趨勢(shì):
(l)大數(shù)據(jù)的去冗降噪技術(shù)
大數(shù)據(jù)一般都來(lái)自多個(gè)不同的源頭,而且往往以動(dòng)態(tài)數(shù)據(jù)流的形式產(chǎn)生。因此,大數(shù)據(jù)中常常包含有不同形態(tài)的噪聲數(shù)據(jù)。另外,數(shù)據(jù)采樣算法缺陷與設(shè)備故障也可能會(huì)導(dǎo)致大數(shù)據(jù)的噪聲。大數(shù)據(jù)的冗余則通常來(lái)自兩個(gè)方面:一方面,大數(shù)據(jù)的多源性導(dǎo)致了不同源頭的數(shù)據(jù)中存在有相同的數(shù)據(jù),從而造成數(shù)據(jù)的絕對(duì)冗余;另一方面,就具體的應(yīng)用需求而言,大數(shù)據(jù)可能會(huì)提供超量特別是超精度的數(shù)據(jù),這又形成數(shù)據(jù)的相對(duì)冗余。降低噪聲、消除冗余是提高數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)存儲(chǔ)成本的基礎(chǔ)。
(2)大數(shù)據(jù)的新型表示方法
目前,表示數(shù)據(jù)的方法不一定能直觀地展現(xiàn)出大數(shù)據(jù)本身的意義。要想有效利用數(shù)據(jù)并挖掘其中的信息或知識(shí),必須找到最合適的數(shù)據(jù)表示方法。數(shù)據(jù)表示方法和最初的數(shù)據(jù)產(chǎn)生者有著密切關(guān)系。如果原始數(shù)據(jù)有必要的標(biāo)識(shí),就會(huì)大大減輕事后數(shù)據(jù)識(shí)別和分類的困難。但標(biāo)識(shí)數(shù)據(jù)會(huì)給用戶增添麻煩,往往得不到用戶認(rèn)可。研究既有效又簡(jiǎn)易的數(shù)據(jù)表示方法是處理網(wǎng)絡(luò)大數(shù)據(jù)必須解決的技術(shù)難題之一。
(3)高效率低成本的大數(shù)據(jù)
大數(shù)據(jù)的存儲(chǔ)力式小僅影響其后的數(shù)據(jù)分析處理效率也影響數(shù)據(jù)存儲(chǔ)的成本。岡此,需要研究多源多模態(tài)數(shù)據(jù)高質(zhì)量獲取與整合的理論和技術(shù)、流式數(shù)據(jù)的高速索引創(chuàng)建與存儲(chǔ)、錯(cuò)誤自動(dòng)檢測(cè)與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計(jì)算的理論和算法等,實(shí)現(xiàn)高效率低成本的數(shù)據(jù)存儲(chǔ)方式。
(4)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理
目前,非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)在整個(gè)人數(shù)據(jù)中占有相當(dāng)大的比重,而關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的出發(fā)點(diǎn)是追求高度的數(shù)據(jù)一致性和容錯(cuò)性,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)無(wú)法勝任這些數(shù)據(jù)的處理。系統(tǒng)的高擴(kuò)展性是大數(shù)據(jù)分析最重要的需求,必須尋找高擴(kuò)展性的數(shù)據(jù)分析技術(shù)。以MapReduce和Hadoop為代表的非關(guān)系數(shù)據(jù)分析技術(shù),以其適合非結(jié)構(gòu)數(shù)據(jù)處理、大規(guī)模并行處理、簡(jiǎn)單易用等突出優(yōu)勢(shì),在互聯(lián)網(wǎng)信息搜索和其他大數(shù)據(jù)分析領(lǐng)域取得了重大進(jìn)展,已成為大數(shù)據(jù)分析的主流技術(shù)。然而MapReduce相Hadoop在應(yīng)用性能等方面還存在不少問(wèn)題,還需要研究開發(fā)更有效、更實(shí)用的大數(shù)據(jù)分析和管理技術(shù)來(lái)適應(yīng)大數(shù)據(jù)分析方面的技術(shù)需求。
(5)適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境
不同行業(yè)需要不同的大數(shù)據(jù)分析工具和開發(fā)環(huán)境,而當(dāng)前跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享仍存在大量壁壘,海量數(shù)據(jù)的收集,特別是相關(guān)領(lǐng)域的數(shù)據(jù)收集和共享仍然存在很大挑戰(zhàn)。通過(guò)在分析工具和開發(fā)環(huán)境上創(chuàng)新,實(shí)現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析,從而提升不同行業(yè)和領(lǐng)域數(shù)據(jù)挖掘的價(jià)值。
四、2013-2017年度大數(shù)據(jù)市場(chǎng)規(guī)模預(yù)測(cè)分析
未來(lái)5年,中國(guó)將迎來(lái)大數(shù)據(jù)的快速發(fā)展,ICTresearch研究顯示,2013年,中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到7.8億元,同比增長(zhǎng)73.3%; 2017年,中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模有望達(dá)到184.3億元。
五、業(yè)務(wù)發(fā)展建議
1、差異化對(duì)待處于不同應(yīng)用階段的客戶需求
可以看到,企業(yè)中即擁有規(guī)?;臄?shù)據(jù)獲取來(lái)源又具備主流和核心技術(shù)能力進(jìn)行大數(shù)據(jù)分析挖掘的廠商并不多。大部分廠商仍然處在擁有大量數(shù)據(jù)而沒(méi)有有效利用的階段,這就為大數(shù)據(jù)整合和分析方面具有優(yōu)勢(shì)的廠商提供了廣闊的市場(chǎng)機(jī)會(huì)。
根據(jù)研究企業(yè)的調(diào)查結(jié)果看,可以分為三類:
第一類企業(yè):企業(yè)技術(shù)實(shí)力比較強(qiáng),信息化建設(shè)和技術(shù)投入較高,已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)的應(yīng)用價(jià)值,再大數(shù)據(jù)方面有了一定的研究基礎(chǔ),例如沃爾瑪、華為和富士康等。針對(duì)這類企業(yè)的機(jī)會(huì)就在于對(duì)大數(shù)據(jù)的外圍產(chǎn)品和應(yīng)用方面建立聯(lián)系和溝通,從大數(shù)據(jù)企業(yè)具有優(yōu)勢(shì)的產(chǎn)品和服務(wù)方面刺客戶產(chǎn)生影響,能夠進(jìn)一步幫助客戶彌補(bǔ)自身技術(shù)方面的不足,尤其是服務(wù)方面,企業(yè)自身的應(yīng)用服務(wù)能力和運(yùn)維水平限制將成為大數(shù)據(jù)企業(yè)客戶開拓方面的重要機(jī)會(huì)。
第二類企業(yè):企業(yè)基于業(yè)務(wù)的發(fā)展建立了比較完善的信息系統(tǒng),企業(yè)內(nèi)部的生產(chǎn)、銷售和外部運(yùn)營(yíng)數(shù)據(jù)比較豐富完善,有大數(shù)據(jù)應(yīng)用意識(shí),但還沒(méi)有對(duì)數(shù)據(jù)進(jìn)行深入的挖掘利用,主要有聯(lián)想、蘇寧、家樂(lè)福、蒙牛、王府井百貨等。針對(duì)這類企業(yè),大數(shù)據(jù)企業(yè)的機(jī)會(huì)空間比較大,可以結(jié)合目前已有信息系統(tǒng)的對(duì)接,收集和整理企業(yè)現(xiàn)有數(shù)據(jù),利用大數(shù)據(jù)企業(yè)核心的大數(shù)據(jù)分析利用技術(shù),對(duì)經(jīng)營(yíng)相關(guān)的結(jié)構(gòu)化數(shù)據(jù)和營(yíng)銷相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合分析,從經(jīng)營(yíng)改善提升的角度為企業(yè)提供整體的大數(shù)據(jù)解決方案,既可以實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)的整合又可以帶動(dòng)大數(shù)據(jù)企業(yè)相關(guān)產(chǎn)品的小時(shí)機(jī)會(huì),從整體上幫助企業(yè)把握大數(shù)據(jù)時(shí)代的發(fā)展機(jī)遇,成為企業(yè)信息建設(shè)和發(fā)展決策勝的關(guān)鍵環(huán)節(jié)。
第三類企業(yè):企業(yè)目前的經(jīng)營(yíng)雖然有一定規(guī)模,但是信息化建設(shè)還不完善,技術(shù)實(shí)力不強(qiáng),主要依靠專業(yè)的IT產(chǎn)生提供服務(wù),基本沒(méi)有建立大數(shù)據(jù)的應(yīng)用意識(shí),主要有百聯(lián)、華潤(rùn)萬(wàn)家~愛(ài)國(guó)者、俏江南等企業(yè)。針對(duì)這類企業(yè),可以先從其信息化建設(shè)現(xiàn)狀入手,提高企業(yè)對(duì)信息化的重視程度,為企業(yè)提供有關(guān)云平臺(tái)、大數(shù)據(jù)方面建設(shè)的產(chǎn)品和解決方案,逐步完善客戶在數(shù)據(jù)采集、管理、分析和利用方面的意識(shí),引導(dǎo)客戶的大數(shù)據(jù)業(yè)務(wù)需求。從前期介入持續(xù)跟進(jìn)后幫助企業(yè)建立起數(shù)據(jù)中心——云平行應(yīng)用——大數(shù)據(jù)應(yīng)用等一系列的應(yīng)用模式。
總的來(lái)看,第二類企業(yè)是大數(shù)據(jù)企業(yè)目前需要重點(diǎn)關(guān)注的客戶目標(biāo),這類目標(biāo)有意識(shí)、有能力、有需求,是比較好開拓,能夠快速見到成效的客戶。但由于目前國(guó)外廠商在大數(shù)據(jù)方面的布局越來(lái)越完善,大數(shù)據(jù)企業(yè)需要更加突出自身在已有產(chǎn)品方面的競(jìng)爭(zhēng)力,提出大數(shù)據(jù)創(chuàng)新的技術(shù)和應(yīng)用模式,才能在這類企業(yè)中建立獨(dú)特的競(jìng)爭(zhēng)優(yōu)勢(shì)。
2、加快關(guān)鍵技術(shù)和新型數(shù)據(jù)處理技術(shù)研發(fā)
大數(shù)據(jù)的技術(shù)門檻較高,目前在大數(shù)據(jù)領(lǐng)域展開競(jìng)爭(zhēng)的信息技術(shù)企業(yè)多是在數(shù)據(jù)存儲(chǔ)、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商。為實(shí)現(xiàn)產(chǎn)業(yè)升級(jí),需要加強(qiáng)關(guān)鍵技術(shù)和新興技術(shù)的研發(fā)。以數(shù)據(jù)分析技術(shù)為核心,加強(qiáng)人工智能、商業(yè)智能、機(jī)器學(xué)習(xí)等領(lǐng)域的理論研究和技術(shù)研發(fā),全面提升非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)、非關(guān)系型數(shù)據(jù)庫(kù)管理技術(shù)、可視化技術(shù)等基礎(chǔ)技術(shù)研發(fā)水平,推動(dòng)與云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等技木的融合,加強(qiáng)網(wǎng)頁(yè)搜索技術(shù)、知識(shí)計(jì)算(搜索)技術(shù)、知識(shí)庫(kù)技術(shù)等核心技術(shù)的研發(fā),開發(fā)出高質(zhì)量的單項(xiàng)技術(shù)產(chǎn)品,并與數(shù)據(jù)處理技術(shù)相結(jié)合,為實(shí)現(xiàn)商業(yè)智能服務(wù)提供技術(shù)體系支撐。
3、提升大數(shù)據(jù)分析產(chǎn)品和服務(wù)水平
推動(dòng)以企業(yè)為核心的產(chǎn)學(xué)研用合作,利用本士語(yǔ)言優(yōu)勢(shì),結(jié)合云計(jì)算技術(shù)與服務(wù),鼓勵(lì)軟硬件企業(yè)和服務(wù)企業(yè)應(yīng)用新型技術(shù),與信息內(nèi)容服務(wù)相結(jié)合,面向?qū)嶋H的大數(shù)據(jù)應(yīng)用提供具有行業(yè)特色的系統(tǒng)集成解決方案和數(shù)據(jù)分析服務(wù)?;陂_源、開放操作系統(tǒng)或應(yīng)用平臺(tái),整合優(yōu)勢(shì)資源,以有基礎(chǔ)優(yōu)勢(shì)的數(shù)據(jù)處理軟件商牽頭,統(tǒng)合各方技術(shù)優(yōu)勢(shì)與數(shù)據(jù)優(yōu)勢(shì),形成完整、可實(shí)用的數(shù)據(jù)分析產(chǎn)品,不斷提高服務(wù)內(nèi)容的精確度與匹配度,培育具有較高集成水平、較強(qiáng)市場(chǎng)能力的大數(shù)據(jù)解決方案提供商,為大數(shù)據(jù)在各行業(yè)領(lǐng)域的應(yīng)用提供成熟解決方案。
4、加速推進(jìn)大數(shù)據(jù)示范領(lǐng)域的應(yīng)用水平
未來(lái),大數(shù)據(jù)將在互聯(lián)網(wǎng)、醫(yī)療、政府、零售等行業(yè)得到廣泛應(yīng)用和發(fā)展。面向數(shù)據(jù)量大的行業(yè)應(yīng)用領(lǐng)域,積極引導(dǎo)行業(yè)廠商參與,大力發(fā)展商業(yè)決策、數(shù)據(jù)分析、擴(kuò)展存儲(chǔ)等軟硬件一體化的行業(yè)應(yīng)用解決方案。同時(shí),推動(dòng)高科技領(lǐng)域的數(shù)據(jù)深加工服務(wù),大力開發(fā)深度加工的行業(yè)數(shù)據(jù)庫(kù)和細(xì)分領(lǐng)域的專題數(shù)據(jù)庫(kù),為行業(yè)用戶提供基于數(shù)據(jù)內(nèi)容的增值服務(wù)。對(duì)于政府城市建設(shè)的需求,加快推動(dòng)大數(shù)據(jù)在智慧城市、平安城市建設(shè)的應(yīng)用,不斷提升數(shù)字內(nèi)容加工處理軟件等服務(wù)發(fā)展水平,提升城市管理的水平和政府部門的服務(wù)質(zhì)量。