美國進(jìn)入“非結(jié)構(gòu)化”數(shù)據(jù)分析新時(shí)代

目前，對(duì)國內(nèi)大部分企業(yè)級(jí)客戶而言，大數(shù)據(jù)時(shí)代已經(jīng)真正到來了。

雖然，近年來“大數(shù)據(jù)”及“數(shù)據(jù)分析”概念被炒得很火，但國內(nèi)，國內(nèi)很多CIO/CTO們?nèi)院堋昂ε聰?shù)據(jù)”——一方面，企業(yè)充斥著無從分析的非結(jié)構(gòu)化數(shù)據(jù)；另一方面，結(jié)構(gòu)化數(shù)據(jù)分析方面，與非結(jié)構(gòu)一樣面臨著方法不科學(xué)、周期冗長、性價(jià)比低、不能直接產(chǎn)生經(jīng)濟(jì)效益等典型的問題。國內(nèi)大數(shù)據(jù)分析越來越陷入到一種不得要領(lǐng)、頗為雞肋的僵局。

而反觀大洋彼岸的美國，新技術(shù)正推動(dòng)著美國數(shù)據(jù)分析產(chǎn)業(yè)進(jìn)入到一個(gè)新的階段——目前美國很多企業(yè)客戶不僅開始分析非結(jié)構(gòu)化數(shù)據(jù)，并通過引入“實(shí)時(shí)分析”、“數(shù)據(jù)驅(qū)動(dòng)”（Data-driven）、“人機(jī)互動(dòng)”等最新的數(shù)據(jù)分析理念，實(shí)現(xiàn)了企業(yè)數(shù)據(jù)分析與經(jīng)濟(jì)效益的有效聯(lián)動(dòng)。

每一次產(chǎn)業(yè)升級(jí)都會(huì)孕育出多個(gè)獨(dú)角獸公司，而此次推動(dòng)數(shù)據(jù)分析產(chǎn)業(yè)變革的正是以Taste Analytics為代表的從美國頂尖級(jí)數(shù)據(jù)可視化中心走出來的數(shù)據(jù)科學(xué)家們。

“這是一場不可思議的革命，你很難想象企業(yè)非結(jié)構(gòu)化數(shù)據(jù)中蘊(yùn)含的寶藏，我們在啟用Taste平臺(tái)的第一天就發(fā)現(xiàn)了一年以來客戶郵件一直在抱怨的一個(gè)紕漏，從而及時(shí)挽回了品牌聲譽(yù)。”美國某著名家電廠商CIO告訴我。

國內(nèi)數(shù)據(jù)分析“七宗罪”

每一個(gè)做過調(diào)研的人，都會(huì)驚訝于中美兩國在大數(shù)據(jù)分析理念和客戶心態(tài)上的巨大差別。

“企業(yè)數(shù)據(jù)分析，中美在理念方面相差2-3年，而在實(shí)際執(zhí)行層面或許有5年左右的差距。”美國數(shù)據(jù)分析科學(xué)家、Taste Analytics創(chuàng)始人及全美五大可視化研究中心的Derek Wang（汪曉宇）博士表示。

目前，國內(nèi)的企業(yè)級(jí)客戶在進(jìn)行大數(shù)據(jù)分析時(shí)，仍以分析結(jié)構(gòu)化數(shù)據(jù)為主，而對(duì)于內(nèi)涵豐富的非結(jié)構(gòu)化數(shù)據(jù)，市面上并沒有有效的工具進(jìn)行分析。

同時(shí)，在進(jìn)行結(jié)構(gòu)化數(shù)據(jù)分析時(shí)，仍采用了“招標(biāo)＋外包”的傳統(tǒng)模式，即需要大數(shù)據(jù)分析服務(wù)的企業(yè)按照歷史經(jīng)驗(yàn)首先建立自己的數(shù)據(jù)分析KPI（關(guān)鍵績效指標(biāo)），然后將整個(gè)數(shù)據(jù)分析任務(wù)外包給第三方大數(shù)據(jù)公司，經(jīng)過數(shù)月的時(shí)間后，大數(shù)據(jù)公司將數(shù)據(jù)分析的結(jié)果返還給甲方企業(yè)。

Derek Wang博士表示，這種數(shù)據(jù)分析的模式，會(huì)產(chǎn)生以下幾方面的問題，這些問題也正是目前國內(nèi)的CIO/CTO們頗為頭痛的問題。

首先，錯(cuò)過了內(nèi)涵豐富的非結(jié)構(gòu)化數(shù)據(jù)。相比結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)對(duì)企業(yè)同樣重要，而目前，國內(nèi)企業(yè)在進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)分析方面仍在初始階段。

第二，KPI非數(shù)據(jù)驅(qū)動(dòng)生成，缺乏科學(xué)性。國內(nèi)大數(shù)據(jù)KPI的制定常常以人為經(jīng)驗(yàn)為準(zhǔn)，而不是由數(shù)據(jù)驅(qū)動(dòng)并且實(shí)時(shí)生成的，這就有可能造成KPI常年不變，并且缺乏科學(xué)性。

第三，數(shù)據(jù)分析過程冗長。國內(nèi)企業(yè)在進(jìn)行大數(shù)據(jù)分析時(shí)采用“招標(biāo)－乙方返還數(shù)據(jù)分析結(jié)果”的方式，整個(gè)周期少則也需要1-2個(gè)月的時(shí)間，往往返還回結(jié)果時(shí)，企業(yè)內(nèi)部的相關(guān)數(shù)據(jù)已經(jīng)完全改變了。

第四，浪費(fèi)了企業(yè)內(nèi)部的分析師資源。采用外包的方式，其實(shí)完全浪費(fèi)了企業(yè)內(nèi)部的分析師資源，從經(jīng)濟(jì)效益上很不劃算。

第五，數(shù)據(jù)安全性無法保障。外包的另一個(gè)問題就是數(shù)據(jù)的安全性問題，企業(yè)想確保數(shù)據(jù)以安全的方式交予第三方大數(shù)據(jù)公司，往往需要耗費(fèi)額外的時(shí)間和經(jīng)濟(jì)成本。

第六，數(shù)據(jù)分析結(jié)果不能與企業(yè)經(jīng)濟(jì)效益直接掛鉤。國內(nèi)企業(yè)在進(jìn)行數(shù)據(jù)分析時(shí)，不僅往往需要數(shù)月的時(shí)間，而且常常為了分析而分析，分析完之后并不能很好地將分析結(jié)果運(yùn)用到企業(yè)經(jīng)濟(jì)效益的改善上。

第七，第三方大數(shù)據(jù)公司分析能力有限。企業(yè)看似將數(shù)據(jù)分析的重任交予了第三方公司，但第三方公司由于缺乏動(dòng)態(tài)、數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)分析工具，它其實(shí)也是在按照經(jīng)驗(yàn)制定KPI和進(jìn)行數(shù)據(jù)分析，這樣分析出的結(jié)果難言科學(xué)有效。

對(duì)此，業(yè)內(nèi)受訪專家表示，目前國內(nèi)企業(yè)陷入的數(shù)據(jù)分析困局，一部分是理念問題，而更多的是技術(shù)的制約以及工具的缺乏。“比如對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，其實(shí)每個(gè)企業(yè)都是非常渴望分析，并且希望實(shí)時(shí)分析的，但目前仍苦于在公開市場上沒有好用的分析平臺(tái)。”

新技術(shù)推動(dòng)形成數(shù)據(jù)分析新理念

事實(shí)上，中國企業(yè)遇到的問題，美國企業(yè)客戶也曾經(jīng)經(jīng)歷過。美國某著名家電廠商相關(guān)受訪人士告訴認(rèn)為，自己也經(jīng)歷過對(duì)非結(jié)構(gòu)化數(shù)據(jù)頭大、不能實(shí)時(shí)科學(xué)地分析企業(yè)內(nèi)部數(shù)據(jù)等問題。

但今年以來，隨著美國在非結(jié)構(gòu)化語義分析以及人機(jī)互動(dòng)的圖像可視化等技術(shù)領(lǐng)域取得關(guān)鍵性突破，尤其伴隨著全美五大圖像可視化中心之一的北卡羅來納大學(xué)（UNC）夏洛特圖像可視化中心的科學(xué)家們從學(xué)術(shù)界走到工業(yè)界，推出了實(shí)時(shí)動(dòng)態(tài)的、結(jié)果易讀的綜合智能數(shù)據(jù)分析平臺(tái)The Taste Signals Platform，對(duì)美國的企業(yè)級(jí)用戶而言，不論是非結(jié)構(gòu)化數(shù)據(jù)，還是實(shí)時(shí)數(shù)據(jù)分析——以往常見的數(shù)據(jù)分析難點(diǎn)都被一一攻克了。

“從學(xué)術(shù)研究成果到工業(yè)界，科技再次顯示出了它強(qiáng)大的生產(chǎn)力，”美國某著名家電廠商相關(guān)受訪人士表示，“我們以前不知道怎么處理像雪片一樣涌來的客戶郵件，有了Taste的新平臺(tái)和技術(shù)，我們內(nèi)部的分析師第一天就發(fā)現(xiàn)了，一年以來客戶一直在郵件中抱怨我們一個(gè)產(chǎn)品實(shí)際的序列號(hào)位數(shù)與網(wǎng)站注冊位數(shù)嚴(yán)重不匹配。這是一個(gè)我們常規(guī)思維中所預(yù)想不到的嚴(yán)重的產(chǎn)品問題，但在沒有非結(jié)構(gòu)化數(shù)據(jù)分析工具之前，我們完全無從發(fā)現(xiàn)這樣的問題。”

不僅上述家電廠商，全美某著名銀行IT部門的受訪人士也表示，按照經(jīng)驗(yàn)，他們的管理層曾經(jīng)想花重金建立銀行的某項(xiàng)支付功能，但通過對(duì)十幾萬條客戶網(wǎng)絡(luò)聊天信息進(jìn)行非結(jié)構(gòu)化數(shù)據(jù)的分析，他們發(fā)現(xiàn)僅有100多條客戶談及該支付功能，“數(shù)據(jù)驅(qū)動(dòng)的分析讓我們學(xué)會(huì)相信數(shù)據(jù)而不是跟隨潮流，我們最終愉快地決定暫緩該功能的開發(fā)——非結(jié)構(gòu)化數(shù)據(jù)分析讓我們優(yōu)化了我們的產(chǎn)品結(jié)構(gòu)，更加有效的利用了我們的資金，實(shí)現(xiàn)了對(duì)于我們主營業(yè)務(wù)的提升”。

可以看到，目前在美國，很多主流的企業(yè)已經(jīng)進(jìn)入到了以非結(jié)構(gòu)化數(shù)據(jù)分析以及數(shù)據(jù)驅(qū)動(dòng)、實(shí)時(shí)分析、人機(jī)互動(dòng)、結(jié)果易讀等為特點(diǎn)的數(shù)據(jù)分析的新紀(jì)元。據(jù)了解，在The Taste Signals Platform等強(qiáng)大數(shù)據(jù)分析平臺(tái)支持下，相比國內(nèi)客戶，目前美國客戶已經(jīng)形成了在數(shù)據(jù)分析方面的新理念。

首先，信任數(shù)據(jù)而不是經(jīng)驗(yàn)。國內(nèi)客戶在制定數(shù)據(jù)分析KPI時(shí)，更多地依靠既往的經(jīng)驗(yàn)，而美國客戶則更多地相信通過機(jī)器學(xué)習(xí)的數(shù)據(jù)平臺(tái)工具得出的數(shù)據(jù)挖掘的結(jié)果，即使這些結(jié)果有可能背離傳統(tǒng)的經(jīng)驗(yàn)（上述美國某銀行就是一個(gè)很好的例子）。

其次，數(shù)據(jù)分析重要的不是工具本身，而是通過工具提升內(nèi)部分析師的生產(chǎn)力。在美國客戶眼中，數(shù)據(jù)分析更重要的在于充分調(diào)動(dòng)起企業(yè)內(nèi)部分析師的能動(dòng)性，對(duì)他們而言，數(shù)據(jù)分析不是一個(gè)外包或者被動(dòng)等結(jié)果的過程，而是一個(gè)利用更先進(jìn)的數(shù)據(jù)分析平臺(tái)工具提升內(nèi)部人員生產(chǎn)力以及實(shí)時(shí)的人機(jī)互動(dòng)的過程。

再次，非機(jī)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)同樣重要。美國客戶不僅希望看到“樹木”，更希望看到“森林”，這就意味著他們不僅希望實(shí)時(shí)分析結(jié)構(gòu)化數(shù)據(jù)，也希望分析非結(jié)構(gòu)化的數(shù)據(jù)，并且對(duì)于每一個(gè)科學(xué)分析出的關(guān)鍵指標(biāo)，他們都會(huì)分別建立輿情模型，再進(jìn)行更加細(xì)化的數(shù)據(jù)分析。 這是一個(gè)循序漸進(jìn)的過程。

第四，將數(shù)據(jù)分析與經(jīng)濟(jì)效益直接掛鉤。美國客戶更希望將數(shù)據(jù)分析的結(jié)果用于改善經(jīng)濟(jì)效益，比如美國某銀行就通過數(shù)據(jù)分析節(jié)省了幾千萬的某支付功能的開發(fā)成本；而上述家電廠商也通過數(shù)據(jù)分析提升了用戶滿意度以及品牌形象。

年末重新定義國內(nèi)“數(shù)據(jù)分析平臺(tái)”

正如蘋果定義了智能手機(jī)，將手機(jī)產(chǎn)業(yè)帶入一個(gè)新的時(shí)代，每一次技術(shù)變革的背后往往都會(huì)孕育出優(yōu)秀的甚至獨(dú)角獸公司。而在此次美國的數(shù)據(jù)分析產(chǎn)業(yè)升級(jí)換代中，由美國夏洛特圖像可視化中心的幾個(gè)年輕的科學(xué)家成立的Taste Analytics就扮演了這樣的角色。

在采訪中發(fā)現(xiàn)，雖然其新型數(shù)據(jù)分析平臺(tái)產(chǎn)品The Taste Signals Platform上市僅6個(gè)月，但已經(jīng)引起了工業(yè)界的強(qiáng)烈震動(dòng)，目前已有6家福布斯全球500強(qiáng)公司以及多家美國主流企業(yè)都采用了Taste的新型非結(jié)構(gòu)化數(shù)據(jù)分析平臺(tái)，“目前我們的銷售額在以400%的速度增長”。

那么， 這究竟是怎樣的一套新型智能數(shù)據(jù)分析平臺(tái)呢？

The Taste Signals Platform是一套可用于每一個(gè)企業(yè)日常經(jīng)營的實(shí)時(shí)的智能數(shù)據(jù)分析平臺(tái)，其最獨(dú)特的地方在于強(qiáng)大的非結(jié)構(gòu)化數(shù)據(jù)的分析能力，目前其不僅可以分析傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，也可以分析包括中文在內(nèi)的12種文字、語音等非結(jié)構(gòu)化數(shù)據(jù)。

“我們可以分析各種非結(jié)構(gòu)數(shù)據(jù)，其中既包括企業(yè)內(nèi)部郵件、客戶聊天記錄、電話中心數(shù)據(jù)等一手的非機(jī)構(gòu)化數(shù)據(jù)，也包括企業(yè)在電商上的二手?jǐn)?shù)據(jù)，以及社交網(wǎng)絡(luò)、新聞、博客等第三方數(shù)據(jù)。”Taste Analytics創(chuàng)始人Derek Wang博士表示。

同時(shí)，在對(duì)數(shù)據(jù)、文字以及語音進(jìn)行分析時(shí)，The Taste Signals Platform也定義了“人機(jī)互動(dòng)”、“實(shí)時(shí)分析”、“數(shù)據(jù)驅(qū)動(dòng)”、“結(jié)果易讀”等新型數(shù)據(jù)分析平臺(tái)的典型特征。

“傳統(tǒng)的數(shù)據(jù)分析更像是一個(gè)被動(dòng)的等結(jié)果的過程，而新一代的數(shù)據(jù)分析更講究企業(yè)內(nèi)部分析師與機(jī)器的互動(dòng)，我們將數(shù)據(jù)分析的過程分為三大步，第一步是數(shù)據(jù)驅(qū)動(dòng)的語義分析，客戶將成百上千萬條數(shù)據(jù)導(dǎo)入系統(tǒng)中，系統(tǒng)會(huì)快速分析出機(jī)器學(xué)習(xí)到的各種結(jié)果信息和圖表；第二步，客戶通過我們簡潔易讀的圖像可視化的界面，根據(jù)自身需求觀察、解讀和分析機(jī)器學(xué)習(xí)出來的結(jié)果；第三步是根據(jù)第二步的結(jié)果，客戶可以利用Taste的系統(tǒng)建立自己的輿情分析模型，而從再次將該模型代入到分析平臺(tái)中形成新的數(shù)據(jù)監(jiān)控流。”Derek Wang博士如是說，“可以看到整個(gè)數(shù)據(jù)分析的過程形成了一個(gè)實(shí)時(shí)的正向的循環(huán)。”

目前，Taste Analytics的愿景是“用數(shù)據(jù)帶動(dòng)生產(chǎn)力”以及“將每個(gè)人都變?yōu)閿?shù)據(jù)科學(xué)家”。據(jù)悉，今年年末到明年年初，Taste Analytics也將有計(jì)劃進(jìn)入中國市場，其目前還在進(jìn)行市場調(diào)研以及產(chǎn)品本土化的準(zhǔn)備工作。

“中國的廣大企業(yè)級(jí)客戶也很需要我們的技術(shù)，我們不僅會(huì)對(duì)產(chǎn)品進(jìn)行本土化的改良，而且也會(huì)讓公司‘入鄉(xiāng)隨俗’。未來我們將以全新的姿態(tài)進(jìn)入中國市場。”Derek Wang博士表示。

總結(jié)

以上是生活随笔為你收集整理的美国进入“非结构化”数据分析新时代的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。