圖、經濟日報:找對方向 把大數據變財庫
所謂大數據(Big data)或稱巨量資料、海量資料、大資料,是指所涉及資料「數量龐大」、「種類繁雜」以及「增加飛快」之特性,無法透過人工在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的資訊。
大數據(Big Data)與巨量資料分析(Big Data Analytics)均屬於以資訊科技領域軟硬體為基礎的應用工具,這工具要發揮到效用需要將此工具結合到決策模型中,方能展現價值。
市場預測 2015年將是Big Data蓬勃發展的一年。但是,我們仍處於探討大數據的機會,遠多於投入實際使用。雖然,每個人都知道需要做的事情與大數據息息相關,但實際上卻很少人懂得如何運用。甚至認為,能有效硬體佈署與管理分類網路資訊就夠了,反而忽略資料種類多樣性與更新快速也是大數據的挑戰。
大數據建立首重資料蒐集,必須依據各產業特性,決定要蒐集何種資料,才不會陷入資料漩渦中。事實上,巨量資料的成功關鍵在於非結構化資料與快速流動資料清理過程需要新技術之導入,透過資料探勘與挖掘找出新規律,包括Hadoop及江河運算(Streams Computing)成為巨量資料分析技術核心。
當然,大數據之決策分析也不能完全依賴先進技術,數據品質的關鍵在於資料的建立者與使用者彼此的良好溝通,資料品質的責任應該從資訊科技人員,轉移到需要資料正確而大量投資的經理人身上。否則,將產生「Big Data Gets Little」的反效果。
物聯網是成為這場『數據變革』的最大驅動力。因為物聯網與各種行動裝置的出現正迫使我們思考產生變化,進而影響我們對於這些數據的互動方式。愈來愈多不同傳感器、設備、或應用程序產生出愈來愈多的數據,一個事件會伴隨出更多樣化結構數據,從企業內系統到外部數據,都必須經過清理整合才能轉化成有效情報進行分析。
巨量資料投資沒有效果的最大原因,在於大多數公司並未善用他們本來就有的資料。千萬不要以為花大錢投資精密的分析工具,就神奇地培養出分析能力。首先必須學習如何使用核心營運系統內本來就有的資料,必須先學會使用資料和分析,來支持營運決策,才有可能從巨量資料受惠。
結合巨量資料工具之決策模型,如圖示一,從架構圖可以推敲出未來巨量資料分析發展的關鍵。首先(一)如何將巨量資料分析導入並整合傳統決策模式是關鍵,並且這些決策問題需要針對不同類型之決策進行處理。(二)有了巨量資料之後,仍要如何將傳統資料與決策模型結合,才能發揮綜效。
圖一、結合巨量資料工具之決策模型
根據證據做決策而非直覺來決定,是很困難的文化轉變,工作流程必須重新定義,資料必須篩選,還要訂定商業規則作為指引,這樣決策模式建立之後,最大好處就是競爭對手也無法輕易模仿。
最後,不論從決策模式與需求出發,未來將出現不同類型的典型資料與巨量資料分析模型,並且將發展出新興應用與商機。當然,誰先累積核心Know-How或是關鍵技術也將有機會成為新一代的巨量資料的受益者或贏家。
(本文刊登於經濟日報2015/01/24)
--------------------------------------------------------------------------------------------------------------------------------------------