2020年每個行業都受到了COVID-19疫情和全球社會動蕩的影響。變化戰略和商業模式已成為各個企業高層的新挑戰和優先議題。對於企業的CIO和IT部門而言,2021年需要使用創新的技術和方法來創造更多的商業價值。Gartner 2021年出版的這篇十大數據分析區勢報告提出了未來一年數據分析領域的趨勢和挑戰,並提供了一些可以採取的具體行動,使組織間可以更好的運作。
Gartner 2021年十大數據分析區勢
2020年每個行業都受到了COVID-19疫情和全球社會動蕩的影響。變化戰略和商業模式已成為各個企業高層的新挑戰和優先議題。對於企業而言,2021年需要使用創新的技術和方法來創造更多的商業價值。Gartner 2021年出版的這篇十大數據分析區勢報告提出了未來一年數據分析領域的趨勢和挑戰,並提供了一些可以採取的具體行動,使組織間可以更好的運作。
Gartner提出的這十大數據分析趨勢圍繞著三個方向,分別是
- 加速數據分析的變革: 利用人工智能的創新以更靈活和有效地整合更多不同的數據源。
- 通過更有效的方式來運營商業價值:實現更好的決策,將數據分析變成業務的一部分。
- 分佈式的一切事物:需要能夠靈活地將數據和洞察力聯繫起來,以增強更多人和物的能力。
趨勢一:更智能、更負責、可擴展的AI(Smarter, more responsible, scalable AI)
傳統人工智慧技術過度依賴歷史數據,而新冠疫情的影響使歷史數據失去作用。表示人工智慧技術必須要能夠透過「更小且更少的數據」以及合成數據、主動學習、自適應學習等技術,去拓展AI的用例,使AI可以變得更智慧、更強大,從而在歷史資料稀缺等情況下仍然可以順利執行。
國外已經有了這樣的廠商,當企業資料不足的時候,可以利用合成數據工具去生成一些應急資料。Gartner認為,當隱私的保護需求限制了資料的可用性時,我們也可以利用合成數據來解決訓練模型中資料不足的問題
趨勢二:組裝式數據分析架構(Composable data and analytics)
Gartner怎麼定義組裝式數據分析?組裝式數據分析是指將多個數據、多個分析和多個人工智慧的解決方案組合出更靈活的、可模塊化、可重複使用、消費者友好的數據分析架構。
Gartner預測,到2023年,60%的企業將會利用三個或者更多的解決方案,來組成一些組裝式的數據分析架構。裝式資料和分析不僅是一項資料分析業務,更是一種把企業的洞察力與行動力關聯起來的決策工具,並且能夠將企業由數據分析提供的洞察力和行動力關聯起來。
具體來說,未來企業在做開發軟體或資料分析時,不再需要從零開始搭建,只需要把各種各樣的能力組合起來。比如,連線並收集客戶作為一個能力、綜合外部客戶的資料作為一個能力、管理客戶生命週期又是一個能力......最終以組裝的形式合併在一起。
趨勢三:Data fabric會變成各個企業的基礎(Data fabric as the foundation)
由企業或各種部門所搜集產生的資料數據持續爆炸性的增長,但這些資料數據卻又分處在各種不同的儲存空間中,例如存放在亞馬遜的S3、微軟的Azure或谷歌的Google Cloud Platform等公有雲上,又或是存放在企業建立的私有雲中,同時這些資料數據也可能建立於不同的檔案系統(file system)或傳輸協定,因此造成資料群集(cluster)之間取用的困難,而形成所謂的資料孤島(data silo)。
為了要解決資料孤島的困境,數據結構的概念是建立一套可以整合各種不同雲端服務以及橋接各種檔案系統和傳輸協定的操作系統。運用數據結構將可以更有效率的運用與分享資料數據,減少因數據孤島而造成的資料重複、轉移困難等資源的浪費。
趨勢四:從「大」數據到「小」數據或「寬」數據(From big to small and wide data)
小數據(small data),或稱個體資料,是指應用相對較少的數據,但仍能提供有見解的分析技術,是數據智慧化的重要方向。大數據提供了寶貴但「不完整」的 solution,透過大數據只能 know-what;但洞察小數據中的奧秘,猶如解析了消費者/ 使用者行為的 DNA,便能夠進一步 know-why 及 know-how。
Gartner預測,到2025年,70%的企業將會把關注重點從原先的大數據轉向現在的小數據或是寬數據。
趨勢五:XOps技術可以幫助企業更好地建立自適應系統,進而實現規模化運營
再了解XOps前,我們先了解甚麼事DevOps。DevOps 簡而言之,就是 Development + Operations ,也就是開發與維運。在 DevOps 模型之下,開發與營運團隊不再「孤軍奮戰。」 有時,這兩個團隊會合併成為一個團隊,讓工程師負責整個應用程式生命週期中的工作,包含從開發和測試、部署以及營運,並發展出許多不限於單一功能的技能。DevOps 是集文化哲學、實務與工具於一身的結合,可提升組織快速交付應用程式和服務的能力。
而XOps的最終方向就是利用DevOps等最佳實踐去實現效率提升和規模經濟的增長,並確保應用的可靠性、可重用性,儘量減少技術和流程的重複,從而實現自動化。
趨勢六:決策智能(Engineered decision intelligence)
通常,企業要做一個決策,大概要經歷五個步驟,即抓取數據、解釋數據、設計模型、模型場景化和執行,而決策智能提供了一個框架,將多種傳統和先進技術結合在一起,從而設計、建模、調整、執行、監控和調整決策模型。決策智能工程化要比決策智能更勝一籌,不僅適用於單個決策,還適用於一系列的決策。憑藉這項技術,企業能夠更快獲取推動商業行動時所需的insight。
趨勢七:數據分析成為企業的核心業務(Data and analytics as a core business function)
過去,數據分析多以IT為主導,用來支持業務成果轉化。現在,隨著數據工具的簡化和易用,業務應用人員也在通過數據分析來推動自己的行為。
數據分析不再是由一個單獨的團隊來完成的,而是變成了整個企業的核心職能。 Gartner指出,如果企業的首席數據官(CDO)有參與目標和策略的製定,他們可以商業價值的產出提高2.6倍。
趨勢八:圖資料庫技術正在聯通萬物(Graph relates everything)
圖資料庫中的一個圖包含一個節點和一個關係。每個節點代表一個實體,可以是一個人、一個地方、一件事、一個類別或其他數據,每個關係則代表兩個節點的關聯方式。例如,兩個節點cake和dessert會有的關係是一種從cake指向dessert的類型。再考慮一下另一個例子, Twitter就是連接3.3億月活躍用戶的圖數據庫的一個完美例子。
Gartner 的報告提到,圖資料庫技術已成為現代數據分析的基礎,能夠增強並改進用戶間的合作、機器學習模型和人工智慧。
Gartner預測,到了2025年,圖資料庫技術的使用率將從2021年的10%上升到80%,從而在數據分析創新當中,促進整個企業的發展。
趨勢九:擴增型消費者的崛起帶來顛覆式影響(The rise of the augmenter consumer)
二十年前,企業要想進行大數據分析,無非是購買更大的資料庫、選擇更高效的BI工具。但是今天,企業更需要的是提高擴增型消費者的能力,讓越來越多的用戶可以感受到和企業相關的一些信息,這需要把數據分析的門檻降低。
例如,以前的企業用戶再使用數據分析工具時,會受限於事先設定好的儀錶盤。在這樣的情況下,用戶只能挖掘事先定義好的問題。只有數據分析師或數據科學家才能更改數據分析的儀錶盤。但Gartner認為,未來這些儀錶盤將可被自動化以及客製化,可以根據用戶自己的需求來使用,使企業中的任何人都能獲得原來只有少數數據專家才能掌握的洞見和知識。
趨勢十:數據分析邊緣化(Data and analytics at the edge)
邊緣化是一種分佈化的概念,隨著邊緣化,數據不需要上傳到傳統的數據中心才能處理。邊緣化允許數據在附近的收集源就即時處理和分析數據。而將數據分析邊緣化會讓數據分析變得更加普遍並將數據分析帶來的變化延伸到不同的業務。同時,也解決了因法律或其他原因而無法從特定區域移動數據的這一問題。
資料來源:https://www.gartner.com/smarterwithgartner/gartner-top-10-data-and-analytics-trends-for-2021/
文章翻譯摘錄:
AMT聯盟研究員_宮睿駿