5月6日，由國家金融與發(fā)展實驗室金融科技研究中心學(xué)術(shù)指導(dǎo)，北京立言金融與發(fā)展研究院、神州控股、神州信息、神州數(shù)碼集團共同主辦的2023數(shù)云原力大會“數(shù)據(jù)資產(chǎn)•金融核心競爭力”主題論壇在京盛大舉辦。作為全球金融科技大會系列論壇之一，本次活動大咖云集，DAMA主席汪廣盛分享了《2023數(shù)據(jù)管理十大新趨勢》，為數(shù)據(jù)管理發(fā)展帶來新的的思考與啟發(fā)。
趨勢一：數(shù)據(jù)項目和數(shù)據(jù)團隊的價值需要自身來證明
數(shù)據(jù)管理和數(shù)字化轉(zhuǎn)型的工作已經(jīng)開展多年，然而失敗的比例很高，部分完成了的項目效果也不是很明顯。數(shù)據(jù)和數(shù)據(jù)團隊的價值到底如何來實現(xiàn)，又如何評估？
2023年，公司將更加重視評估數(shù)據(jù)項目的投資回報率（ROI）。數(shù)據(jù)和數(shù)據(jù)團隊考核的指標(biāo)將開始成為主流。我們將看到數(shù)據(jù)團隊開始開發(fā)評估指標(biāo)來衡量其價值。這包括數(shù)據(jù)的業(yè)務(wù)價值（data monetization)，使用度量，例如數(shù)據(jù)使用（例如，DAU、WAU、MAU和QUA），頁面瀏覽量或花費在數(shù)據(jù)資產(chǎn)上的時間，以及數(shù)據(jù)產(chǎn)品的應(yīng)用情況，滿足數(shù)據(jù)消費者的d-NPS分?jǐn)?shù)，數(shù)據(jù)宕機等業(yè)務(wù)連續(xù)性指標(biāo)，還有數(shù)據(jù)質(zhì)量的評估等。
趨勢二：現(xiàn)代數(shù)據(jù)架構(gòu)越來越普遍
現(xiàn)代數(shù)據(jù)架構(gòu)并非新的概念，但其影響決定了我們未來的趨勢。其核心的一點是語言計算，DCMM是國內(nèi)首創(chuàng)，在推動我國數(shù)字化轉(zhuǎn)型方面做了相當(dāng)多的工作。最近EDM委員會、DAMA、谷歌在做線上的數(shù)據(jù)管理的評估體系，對于DCMM、DAMA經(jīng)典的基于線下的數(shù)據(jù)評估體系帶來了深刻的影響。
趨勢三：分布式趨勢
集中式的還是分布式？從數(shù)字政府的角度看，我們所有的數(shù)據(jù)都是集中式的，一是這種數(shù)據(jù)重復(fù)存儲的成本大大提升了；二是數(shù)據(jù)完全集中的難度很大，成本很高。于是市場出現(xiàn)了分布式的聲音，即數(shù)據(jù)可以實時抓取、實時分析，但數(shù)據(jù)不是由某一個集中化的數(shù)據(jù)團隊來負(fù)責(zé)，而是仍存儲在各個地方，由各個部門來負(fù)責(zé)的——這就是數(shù)據(jù)民主化。目前來看，美國和歐盟分布式的數(shù)據(jù)存儲和處理的方式越來越多了，特別是數(shù)據(jù)編織（Data Fabric）落地特別多，數(shù)據(jù)網(wǎng)格（Data Mesh）落地不是很多，但是這種趨勢已經(jīng)很明顯。我相信中國也將很快朝著這個方向發(fā)展。
趨勢四：主動型元數(shù)據(jù)管理
主動型元數(shù)據(jù)管理是可能性的趨勢。2021年 8月，Gartner把元數(shù)據(jù)管理從有關(guān)技術(shù)象限圖中取消了，取而代之的是主動型元數(shù)據(jù)管理。這標(biāo)志著傳統(tǒng)的元數(shù)據(jù)管理方法的終結(jié)，并開啟了對元數(shù)據(jù)的新思考方式。元數(shù)據(jù)本身正在成為大數(shù)據(jù)，Snowflake和Redshift等計算引擎的技術(shù)進步（比如彈性等）使從元數(shù)據(jù)中獲取智能成為可能，這種方式在幾年前是難以想象的?，F(xiàn)在元數(shù)據(jù)不止是作為查詢的工具，它還影響到生產(chǎn)系統(tǒng)，如數(shù)據(jù)的熱點在哪、數(shù)據(jù)的安全屬性是什么樣等。
趨勢五：基于AI的自動化管理
AI最初是基于管理數(shù)據(jù)質(zhì)量提出來的。我們不能僅憑數(shù)據(jù)的準(zhǔn)確性來評估數(shù)據(jù)的質(zhì)量，還有其他緯度溝通可以評估，我們希望原數(shù)據(jù)的管理有AI的系統(tǒng)，包括數(shù)據(jù)系統(tǒng)、數(shù)據(jù)的分類分級等等。
自動化不僅僅發(fā)生在數(shù)據(jù)質(zhì)量上。我們可以看到數(shù)據(jù)管理行業(yè)越來越多的流程變得自動化。公司需要開箱即用的解決方案，可以使它們的一些任務(wù)自動化。現(xiàn)在，我們看到人工智能和元數(shù)據(jù)使許多流程自動化，隨著公司越來越多地接受數(shù)據(jù)民主化，它們將需要自動化許多數(shù)據(jù)管理流程，并為業(yè)務(wù)用戶提供簡單的控制。
趨勢六：數(shù)據(jù)可觀測性
數(shù)據(jù)可觀察性是組織根據(jù)收集的信息了解數(shù)據(jù)狀態(tài)的能力。它通過自動化監(jiān)控系統(tǒng)來提供這種理解，幾乎沒有人工干預(yù)。具有數(shù)據(jù)可觀察性的組織可以識別有關(guān)其整個數(shù)據(jù)系統(tǒng)的數(shù)據(jù)質(zhì)量問題、異常、模式更改等。數(shù)據(jù)可觀測性的好處包括：監(jiān)測數(shù)據(jù)系統(tǒng)的質(zhì)量，幾乎沒有領(lǐng)域知識；在實現(xiàn)之后，用戶可以監(jiān)控全局并以最小的努力預(yù)防問題；主動檢測問題并通知下游用戶(在問題影響下游系統(tǒng)之前)；可以處理更復(fù)雜的數(shù)據(jù)系統(tǒng)，并識別領(lǐng)域?qū)＜铱赡軟]有想到的問題。
趨勢七：低代碼或者無代碼
我們以前至少需要20人在一年的時間建立數(shù)據(jù)倉庫，現(xiàn)在有可能30分鐘可以完成。通過使應(yīng)用程序更簡單(需要更少的編碼)，可以讓更多的用戶和角色使用數(shù)據(jù)管理流程。有了像Fivetran這樣的自動化數(shù)據(jù)管道工具和像dbt Labs這樣的轉(zhuǎn)換工具，提取和轉(zhuǎn)換不再需要一行代碼。今天的現(xiàn)代數(shù)據(jù)堆棧很容易設(shè)置，現(xiàn)收現(xiàn)付，即插即用！像Fivetran和Snowflake這樣的工具可以讓用戶在不到30分鐘的時間內(nèi)建立數(shù)據(jù)倉庫。
趨勢八：數(shù)據(jù)確權(quán)
“數(shù)據(jù)二十條”以解決市場主體遇到的實際問題為導(dǎo)向，創(chuàng)新數(shù)據(jù)產(chǎn)權(quán)觀念，淡化所有權(quán)、強調(diào)使用權(quán)，聚焦數(shù)據(jù)使用權(quán)流通，創(chuàng)造性提出建立數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)和數(shù)據(jù)產(chǎn)品經(jīng)營權(quán)“三權(quán)分置”的數(shù)據(jù)產(chǎn)權(quán)制度框架，構(gòu)建中國特色數(shù)據(jù)產(chǎn)權(quán)制度體系。數(shù)據(jù)上升到生產(chǎn)要素后，確權(quán)問題就顯得特別重要。針對精準(zhǔn)確權(quán)，我們與清華大學(xué)推出了的相關(guān)方法論。
趨勢九：數(shù)據(jù)價值評估
數(shù)據(jù)作為生產(chǎn)要素需要完善數(shù)據(jù)價值評估的體系，不僅僅是完善數(shù)據(jù)價格、定價系統(tǒng)，還要考慮數(shù)據(jù)資產(chǎn)入財務(wù)報表等問題。
趨勢十：數(shù)據(jù)處理的倫理及合規(guī)
隨著AIGC的發(fā)展，針對AIGC龐大數(shù)據(jù)量，如何進行底層數(shù)據(jù)架構(gòu)成為很重要的課題。其中涉及數(shù)據(jù)的合規(guī)、可信、交易監(jiān)管等問題，都值得進一步探索。