“當前無論是機構還是企業(yè)都存儲了大量數(shù)據(jù)，使用這些數(shù)據(jù)一度不太高效。”在12月15日舉行的《NoETL白皮書》發(fā)布會上，浙江大應科技CEO周衛(wèi)林表示，數(shù)據(jù)編織技術的應用將大大縮短數(shù)據(jù)從混亂到有序的時間。

　　資料顯示，權威信息技術分析公司高德納(Gartner)連續(xù)三年將數(shù)據(jù)編織技術(Data Fabric)列為“十大數(shù)據(jù)和分析技術趨勢”之一。在其此前發(fā)布的中國數(shù)據(jù)分析與人工智能技術的相關報告中，數(shù)據(jù)編織技術與大模型一并被列為有望膨脹發(fā)展的技術。

　　那么，什么是數(shù)據(jù)編織技術?應用這一技術對挖掘數(shù)據(jù)生產(chǎn)力，提高數(shù)據(jù)要素效能將發(fā)揮哪些作用?

數(shù)據(jù)編織虛擬圖

　　“編織”出海量數(shù)據(jù)的“經(jīng)緯”邏輯

　　近年來，數(shù)據(jù)計量單位從兆比特(MB)持續(xù)增長到吉字節(jié)(GB)、太字節(jié)(TB)、拍字節(jié)(PB)……無論傳統(tǒng)行業(yè)還是新興行業(yè)的數(shù)據(jù)都在以指數(shù)倍速度擴大體量。

　　“數(shù)據(jù)倉庫是‘只進不出’的，它的規(guī)模會不斷增長，但量的增長未必會帶來價值的增加。”周衛(wèi)林解釋，數(shù)據(jù)是否產(chǎn)出價值與其數(shù)量并不存在線性關系，如果不能及時處理、分析，提煉成知識，數(shù)據(jù)量的增加反而會增加成本，降低效率。

　　因此，由于數(shù)據(jù)海量增加，很多企業(yè)或機構面臨新問題，需要及時對數(shù)據(jù)的“經(jīng)緯”邏輯進行梳理。相關負責人表示，招商銀行總行數(shù)據(jù)“湖倉”的整體規(guī)模已達數(shù)十PB。主要數(shù)據(jù)倉庫生產(chǎn)系統(tǒng)規(guī)模已經(jīng)增長到十幾萬張表、每天需運行幾十萬個任務對數(shù)據(jù)進行抽取、轉換、加載，由于處理量巨大，數(shù)據(jù)準備周期長、人力投入大，有些任務的完成周期達到兩周，難以完成及時“微決策”需求。

　　應對數(shù)據(jù)量陡增，數(shù)據(jù)編織被認為能為海量數(shù)據(jù)快速、“有序”分析提供有效方案。“對數(shù)據(jù)進行‘編織’是在數(shù)據(jù)虛擬化的基礎上。”周衛(wèi)林說，虛擬化之后，數(shù)據(jù)無需復制就可以整合，且不受數(shù)據(jù)源、格式的限制，這一技術隱藏了數(shù)據(jù)本身的復雜性和差異性。

　　“數(shù)據(jù)編織技術能夠對不同數(shù)據(jù)進行邏輯整合，我們和大應科技合作構建出一個統(tǒng)一的邏輯數(shù)據(jù)資產(chǎn)層。”招商銀行技術人員介紹，數(shù)據(jù)使用者只需在“邏輯層”調(diào)用，就可高效獲得可用數(shù)據(jù)，整體計算和存儲消耗不到傳統(tǒng)方案的50%。

　　縮短長流程的數(shù)據(jù)處理，使其隨時可用

　　“通過‘邏輯層’提供統(tǒng)一數(shù)據(jù)服務，不僅實現(xiàn)了實時的數(shù)據(jù)訪問，還減少數(shù)據(jù)復制的搬運時間和成本。”周衛(wèi)林表示，因此，能夠極大提升數(shù)據(jù)要素的生產(chǎn)力。

　　此外，由于有了統(tǒng)一的“邏輯層”，此前需要技術人員才能有效處理的跨源、異構數(shù)據(jù)普通業(yè)務人員也能處理。周衛(wèi)林打了個比方，“邏輯層”就好比電腦的“視窗”系統(tǒng)，之前要學會DOS語言才能操作，現(xiàn)在操作則只需要鼠標和按鍵。

　　“我們的可信數(shù)據(jù)能夠以可理解的方式交付給業(yè)務的決策者。”招商銀行相關技術人員表示，由于數(shù)據(jù)都在“邏輯層”上，業(yè)務部門可以進行自助服務，不同部門間也能開展高效協(xié)作，無需像之前只能等待數(shù)據(jù)工程師在物理集成的基礎上再開發(fā)復雜的數(shù)據(jù)鏈路。

　　“數(shù)據(jù)二十條”提到要引導企業(yè)和科研機構推動數(shù)據(jù)要素相關技術和產(chǎn)業(yè)應用創(chuàng)新。為保障數(shù)據(jù)安全，數(shù)據(jù)流通通過技術實現(xiàn)了“可用不可見”;為了提高數(shù)據(jù)利用效率，仍需要通過技術改變數(shù)據(jù)價值挖掘時“可見不可用”的問題。

　　“隨著信息化水平的提升，機構和企業(yè)中均形成了大量新的數(shù)據(jù)源，不同數(shù)據(jù)源的數(shù)據(jù)類型不同。”周衛(wèi)林表示，為應對這一新問題，企業(yè)將持續(xù)開展科研創(chuàng)新，通過應用數(shù)據(jù)編織、AI增強的自適應加速等新技術助力數(shù)據(jù)要素在實現(xiàn)價值的“最后一公里”上隨取隨用。

　　(圖片均由受訪單位提供)

　　來源：科技日報　作者：張佳星