“當(dāng)前無論是機(jī)構(gòu)還是企業(yè)都存儲(chǔ)了大量數(shù)據(jù)，使用這些數(shù)據(jù)一度不太高效。”在12月15日舉行的《NoETL白皮書》發(fā)布會(huì)上，浙江大應(yīng)科技CEO周衛(wèi)林表示，數(shù)據(jù)編織技術(shù)的應(yīng)用將大大縮短數(shù)據(jù)從混亂到有序的時(shí)間。

　　資料顯示，權(quán)威信息技術(shù)分析公司高德納(Gartner)連續(xù)三年將數(shù)據(jù)編織技術(shù)(Data Fabric)列為“十大數(shù)據(jù)和分析技術(shù)趨勢(shì)”之一。在其此前發(fā)布的中國數(shù)據(jù)分析與人工智能技術(shù)的相關(guān)報(bào)告中，數(shù)據(jù)編織技術(shù)與大模型一并被列為有望膨脹發(fā)展的技術(shù)。

　　那么，什么是數(shù)據(jù)編織技術(shù)?應(yīng)用這一技術(shù)對(duì)挖掘數(shù)據(jù)生產(chǎn)力，提高數(shù)據(jù)要素效能將發(fā)揮哪些作用?

數(shù)據(jù)編織虛擬圖

　　“編織”出海量數(shù)據(jù)的“經(jīng)緯”邏輯

　　近年來，數(shù)據(jù)計(jì)量單位從兆比特(MB)持續(xù)增長(zhǎng)到吉字節(jié)(GB)、太字節(jié)(TB)、拍字節(jié)(PB)……無論傳統(tǒng)行業(yè)還是新興行業(yè)的數(shù)據(jù)都在以指數(shù)倍速度擴(kuò)大體量。

　　“數(shù)據(jù)倉庫是‘只進(jìn)不出’的，它的規(guī)模會(huì)不斷增長(zhǎng)，但量的增長(zhǎng)未必會(huì)帶來價(jià)值的增加。”周衛(wèi)林解釋，數(shù)據(jù)是否產(chǎn)出價(jià)值與其數(shù)量并不存在線性關(guān)系，如果不能及時(shí)處理、分析，提煉成知識(shí)，數(shù)據(jù)量的增加反而會(huì)增加成本，降低效率。

　　因此，由于數(shù)據(jù)海量增加，很多企業(yè)或機(jī)構(gòu)面臨新問題，需要及時(shí)對(duì)數(shù)據(jù)的“經(jīng)緯”邏輯進(jìn)行梳理。相關(guān)負(fù)責(zé)人表示，招商銀行總行數(shù)據(jù)“湖倉”的整體規(guī)模已達(dá)數(shù)十PB。主要數(shù)據(jù)倉庫生產(chǎn)系統(tǒng)規(guī)模已經(jīng)增長(zhǎng)到十幾萬張表、每天需運(yùn)行幾十萬個(gè)任務(wù)對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載，由于處理量巨大，數(shù)據(jù)準(zhǔn)備周期長(zhǎng)、人力投入大，有些任務(wù)的完成周期達(dá)到兩周，難以完成及時(shí)“微決策”需求。

　　應(yīng)對(duì)數(shù)據(jù)量陡增，數(shù)據(jù)編織被認(rèn)為能為海量數(shù)據(jù)快速、“有序”分析提供有效方案。“對(duì)數(shù)據(jù)進(jìn)行‘編織’是在數(shù)據(jù)虛擬化的基礎(chǔ)上。”周衛(wèi)林說，虛擬化之后，數(shù)據(jù)無需復(fù)制就可以整合，且不受數(shù)據(jù)源、格式的限制，這一技術(shù)隱藏了數(shù)據(jù)本身的復(fù)雜性和差異性。

　　“數(shù)據(jù)編織技術(shù)能夠?qū)Σ煌瑪?shù)據(jù)進(jìn)行邏輯整合，我們和大應(yīng)科技合作構(gòu)建出一個(gè)統(tǒng)一的邏輯數(shù)據(jù)資產(chǎn)層。”招商銀行技術(shù)人員介紹，數(shù)據(jù)使用者只需在“邏輯層”調(diào)用，就可高效獲得可用數(shù)據(jù)，整體計(jì)算和存儲(chǔ)消耗不到傳統(tǒng)方案的50%。

　　縮短長(zhǎng)流程的數(shù)據(jù)處理，使其隨時(shí)可用

　　“通過‘邏輯層’提供統(tǒng)一數(shù)據(jù)服務(wù)，不僅實(shí)現(xiàn)了實(shí)時(shí)的數(shù)據(jù)訪問，還減少數(shù)據(jù)復(fù)制的搬運(yùn)時(shí)間和成本。”周衛(wèi)林表示，因此，能夠極大提升數(shù)據(jù)要素的生產(chǎn)力。

　　此外，由于有了統(tǒng)一的“邏輯層”，此前需要技術(shù)人員才能有效處理的跨源、異構(gòu)數(shù)據(jù)普通業(yè)務(wù)人員也能處理。周衛(wèi)林打了個(gè)比方，“邏輯層”就好比電腦的“視窗”系統(tǒng)，之前要學(xué)會(huì)DOS語言才能操作，現(xiàn)在操作則只需要鼠標(biāo)和按鍵。

　　“我們的可信數(shù)據(jù)能夠以可理解的方式交付給業(yè)務(wù)的決策者。”招商銀行相關(guān)技術(shù)人員表示，由于數(shù)據(jù)都在“邏輯層”上，業(yè)務(wù)部門可以進(jìn)行自助服務(wù)，不同部門間也能開展高效協(xié)作，無需像之前只能等待數(shù)據(jù)工程師在物理集成的基礎(chǔ)上再開發(fā)復(fù)雜的數(shù)據(jù)鏈路。

　　“數(shù)據(jù)二十條”提到要引導(dǎo)企業(yè)和科研機(jī)構(gòu)推動(dòng)數(shù)據(jù)要素相關(guān)技術(shù)和產(chǎn)業(yè)應(yīng)用創(chuàng)新。為保障數(shù)據(jù)安全，數(shù)據(jù)流通通過技術(shù)實(shí)現(xiàn)了“可用不可見”;為了提高數(shù)據(jù)利用效率，仍需要通過技術(shù)改變數(shù)據(jù)價(jià)值挖掘時(shí)“可見不可用”的問題。

　　“隨著信息化水平的提升，機(jī)構(gòu)和企業(yè)中均形成了大量新的數(shù)據(jù)源，不同數(shù)據(jù)源的數(shù)據(jù)類型不同。”周衛(wèi)林表示，為應(yīng)對(duì)這一新問題，企業(yè)將持續(xù)開展科研創(chuàng)新，通過應(yīng)用數(shù)據(jù)編織、AI增強(qiáng)的自適應(yīng)加速等新技術(shù)助力數(shù)據(jù)要素在實(shí)現(xiàn)價(jià)值的“最后一公里”上隨取隨用。

　　(圖片均由受訪單位提供)

　　來源：科技日?qǐng)?bào)　作者：張佳星