貝格邁思張世明博士：第五代國(guó)產(chǎn)分布式智能數(shù)據(jù)庫AiSQL的締造者

“萬物皆數(shù)，唯數(shù)學(xué)洞察一切，計(jì)算使能萬物?！?/strong>這是第五代國(guó)產(chǎn)分布式智能數(shù)據(jù)庫AiSQL締造者、貝格邁思創(chuàng)始人張世明博士對(duì)于當(dāng)下和未來數(shù)字社會(huì)的認(rèn)知與思考。

張世明博士認(rèn)為，未來所有需要解決的現(xiàn)實(shí)問題，最終都會(huì)回歸到相應(yīng)的數(shù)學(xué)問題。

而數(shù)學(xué)問題自然要用數(shù)學(xué)思維去解決，這也是張世明博士成立貝格邁思的初衷。

發(fā)掘新硬件技術(shù)革新和軟件架構(gòu)進(jìn)步，利用數(shù)學(xué)優(yōu)化算法模型，研發(fā)國(guó)內(nèi)首款內(nèi)存驅(qū)動(dòng)架構(gòu)的自適應(yīng)異構(gòu)智能計(jì)算引擎，全力打造第五代分布式智能數(shù)據(jù)庫AiSQL，真正首創(chuàng)踐行分布式數(shù)據(jù)庫核心卡脖子技術(shù)的國(guó)產(chǎn)化替代。

張世明博士畢業(yè)于香港大學(xué)計(jì)算機(jī)科學(xué)系，先后在德國(guó)慕尼黑大學(xué)LMU從事研究工作，曾任職于華為研究院諾亞方舟實(shí)驗(yàn)室和百度研究院大數(shù)據(jù)實(shí)驗(yàn)室，一直深耕大數(shù)據(jù)領(lǐng)域核心技術(shù)，在分布式系統(tǒng)和大規(guī)模機(jī)器學(xué)習(xí)系統(tǒng)等領(lǐng)域具有豐富的研發(fā)和應(yīng)用經(jīng)驗(yàn)。

根植于“Bigmath”的貝格邁思，是一家為應(yīng)對(duì)即將到來的快數(shù)據(jù)不斷增長(zhǎng)的實(shí)時(shí)分析需求所面臨的諸多難題，特別是如何真正實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的快速、實(shí)時(shí)優(yōu)化處理，提出了自己的破解之法、解決之道——自適應(yīng)異構(gòu)智能計(jì)算引擎，打造新一代分布式數(shù)據(jù)智能平臺(tái)BigInsights的創(chuàng)新型公司。

數(shù)據(jù)井噴，追趕“快數(shù)據(jù)”

我們正在快速邁進(jìn)數(shù)據(jù)智能時(shí)代的新紀(jì)元，未來幾年全球數(shù)據(jù)規(guī)模將繼續(xù)不斷增長(zhǎng)，將讓現(xiàn)有的數(shù)據(jù)規(guī)模相形見絀，這些數(shù)據(jù)將帶來獨(dú)特的用戶體驗(yàn)和眾多全新的商業(yè)機(jī)會(huì)?！翱鞌?shù)據(jù)”將是繼“大數(shù)據(jù)”之后，下一個(gè)十年顯著的時(shí)代特征，快數(shù)據(jù)的力量必將給我們帶來幾乎無限的變化。

首先，數(shù)據(jù)規(guī)模會(huì)得到爆炸性增長(zhǎng)。隨著5G、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能、云計(jì)算等技術(shù)產(chǎn)業(yè)的快速發(fā)展，世界萬物互聯(lián)、智能感知，緊密相關(guān)的數(shù)據(jù)高速產(chǎn)生，全球數(shù)據(jù)量正迎來了爆發(fā)式增長(zhǎng)?！按髷?shù)據(jù)”躍然成為了“快數(shù)據(jù)”，全球數(shù)據(jù)正以難以置信的速度和體量產(chǎn)生。

IDC在《Data Age 2025》的報(bào)告中預(yù)測(cè)，從2018年到2025年，全球數(shù)據(jù)總量將從33ZB（1ZB=10億TB=1萬億GB）急速增長(zhǎng)到175ZB，比2016年產(chǎn)生的數(shù)據(jù)量增加了十倍。其中，只有不足五分之一的數(shù)據(jù)將會(huì)得到實(shí)際應(yīng)用，屬于數(shù)據(jù)分析的全球數(shù)據(jù)總量將增長(zhǎng)至原來的50倍，而觸及數(shù)據(jù)庫管理分析的全球數(shù)據(jù)總量將增長(zhǎng)至原來的100倍。

2020年，全球數(shù)據(jù)量已達(dá)到44ZB。其中，單在中國(guó)產(chǎn)生的數(shù)據(jù)量就達(dá)8ZB，約占據(jù)全球總數(shù)據(jù)量的五分之一。

與此同時(shí)，數(shù)據(jù)增長(zhǎng)的速率正在不斷加快，數(shù)據(jù)中心承載的壓力也越來越大。其中，快速增長(zhǎng)的實(shí)時(shí)數(shù)據(jù)的比例會(huì)大幅提升，到2025年，全球近30％的數(shù)據(jù)將是實(shí)時(shí)的。

其次，從數(shù)據(jù)到?jīng)Q策需要快速響應(yīng)。無論是商業(yè)應(yīng)用還是社會(huì)治理，數(shù)據(jù)實(shí)時(shí)價(jià)值日益凸顯，如何快速從海量實(shí)時(shí)數(shù)據(jù)中做出實(shí)時(shí)分析處理的需求不斷增加。面對(duì)高速產(chǎn)生的數(shù)據(jù)，越來越多的用戶需要更加實(shí)時(shí)、更快速地進(jìn)行數(shù)據(jù)分析、優(yōu)化處理。

數(shù)據(jù)爆炸正在驅(qū)動(dòng)硬件、軟件及數(shù)據(jù)服務(wù)等市場(chǎng)前所未有的經(jīng)濟(jì)增長(zhǎng)。快數(shù)據(jù)時(shí)代，實(shí)時(shí)分析與實(shí)時(shí)決策將是數(shù)據(jù)分析的重點(diǎn)，傳統(tǒng)數(shù)據(jù)庫正面臨著不斷增長(zhǎng)的數(shù)據(jù)規(guī)模和實(shí)時(shí)分析的雙重挑戰(zhàn)。

多年來，核心的數(shù)據(jù)處理硬件架構(gòu)仍基于經(jīng)典的馮·諾依曼體系結(jié)構(gòu)，即指令與數(shù)據(jù)混合存儲(chǔ)，程序執(zhí)行時(shí)，CPU在程序計(jì)數(shù)器的指引下，線性順序地讀取下一條指令和數(shù)據(jù)，以計(jì)算器為中心，這就注定了其本質(zhì)特點(diǎn)是線性或是串行性。

簡(jiǎn)單來說，核心在于“串行”二字，存儲(chǔ)器是馮·諾依曼體系架構(gòu)的核心，CPU在每一次執(zhí)行命令前，都要從存儲(chǔ)單元中讀取數(shù)據(jù)，執(zhí)行一次計(jì)算任務(wù)，就要讀取一次，執(zhí)行十次計(jì)算任務(wù)，就要讀取十次。

如此一來，馮·諾依曼體系結(jié)構(gòu)的弊端由此顯現(xiàn)，即業(yè)界顯知的內(nèi)存墻問題，不僅需要花費(fèi)大量功耗在數(shù)據(jù)頻繁讀取上，更致命的是：慢。

如果處理速度過慢，則無法滿足快速增長(zhǎng)的數(shù)據(jù)實(shí)時(shí)分析決策處理的需求。面對(duì)快數(shù)據(jù)，新一代數(shù)據(jù)庫需要解決三個(gè)基本問題：一，存儲(chǔ)和管理越來越大的數(shù)據(jù)承載量；二，將孤立的數(shù)據(jù)孤島連接起來；三，針對(duì)大規(guī)模數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。亟需對(duì)傳統(tǒng)數(shù)據(jù)庫進(jìn)行技術(shù)革新，以應(yīng)對(duì)不斷增長(zhǎng)的快數(shù)據(jù)實(shí)時(shí)分析處理挑戰(zhàn)。

從零架構(gòu)，打造自適應(yīng)異構(gòu)智能計(jì)算引擎

后摩爾時(shí)代，為突破以CPU為中心的馮·諾依曼架構(gòu)的技術(shù)瓶頸，讓CPU、GPU、FPGA或其他各種智能計(jì)算芯片xPU一起協(xié)同計(jì)算，發(fā)揮不同處理器各自并行數(shù)據(jù)處理能力的優(yōu)勢(shì)來共同完成計(jì)算任務(wù)是關(guān)鍵。為達(dá)到此目標(biāo)，張世明博士及其創(chuàng)新團(tuán)隊(duì)踐行了一條全新的解決之道，以適應(yīng)內(nèi)存驅(qū)動(dòng)架構(gòu)的異構(gòu)智能計(jì)算引擎為基礎(chǔ)，融合機(jī)器學(xué)習(xí)框架和高速網(wǎng)絡(luò)，打造新一代分布式數(shù)據(jù)智能平臺(tái)BigInsights。

自適應(yīng)異構(gòu)智能計(jì)算引擎真正實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)分析的異構(gòu)智能計(jì)算優(yōu)化處理，是貝格邁思區(qū)別于其它同類型公司的基礎(chǔ)。

傳統(tǒng)數(shù)據(jù)庫都是以CPU為處理核心，或有部分采用GPU或FPGA做為協(xié)處理器加速數(shù)據(jù)分析任務(wù)，但其并沒有把數(shù)據(jù)庫的計(jì)算任務(wù)下放到不同的處理器去進(jìn)行適配優(yōu)化處理。其結(jié)果是在不能進(jìn)一步提升數(shù)據(jù)處理速度的同時(shí)還浪費(fèi)了不同處理器各自的數(shù)據(jù)處理優(yōu)勢(shì)，即沒有發(fā)揮不同處理器的各自所長(zhǎng)。

一個(gè)大的數(shù)據(jù)分析任務(wù)分配到計(jì)算機(jī)的內(nèi)部，會(huì)解析成為多個(gè)不同的子計(jì)算任務(wù)，這些子計(jì)算任務(wù)之間存在著不同的計(jì)算模式和關(guān)聯(lián)關(guān)系，貝格邁思可以通過這些計(jì)算模式和關(guān)聯(lián)關(guān)系進(jìn)行不同計(jì)算任務(wù)的微調(diào)度，把相應(yīng)的計(jì)算任務(wù)分別自動(dòng)適配到各自適應(yīng)的CPU、GPU、FPGA或其他各種智能計(jì)算芯片xPU上。

這就使得，原先需要等待CPU一步一步地串行完成的任務(wù)，現(xiàn)在針對(duì)現(xiàn)代CPU、GPU、FPGA或其他各種智能計(jì)算芯片xPU的不同并行數(shù)據(jù)分析能力，分解成不同的任務(wù)下放下去共同完成，將“單一處理模式”變成了“多重處理并行”，這即是所謂貝格邁思特有的自適應(yīng)異構(gòu)智能計(jì)算引擎。

區(qū)別于其他競(jìng)品公司需要開發(fā)相應(yīng)的專用系統(tǒng)來實(shí)現(xiàn)此，貝格邁思的技術(shù)領(lǐng)先之處即在于直接通過內(nèi)置的自適應(yīng)編譯引擎即可實(shí)現(xiàn)。

這樣結(jié)合諸多軟硬件技術(shù)進(jìn)步從零架構(gòu)的新一代分布式智能數(shù)據(jù)庫AiSQL即第五代數(shù)據(jù)庫，不僅速度可以領(lǐng)先國(guó)際主流內(nèi)存計(jì)算平臺(tái)Spark超百倍，還可實(shí)現(xiàn)快數(shù)據(jù)復(fù)雜業(yè)務(wù)的實(shí)時(shí)分析處理，并實(shí)現(xiàn)在線系統(tǒng)彈性擴(kuò)展、容災(zāi)備份、多副本數(shù)據(jù)一致性同步、跨數(shù)據(jù)中心數(shù)據(jù)異步同步、自動(dòng)數(shù)據(jù)遷移、高可用安全計(jì)算等新一代分布式智能數(shù)據(jù)庫所需的高效功能。

這種創(chuàng)新型的思考和落地實(shí)現(xiàn)是由以張世明博士為核心及張潼教授領(lǐng)銜的創(chuàng)新團(tuán)隊(duì)歷經(jīng)多年合作研發(fā)而成，團(tuán)隊(duì)聚集了多位海歸博士及國(guó)內(nèi)外著名企業(yè)的大數(shù)據(jù)與機(jī)器學(xué)習(xí)專家。他們熟識(shí)機(jī)器學(xué)習(xí)與人工智能應(yīng)用的全流程技術(shù)要素，在大規(guī)模機(jī)器學(xué)習(xí)和高性能分布式系統(tǒng)研發(fā)方面有著豐富的經(jīng)驗(yàn)。

五大核心技術(shù)助力應(yīng)對(duì)快數(shù)據(jù)挑戰(zhàn)

據(jù)張世明博士介紹，支撐起異構(gòu)自適應(yīng)智能計(jì)算框架的，主要是五大核心技術(shù)：壓縮可檢索、加密可查詢、原生虛擬化、內(nèi)存驅(qū)動(dòng)架構(gòu)和遠(yuǎn)程內(nèi)存訪問，以這五大核心技術(shù)為基礎(chǔ)，幫助用戶提升效率、降低風(fēng)險(xiǎn)，實(shí)時(shí)獲得更大的商業(yè)價(jià)值。

壓縮可檢索，面對(duì)較大的數(shù)據(jù)量，一般都會(huì)進(jìn)行壓縮，而傳統(tǒng)技術(shù)壓縮處理后須解壓縮后方可進(jìn)行計(jì)算，而貝格邁思則采用獨(dú)特的數(shù)據(jù)結(jié)構(gòu)，實(shí)現(xiàn)優(yōu)于普通壓縮技術(shù)十倍的高效壓縮比，實(shí)現(xiàn)最小信息存儲(chǔ)，并在高效壓縮數(shù)據(jù)上直接實(shí)現(xiàn)微妙級(jí)的實(shí)時(shí)檢索，減少延遲，節(jié)約成本的同時(shí)，更大提升數(shù)據(jù)處理效率。

加密可查詢是一樣的道理，數(shù)據(jù)要上云，就必須要保證數(shù)據(jù)安全，數(shù)據(jù)加密后往往難以運(yùn)算。貝格邁思使用最新加密可計(jì)算的安全協(xié)議，確保全程加密數(shù)據(jù)的安全計(jì)算，實(shí)現(xiàn)用戶可直接在加密數(shù)據(jù)上的高效查詢分析，保障用戶數(shù)據(jù)的安全可信計(jì)算，防范數(shù)據(jù)安全。

內(nèi)存驅(qū)動(dòng)架構(gòu)則是以內(nèi)存為中心的體系架構(gòu)，而不同于傳統(tǒng)的以CPU處理器為中心的馮·諾依曼架構(gòu)，即多個(gè)異構(gòu)處理器共享統(tǒng)一的內(nèi)存池和自適應(yīng)異構(gòu)智能計(jì)算引擎運(yùn)行環(huán)境，實(shí)現(xiàn)真正大內(nèi)存計(jì)算環(huán)境，有效防止多處理器緩存數(shù)據(jù)頻繁遷移而導(dǎo)致的井噴效應(yīng)，突破馮·諾依曼架構(gòu)的內(nèi)存墻計(jì)算瓶頸，打造基于內(nèi)存驅(qū)動(dòng)架構(gòu)的自適應(yīng)異構(gòu)智能計(jì)算一體機(jī)，滿足數(shù)據(jù)實(shí)時(shí)計(jì)算所需的強(qiáng)大算力需求。

原生虛擬化，為充分發(fā)揮新型硬件技術(shù)革新的高性能，突破操作系統(tǒng)的性能調(diào)度限制，讓數(shù)據(jù)分析引擎實(shí)例擁有專有的硬件設(shè)備資源，可以透過操作系統(tǒng)直接管理和操作這些專有的硬件設(shè)備，保證實(shí)時(shí)計(jì)算所需的硬件資源核心，同時(shí)保證不同數(shù)據(jù)分析引擎實(shí)例的安全隔離，實(shí)現(xiàn)裸機(jī)設(shè)備的輕量級(jí)實(shí)時(shí)虛擬化。

遠(yuǎn)程內(nèi)存訪問，要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的內(nèi)存實(shí)時(shí)分析，諸如實(shí)現(xiàn)PB級(jí)數(shù)據(jù)的內(nèi)存實(shí)時(shí)分析，則需成千上萬的計(jì)算機(jī)組成網(wǎng)絡(luò)集群，協(xié)同進(jìn)行分布式內(nèi)存計(jì)算方可完成，畢竟單臺(tái)計(jì)算機(jī)的內(nèi)存資源是有限的，不可能將PB級(jí)數(shù)據(jù)裝入其內(nèi)存。從而，實(shí)現(xiàn)多臺(tái)計(jì)算機(jī)間的內(nèi)存互訪成為問題的核心?；趦?nèi)存語義原語的遠(yuǎn)程內(nèi)存訪問協(xié)議，實(shí)現(xiàn)分布式內(nèi)存計(jì)算框架，是貝格邁思自適應(yīng)數(shù)據(jù)智能平臺(tái)的基礎(chǔ)。

目前，貝格邁思擁有的30多項(xiàng)核心專利都是圍繞以上五大核心技術(shù)延伸而來。張世明博士表示，這五大核心技術(shù)，單獨(dú)拎一個(gè)出來都可以做出一個(gè)千億級(jí)市值的產(chǎn)品，這也是未來貝格邁思垂直拓展的方向。

站在宏觀的角度，把握數(shù)字化、網(wǎng)絡(luò)化和智能化融合的數(shù)字經(jīng)濟(jì)發(fā)展契機(jī)，是科技創(chuàng)新與產(chǎn)業(yè)變革的必由之路；站在用戶的角度，面對(duì)瞬息萬變的市場(chǎng)競(jìng)爭(zhēng)，實(shí)時(shí)獲取數(shù)據(jù)的價(jià)值，是其立于不敗之地的關(guān)鍵。

貝格邁思將在數(shù)據(jù)智能技術(shù)創(chuàng)新賦能用戶這條道路上，繼續(xù)打磨技術(shù)，為新一代分布式智能數(shù)據(jù)平臺(tái)BigInsights提供必要的算力支撐，促進(jìn)數(shù)據(jù)智能創(chuàng)新技術(shù)在金融、醫(yī)療、環(huán)保、智慧城市、智能制造、物聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)等領(lǐng)域的創(chuàng)新應(yīng)用。