3.91倍T4實測性能提升！鯤云科技發(fā)布全球首款數(shù)據(jù)流AI芯片

2020年6月23日，鯤云科技在深圳舉行產(chǎn)品發(fā)布會，發(fā)布全球首款數(shù)據(jù)流AI芯片CAISA，定位于高性能AI推理，已完成量產(chǎn)。鯤云通過自主研發(fā)的數(shù)據(jù)流技術(shù)在芯片實測算力上實現(xiàn)了技術(shù)突破，較同類產(chǎn)品在芯片利用率上提升了最高11.6倍[已更新]。第三方測試數(shù)據(jù)顯示僅用1/3的峰值算力，CAISA芯片可以實現(xiàn)英偉達T4最高3.91倍的實測性能。鯤云科技的定制數(shù)據(jù)流技術(shù)不依靠更大的芯片面積和制程工藝，通過數(shù)據(jù)流動控制計算順序來提升實測性能，為用戶提供了更高的算力性價比。

深圳市人民政府副市長、黨組成員聶新平，福田區(qū)委副書記、區(qū)長黃偉，市科技創(chuàng)新委員會副主任鐘海、市工信局副局長徐志斌、市科協(xié)黨組成員、常務(wù)委員孫楠和福田區(qū)委常委、副區(qū)長舒毓民、原政協(xié)深圳市委員會副主席、黨組成員、深圳市源創(chuàng)力離岸創(chuàng)新中心理事長王學(xué)為等政府領(lǐng)導(dǎo)及山東產(chǎn)業(yè)技術(shù)研究院副院長雷斌，深圳市源創(chuàng)力離岸創(chuàng)新中心總裁周路明，英特爾PSG中國區(qū)總經(jīng)理、銷售總監(jiān)Tiffany Xia夏迎麗等合作伙伴出席發(fā)布會。聶新平、舒毓民同志分別為活動致辭。中國科協(xié)黨組成員、書記處書記宋軍，鯤云科技聯(lián)合創(chuàng)始人兼首席科學(xué)家、英國皇家工程院院士、美國電子電氣工程師學(xué)會（IEEE）會士、英國計算機學(xué)會（BCS）會士Wayne Luk陸永青院士，浪潮信息副總裁、浪潮AI & HPC總經(jīng)理劉軍，清華大學(xué)信息科學(xué)技術(shù)學(xué)院副院長、電子工程系主任、深鑒科技聯(lián)合創(chuàng)始人汪玉教授，戴爾科技集團全球資深副總裁、大中華區(qū)企業(yè)解決方案總經(jīng)理曹志平，鵬城實驗室高級顧問、黨委書記、清華大學(xué)計算機系教授、學(xué)位委員會主席、CCF會士楊士強，Intel Tiffany Xia夏迎麗，中國信息通信研究院云大所人工智能部主任、工信部人工智能技術(shù)和應(yīng)用評測實驗室常務(wù)副主任、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）總體組組長、南京新一代人工智能研究院院長孫明俊等嘉賓為鯤云成功實現(xiàn)全球首款數(shù)據(jù)流AI芯片量產(chǎn)送上了祝福和寄語。

超高芯片利用率，定制數(shù)據(jù)流芯片架構(gòu)完成3.0升級

此次發(fā)布的CAISA芯片采用鯤云自研的定制數(shù)據(jù)流芯片架構(gòu)CAISA 3.0，相較于上一代芯片架構(gòu)，CAISA3.0在架構(gòu)效率和實測性能方面有了大幅的提升，并在算子支持上更加通用，支持絕大多數(shù)神經(jīng)網(wǎng)絡(luò)模型快速實現(xiàn)檢測、分類和語義分割部署。CAISA3.0在多引擎支持上提供了4倍更高的并行度選擇，架構(gòu)的可拓展性大大提高，在AI芯片內(nèi)，每一個CAISA都可以同時處理AI工作負載，進一步提升了CAISA架構(gòu)的性能，在峰值算力提升6倍的同時保持了高達95.4%的芯片利用率，實測性能線性提升。同時新一代CAISA架構(gòu)對編譯器RainBuilder的支持更加友好，軟硬件協(xié)作進一步優(yōu)化，在系統(tǒng)級別上為用戶提供更好的端到端性能。

CAISA3.0架構(gòu)圖

CAISA3.0架構(gòu)繼續(xù)保持在數(shù)據(jù)流技術(shù)路線的全球領(lǐng)先地位，指令集架構(gòu)采用馮諾依曼計算方式，通過指令執(zhí)行次序控制計算順序，并通過分離數(shù)據(jù)搬運與數(shù)據(jù)計算提供計算通用性。CAISA架構(gòu)依托數(shù)據(jù)流流動次序控制計算次序，采用計算流和數(shù)據(jù)流重疊運行方式消除空閑計算單元，并采用動態(tài)配置方式保證對于人工智能算法的通用支持，突破指令集技術(shù)對于芯片算力的限制。此次升級，CAISA架構(gòu)解決了數(shù)據(jù)流架構(gòu)作為人工智能計算平臺的三大核心挑戰(zhàn)：

1.高算力性價比：在保持計算正確前提下，通過不斷壓縮每個空閑時鐘推高芯片實測性能以接近芯片物理極限，讓芯片內(nèi)的每個時鐘、每個計算單元都在執(zhí)行有效計算；

2.高架構(gòu)通用性：在保證每個算法在CAISA上運行能夠?qū)崿F(xiàn)高芯片利用率的同時，CAISA3.0架構(gòu)通用支持所有主流CNN算法；

3.高軟件易用性：通過專為CAISA定制的編譯工具鏈實現(xiàn)算法端到端自動部署，用戶無需底層數(shù)據(jù)流架構(gòu)背景知識，簡單兩步即可實現(xiàn)算法遷移和部署，降低使用門檻。

具體來講，鯤云CAISA3.0架構(gòu)的三大技術(shù)突破主要通過以下的技術(shù)方式實現(xiàn)：

1.高算力性價比：時鐘級準確的計算

CAISA3.0架構(gòu)由數(shù)據(jù)流來驅(qū)動計算過程，無指令操作，可以實現(xiàn)時鐘級準確的計算，最大限度的減少硬件計算資源的空閑時間。CAISA3.0架構(gòu)通過數(shù)據(jù)計算與數(shù)據(jù)流動的重疊，壓縮計算資源的每一個空閑時鐘；通過算力資源的動態(tài)平衡，消除流水線的性能瓶頸；通過數(shù)據(jù)流的時空映射，最大化復(fù)用芯片內(nèi)的數(shù)據(jù)流帶寬，減少對外部存儲帶寬的需求。上述設(shè)計使CNN算法的計算數(shù)據(jù)在CAISA3.0內(nèi)可以實現(xiàn)不間斷的持續(xù)運算，最高可實現(xiàn)95.4%的芯片利用率，在同等峰值算力條件下，可獲得相對于GPU 3倍以上的實測算力，從而為用戶提供更高的算力性價比。

2.高架構(gòu)通用性：流水線動態(tài)重組

CAISA3.0架構(gòu)可以通過流水線動態(tài)重組實現(xiàn)對不同深度學(xué)習(xí)算法的高性能支持。通過CAISA架構(gòu)層的數(shù)據(jù)流引擎、全局數(shù)據(jù)流網(wǎng)、全局數(shù)據(jù)流緩存，以及數(shù)據(jù)流引擎內(nèi)部的人工智能算子模塊、局部數(shù)據(jù)流網(wǎng)、局部數(shù)據(jù)流緩存的分層設(shè)計，在數(shù)據(jù)流配置器控制下，CAISA架構(gòu)中的數(shù)據(jù)流連接關(guān)系和運行狀態(tài)都可以被自動化動態(tài)配置，從而生成面向不同AI算法的高性能定制化流水線。在保證高性能的前提下，支持用戶使用基于CAISA3.0架構(gòu)的計算平臺實現(xiàn)如目標檢測、分類及語義分割等廣泛的人工智能算法應(yīng)用。

3.高軟件易用性：算法端到端自動化部署

RainBuilder架構(gòu)圖

專為CAISA3.0架構(gòu)配備的RainBuilder編譯工具鏈支持從算法到芯片的端到端自動化部署，用戶和開發(fā)者無需了解架構(gòu)的底層硬件配置，簡單兩步即可實現(xiàn)算法快速遷移和部署。RainBuilder編譯器可自動提取主流AI開發(fā)框架（TensorFlow，Caffe，Pytorch，ONNX等）中開發(fā)的深度學(xué)習(xí)算法的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)信息，并面向CAISA結(jié)構(gòu)進行優(yōu)化；工具鏈中的運行時（Runtime）和驅(qū)動（Driver）模塊負責硬件管理并為用戶提供標準的API接口，運行時可以基于精確的CAISA性能模型，實現(xiàn)算法向CAISA架構(gòu)的自動化映射，同時提供可以被高級語言直接調(diào)用的API接口；最底層的驅(qū)動可以實現(xiàn)對用戶透明的硬件控制。RainBuilder工具鏈使用簡單，部署方便，通用性強，可以讓用戶快速和低成本的部署和遷移已有算法到CAISA硬件平臺上。

首款量產(chǎn)數(shù)據(jù)流AI芯片，CAISA帶來AI芯片研發(fā)新方向

CAISA芯片

作為全球首款采用數(shù)據(jù)流技術(shù)的AI芯片，CAISA搭載了四個CAISA 3.0引擎，具有超過1.6萬個MAC（乘累加）單元，峰值性能可達10.9TOPs。該芯片采用28nm工藝，通過PCIe 3.0×4接口與主處理器通信，同時具有雙DDR通道，可為每個CAISA引擎提供超過340Gbps的帶寬。

CAISA芯片架構(gòu)圖

作為一款面向邊緣和云端推理的人工智能芯片，CAISA可實現(xiàn)最高95.4%的芯片利用率，為客戶提供更高的算力性價比。CAISA芯片具有良好的通用性，可支持所有常用AI算子，通過數(shù)據(jù)流網(wǎng)絡(luò)中算子的不同配置和組合，CAISA芯片可支持絕大多數(shù)的CNN算法。針對CAISA芯片，鯤云提供RainBuilder 3.0工具鏈，可實現(xiàn)推理模型在芯片上的端到端部署，使軟件工程師可以方便的完成CAISA芯片在AI應(yīng)用系統(tǒng)中的集成。

鯤云科技創(chuàng)始人牛昕宇發(fā)布全球首款數(shù)據(jù)流AI芯片

高算力性價比的AI計算平臺星空加速卡系列產(chǎn)品發(fā)布

星空加速卡系列產(chǎn)品圖

發(fā)布會上，鯤云科技創(chuàng)始人和CEO牛昕宇博士還發(fā)布了基于CAISA芯片的星空系列邊緣和數(shù)據(jù)中心計算平臺，X3加速卡和X9加速卡，并公布了由人工智能產(chǎn)業(yè)技術(shù)聯(lián)盟（AIIA）測試的包括ResNet-50, YOLO v3等在內(nèi)的主流深度學(xué)習(xí)網(wǎng)絡(luò)的實測性能。

星空X3加速卡發(fā)布

星空X3加速卡是搭載單顆CAISA 芯片的數(shù)據(jù)流架構(gòu)深度學(xué)習(xí)推斷計算平臺，為工業(yè)級半高半長單槽規(guī)格的PCIe板卡。得益于其輕量化的規(guī)格特點，X3加速卡可以與不同類型的計算機設(shè)備進行適配，包括個人電腦、工業(yè)計算機、網(wǎng)絡(luò)視頻錄像機、工作站、服務(wù)器等，滿足邊緣和高性能場景中的AI計算需求。相較于英偉達邊緣端旗艦產(chǎn)品Xavier，X3可實現(xiàn)1.48-4.12倍的實測性能提升。

*模型參考：https://github.com/pushyami/yolov3-caffe/blob/master/deploy.prototxt

X3 vs Xavier 芯片利用率對比圖

X3 vs Xavier 性能對比圖

X3 vs Xavier 延時對比圖

星空X9加速卡發(fā)布

星空X9加速卡為搭載4顆CAISA 芯片的深度學(xué)習(xí)推斷板卡，峰值性能43.6TOPS，主要滿足高性能場景下的AI計算需求。同英偉達旗艦產(chǎn)品T4相對，X9在ResNet-50, YOLO v3等模型上的芯片利用率提升2.84-11.64倍。在實測性能方面，X9在ResNet50可達5240FPS，與T4性能接近，在YOLO v3、UNet Industrial等檢測分割網(wǎng)絡(luò)，實測性能相較T4有1.83-3.91倍性能提升。在達到最優(yōu)實測性能下，X9處理延時相比于T4降低1.83-32倍。實測性能以及處理延時的大幅領(lǐng)先，讓數(shù)據(jù)流架構(gòu)為AI芯片的發(fā)展提供了提升峰值性能之外的另一條技術(shù)路線。

CAISA X9T4X9 vs T4

模型名稱網(wǎng)絡(luò)來源數(shù)據(jù)集吞吐（batch=16，F(xiàn)PS）延時（batch=16, ms）芯片利用率模型名稱網(wǎng)絡(luò)來源數(shù)據(jù)集吞吐（batch=128，F(xiàn)PS）延時（batch=128, ms）芯片利用率芯片利用率延時降低吞吐率

*模型參考：