潞晨科技完成數(shù)億元A輪融資

2023-05-22 15:29:17 來(lái)源：藍(lán)馳創(chuàng)投作者：　

摘要：近日，潞晨科技宣布完成數(shù)億元的A輪融資。

近日，潞晨科技宣布完成數(shù)億元的A輪融資。本輪融資是潞晨科技成立18個(gè)月內(nèi)完成的第三輪融資，此次融資資金將主要用于團(tuán)隊(duì)擴(kuò)張和業(yè)務(wù)拓展。

藍(lán)馳創(chuàng)投是潞晨科技的天使輪領(lǐng)投方。

眾所周知，如今生成式AI的“涌現(xiàn)”能力來(lái)自于底層大模型的成熟，但訓(xùn)練大模型需要的算力、網(wǎng)絡(luò)、數(shù)據(jù)成本非尋常公司能承受。而潞晨科技希望為這一難題提供解法。

潞晨科技成立于2021年，主要業(yè)務(wù)是通過(guò)打造分布式AI開發(fā)和部署平臺(tái)，幫助企業(yè)降低大模型的落地成本，提升訓(xùn)練、推理效率。公司創(chuàng)始人尤洋此前在伯克利、新加坡國(guó)立大學(xué)均從事分布式計(jì)算、機(jī)器學(xué)習(xí)、高性能計(jì)算相關(guān)研究，曾創(chuàng)造ImageNet以及BERT訓(xùn)練速度的世界紀(jì)錄。而在2021年左右，他更加篤信大模型的趨勢(shì)，所以在當(dāng)年創(chuàng)立潞晨科技，希望降低大模型的落地門檻。

潞晨科技當(dāng)前的產(chǎn)品包括開源高效深度學(xué)習(xí)系統(tǒng)Colossal-AI和對(duì)應(yīng)的企業(yè)版PaaS平臺(tái)。平臺(tái)主要由異構(gòu)內(nèi)存管理系統(tǒng)、高效N維并行系統(tǒng)、低延時(shí)推理系統(tǒng)組成，整體希望幫客戶達(dá)成最小化模型部署成本、最大化計(jì)算效率的效果。

針對(duì)內(nèi)存管理，尤洋表示，模型參數(shù)、層數(shù)越大，計(jì)算量相應(yīng)也越大。GPT3的1750億參數(shù)，可能需要占據(jù)800G內(nèi)存。再加上訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)還需要存梯度、優(yōu)化器狀態(tài)，“GPT3在什么都沒(méi)干的情況下，就要消耗3200G內(nèi)存?！庇妊笈e例。再加上內(nèi)存資源其實(shí)較為稀缺，所以科學(xué)管理內(nèi)存資源在訓(xùn)練大模型的場(chǎng)景下變得異常重要。當(dāng)GPU內(nèi)存放不下這些數(shù)據(jù)，還需要把部分?jǐn)?shù)據(jù)遷移到CPU、NVMe硬盤上。

尤洋表示，管理GPU、CPU、NVMe硬盤被稱為異構(gòu)管理。過(guò)去，異構(gòu)管理主要延續(xù)靜態(tài)思路，一開始就預(yù)估好參數(shù)、梯度、優(yōu)化器等所需的資源。在尤洋看來(lái)，這種方式由于比較固化，沒(méi)辦法隨著實(shí)際訓(xùn)練過(guò)程調(diào)配，很可能存在浪費(fèi)資源。但潞晨采取的動(dòng)態(tài)管理方式，可以更加靈活的平衡資源，“我們希望數(shù)據(jù)都能放到GPU里。但是如果GPU放不下了就放CPU里，CPU放不下就放NVMe里，但同時(shí)我們需要最小化CPU、GPU、NVMe之間的數(shù)據(jù)移動(dòng)，這是最重要的?！庇妊蟊硎?，潞晨的異構(gòu)內(nèi)存管理系統(tǒng)可以幫助達(dá)成這一目標(biāo)。

另一方面，企業(yè)如今訓(xùn)練大模型，常基于成百上千張GPU卡完成。這是因?yàn)?，理論上，卡越多需要的?xùn)練時(shí)間越少，大模型的落地也更具效率。但實(shí)際情況中，卡越多意味著承載計(jì)算功能的機(jī)器越多，而在最終匯總各機(jī)器結(jié)果時(shí)，通信又會(huì)造成新的效率損耗。

針對(duì)這一痛點(diǎn)，潞晨打造了高效N維并行系統(tǒng)。尤洋表示，在這一系統(tǒng)中公司采用了高維張量并行等方式提升效率。尤洋表示，這背后的原理主要是用二維的方式設(shè)計(jì)張量并行。張量并行可以讓計(jì)算任務(wù)被分解后同步進(jìn)行。二維切片的方式，則讓每個(gè)機(jī)器只需要和同行或者同列的機(jī)器打交道，不需要和所有機(jī)器打交道?！凹偃缥覀円?萬(wàn)個(gè)機(jī)器計(jì)算、傳統(tǒng)方法（一維）一個(gè)機(jī)器需要跟9999個(gè)剩下機(jī)器打交道，我們只需要和99個(gè)機(jī)器打交道就可以?！彼f(shuō)。

第三是低延時(shí)推理系統(tǒng)，作用是減少模型推理速度慢帶來(lái)的延時(shí)感。尤洋表示，解決這一問(wèn)題，整體的部署方式和模型本身的優(yōu)化都很重要。在優(yōu)化方面，潞晨的內(nèi)存管理、張量并行技術(shù)，以及剪枝蒸餾等方案均能發(fā)揮作用。

可以看出，異構(gòu)內(nèi)存管理系統(tǒng)、高效N維并行系統(tǒng)主要在訓(xùn)練步驟中發(fā)揮效力，低延時(shí)推理系統(tǒng)則提升推理部分的速度。若再細(xì)分，異構(gòu)內(nèi)存管理系統(tǒng)更能幫助客戶節(jié)省資源成本，高效N維并行系統(tǒng)更能提升計(jì)算速度。尤洋表示，目前這三大系統(tǒng)均匯聚在公司的PaaS平臺(tái)中，開源版本Colossal-AI目前也已獲得約3萬(wàn)顆GitHub星星。在具體服務(wù)方式上，尤洋表示，目前客戶可以通過(guò)潞晨的PaaS平臺(tái)直接訓(xùn)練自己的模型，潞晨也可以幫助客戶訓(xùn)練模型。據(jù)介紹，目前潞晨的方案已在自動(dòng)駕駛、云計(jì)算、零售、醫(yī)藥、芯片、金融等行業(yè)落地。

在2023年的整體規(guī)劃上，尤洋說(shuō)到，今年以來(lái)公司的業(yè)務(wù)量隨著各行業(yè)客戶的模型訓(xùn)練需求激增，預(yù)計(jì)收入整體相比去年會(huì)增長(zhǎng)3-5倍。據(jù)了解，本輪融資后潞晨將加速擴(kuò)張，并希望吸引招募更多的MLOps、AI大模型、AI框架等領(lǐng)域優(yōu)秀人才加入，以更好服務(wù)客戶。

上一篇： 賣掉“親兒子”，順豐敗了！
下一篇： 裁員50%！中國(guó)最神奇的網(wǎng)站不再神奇？

潞晨科技完成近億元A+輪融資

潞晨科技

近日，潞晨科技完成近億元A+輪融資，本輪投資由某世界500強(qiáng)科技巨頭領(lǐng)投，同時(shí)大灣區(qū)基金和新加坡電信...

2023-11-14

潞晨科技完成600萬(wàn)美元種子及天使輪融資

潞晨科技

近日，潞晨科技宣布完成600萬(wàn)美元種子及天使輪融資，藍(lán)馳創(chuàng)投領(lǐng)投天使輪，創(chuàng)新工場(chǎng)、真格基金聯(lián)合領(lǐng)投種...

2022-09-01

精彩閱讀原創(chuàng)資訊投資人物專欄

2024年百度云智大會(huì)定檔9月25日，活動(dòng)亮點(diǎn)搶先看

峰會(huì)2024百度云智大會(huì)

過(guò)去8年，百度云智大會(huì)作為科技行業(yè)的風(fēng)向標(biāo)，為全球創(chuàng)新者提供了一個(gè)分享云計(jì)算、前沿AI技術(shù)、探討未來(lái)...

2024-08-20

四川元景達(dá)與北京喬源鳴品銷戰(zhàn)略合作簽約儀式圓滿舉行

大消費(fèi)元景達(dá)

接下來(lái),雙方將全面深化新興渠道品銷模式合作,同時(shí)圍繞元景達(dá)食品戰(zhàn)略版圖和供應(yīng)鏈關(guān)鍵節(jié)點(diǎn)進(jìn)行更多元化的...

2024-08-20

“藥”你健康，宣肺敗毒助您解決夏末初秋呼吸道疾病小插曲

醫(yī)療健康步長(zhǎng)宣肺敗毒顆粒

今天，大家一起來(lái)了解一下夏季呼吸道疾病的誘發(fā)原因、防治策略、常用藥品。

2024-08-20

髓瘤專家Kenneth C. Anderson和ShajiKumar加入原啟生物

人物原啟生物

兩位在多發(fā)性骨髓瘤領(lǐng)域享有崇高聲譽(yù)的專家加入，將進(jìn)一步強(qiáng)化原啟生物在惡性腫瘤，尤其在多發(fā)性骨髓瘤（M...

2024-08-20

陽(yáng)或沒(méi)陽(yáng)，選宣肺敗毒，“手拿把掐”各種呼吸道感染癥狀

醫(yī)療健康步長(zhǎng)宣肺敗毒顆粒

有別于傳統(tǒng)的中藥顆粒劑，在生產(chǎn)過(guò)程中，步長(zhǎng)宣肺敗毒顆粒嚴(yán)格遵循熬制中藥湯劑的標(biāo)準(zhǔn)，并結(jié)合現(xiàn)代顆粒劑工...

2024-08-20

愛(ài)心人壽持續(xù)探索健康險(xiǎn)精細(xì)化產(chǎn)品防癌守護(hù)先人一步

大消費(fèi)愛(ài)心人壽

“我們更愿意看到讓客戶少患病、少患重大疾病，讓人們的生命更長(zhǎng)、質(zhì)量更高。”張延苓女士表示，未來(lái)，愛(ài)心...

2024-08-20

如何應(yīng)對(duì)退休后健康欠佳的生活？保險(xiǎn)買哪家好？香港保險(xiǎn)宏利有答案

金融科技宏利

如今全球預(yù)期壽命越來(lái)越長(zhǎng)，但人們的預(yù)期健康壽命卻縮短了。

2024-08-19

羊小咩享花卡購(gòu)物消費(fèi)額度怎么變現(xiàn)？揭秘秒到賬方法，下單5分鐘回款

金融科技羊小咩

我們需要了解羊小咩平臺(tái)的基本運(yùn)作原理。

2024-08-19

中國(guó)和平發(fā)展大國(guó)戰(zhàn)略之 “中華文化的偉大復(fù)興”

文化傳媒中華文化

中國(guó)式現(xiàn)代化是中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)的社會(huì)主義現(xiàn)代化。

2024-08-19

原創(chuàng)

豪美新材發(fā)布2024年半年報(bào)，募投汽車輕量化項(xiàng)目已完成投產(chǎn)

上市公司豪美新材

8月19日晚，豪美新材（002988.SZ）發(fā)布半年度財(cái)報(bào)，2024H1公司實(shí)現(xiàn)營(yíng)業(yè)總收入31.21...

2024-08-19

投資家網(wǎng)（www.jubohaotong.com）是國(guó)內(nèi)領(lǐng)先的資本與產(chǎn)業(yè)創(chuàng)新綜合服務(wù)平臺(tái)。為活躍于中國(guó)市場(chǎng)的VC/PE、上市公司、創(chuàng)業(yè)企業(yè)、地方政府等提供專業(yè)的第三方信息服務(wù)，包括行業(yè)媒體、智庫(kù)服務(wù)、會(huì)議服務(wù)及生態(tài)服務(wù)。長(zhǎng)按右側(cè)二維碼添加"投資哥"可與小編深入交流，并可加入微信群參與官方活動(dòng)，趕快行動(dòng)吧。