摘要:5月24日,云知聲山海大模型正式發(fā)布,交出其在AGI領(lǐng)域的第一份答卷,并進(jìn)入有序迭代階段。
5月24日,云知聲山海大模型正式發(fā)布,交出其在AGI領(lǐng)域的第一份答卷,并進(jìn)入有序迭代階段。時隔一個月,山海大模型迎來了又一次比較大的升級——各項(xiàng)性能持續(xù)優(yōu)化,且在核心能力上實(shí)現(xiàn)三大升級:通過迭代實(shí)現(xiàn)了在特定領(lǐng)域內(nèi)的專業(yè)知識積累,詩詞創(chuàng)作能力、數(shù)學(xué)計(jì)算能力實(shí)現(xiàn)突破。
技術(shù)加碼,性能持續(xù)優(yōu)化
● 吞吐效率接近理論上限60%
UniScale通過引入全新的Attention高效計(jì)算方式和相關(guān)底層算子的優(yōu)化來提高浮點(diǎn)運(yùn)算效率,另外,也進(jìn)一步優(yōu)化了訓(xùn)練框架中的通信策略,進(jìn)一步提升了多機(jī)多卡的吞吐效率。UniScale目前在多機(jī)多卡大模型訓(xùn)練計(jì)算效率接近理論上限的60%,而當(dāng)前公開的主流框架訓(xùn)練效率約45%左右,因此所提方法能夠吞吐量在原有基礎(chǔ)上提升了15個點(diǎn)。在推理部分,通過解碼策略優(yōu)化、量化和高效算子適配,相對原始推理性能翻倍,并適配了不同性能的顯卡推理部署。這意味著訓(xùn)推一體框架UniScale 具有出色的并行計(jì)算能力,能夠同時處理多個任務(wù),大大提高了模型的訓(xùn)練速度。也表明在相同的時間內(nèi),UniScale可以完成更加高效的計(jì)算任務(wù),降低推理部署成本。
● 微調(diào)速度提升15倍
UniScale通過集成QLoRA微調(diào)(Dettmers et al., 2023)技術(shù),不僅極大地減少了微調(diào)所需的硬件資源,還提高了微調(diào)速度。QLoRA是在LoRA微調(diào)(Hu et al., 2021)基礎(chǔ)上結(jié)合了4位量化、雙量化和統(tǒng)一內(nèi)存分頁技術(shù),是一種高效的模型參數(shù)微調(diào)方法,不僅可以在普通消費(fèi)級GPU上完成大規(guī)模語言模型的微調(diào),還能夠在較少的迭代次數(shù)內(nèi)快速收斂。與此同時,我們實(shí)現(xiàn)了一種多指令統(tǒng)一微調(diào)技術(shù),能夠進(jìn)一步減少模型的計(jì)算和通信開銷,加快微調(diào)的速度。我們經(jīng)過實(shí)驗(yàn)驗(yàn)證,UniScale在使用QLoRA微調(diào)和統(tǒng)一微調(diào)技術(shù)之后,微調(diào)速度提升了約15倍。
這一改進(jìn)對于微調(diào)任務(wù)非常重要,特別是當(dāng)資源有限的情況下在大規(guī)模數(shù)據(jù)集上進(jìn)行微調(diào)的場景。傳統(tǒng)的微調(diào)方法需要耗費(fèi)較長的時間來逐步調(diào)整模型參數(shù),而QLoRA微調(diào)能夠通過多種量化方法顯著減少顯存占用,大大減少了微調(diào)所需的內(nèi)存,同時性能幾乎與標(biāo)準(zhǔn)微調(diào)相當(dāng)。與此同時,微調(diào)后的模型可以直接用于模型部署,符合UniScale訓(xùn)練與推理一體化的設(shè)計(jì)理念,這項(xiàng)改進(jìn)使得UniScale成為一個非常有效的深度學(xué)習(xí)平臺,提供了更快速、高效的微調(diào)實(shí)驗(yàn)方案。
能力突破,效果加速提升
● 醫(yī)療能力超越Med-PaLM 2
山海大模型實(shí)現(xiàn)了在特定領(lǐng)域內(nèi)專業(yè)知識的快速積累,通過語料的不斷迭代升級,專業(yè)能力持續(xù)突破。以醫(yī)療領(lǐng)域?yàn)槔?,山海大模型學(xué)習(xí)了大量教材、百科等高質(zhì)量醫(yī)學(xué)文獻(xiàn),使其能夠提供更加全面、專業(yè)的醫(yī)療信息支持。在擴(kuò)展了醫(yī)療大模型的領(lǐng)域知識的同時,山海大模型仍舊保持原有的高性能、高準(zhǔn)確率等特點(diǎn)。醫(yī)療大模型的改進(jìn)為醫(yī)生們提供更強(qiáng)大的支持和指導(dǎo),以提高醫(yī)療效果。目前該模型在MedQA任務(wù)上提升到了87.1%,超越Med-PaLM 2,臨床執(zhí)業(yè)醫(yī)師資格考試提升到了523(總分600分),超過了99%的考生水平。
● 詩詞創(chuàng)作能力升級
在詩詞創(chuàng)作方面上,山海大模型不僅在預(yù)訓(xùn)練階段增加了7萬多首古詩詞數(shù)據(jù),補(bǔ)充詩詞相關(guān)的知識,在指令學(xué)習(xí)階段,也精心設(shè)計(jì)近40種不同的指令,基本覆蓋日常對詩詞數(shù)據(jù)相關(guān)知識考察的內(nèi)容,充分發(fā)掘大模型的潛力,進(jìn)一步提升創(chuàng)作能力。通過指令學(xué)習(xí)的方法,山海大模型學(xué)會了運(yùn)用類似的修辭手法和表達(dá)方式,使其創(chuàng)作效果更富詩意、更具情感溫度。不僅如此,山海大模型還能夠根據(jù)主題和情感要求進(jìn)行定制化創(chuàng)作——這一突破不僅得益于詩詞相關(guān)的指令學(xué)習(xí)數(shù)據(jù)的引入,也歸功于山海大模型自身強(qiáng)大的計(jì)算和學(xué)習(xí)能力。
● 數(shù)學(xué)能力提升
山海大模型的數(shù)學(xué)計(jì)算能力主要依賴預(yù)訓(xùn)練階段扎實(shí)、系統(tǒng)的數(shù)學(xué)理論體系和指令學(xué)習(xí)階段基于插件的具體題型的求解能力。為了進(jìn)一步提升山海大模型的數(shù)學(xué)能力,我們主要針對以下兩方面進(jìn)行優(yōu)化:
a) 我們在預(yù)訓(xùn)練階段提供人工和模型精心挑選的高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù),其中包括從小學(xué)到大學(xué)所有數(shù)學(xué)學(xué)科的教材、練習(xí)冊等,通過這些數(shù)據(jù)的學(xué)習(xí),模型就具備了系統(tǒng)的數(shù)學(xué)理論體系和解決各種數(shù)學(xué)問題的基礎(chǔ)。
b) 基于 react 思想的指令學(xué)習(xí)是大模型數(shù)學(xué)能力的必要步驟。在此階段,對每一種題型,我們給出具體的解題思路,包括 reasoning and acting,教會大模型解決各種問題的能力。解題過程中,為了解決大模型無法做精確數(shù)值計(jì)算的問題,將數(shù)值運(yùn)算移交給插件完成,插件完成數(shù)值計(jì)算或者方程求解之后,將答案返回大模型,大模型繼續(xù)問題求解,直到給出最終答案。
從5月24日正式發(fā)布以來,山海大模型始終在不斷訓(xùn)練、調(diào)優(yōu),致力通過自身不斷的迭代進(jìn)化兌現(xiàn)AI應(yīng)用價值;保持高速演進(jìn)的同時,也在探索與具體場景深度融合的更多可能。
目前,云知聲山海大模型已深入到智慧醫(yī)療、智慧教育、知識管理、智慧營銷、智能客服等具體場景中,基于山海大模型打造的場景應(yīng)用正不斷豐富、不斷拓展。
7月6日-7月8日,云知聲將攜山海大模型及其醫(yī)療、銀行、車載、客服等最新場景應(yīng)用亮相2023世界人工智能大會,歡迎大家屆時蒞臨云知聲展位參觀交流。
從能力升級到場景應(yīng)用,基于多年技術(shù)積累,云知聲正加速推進(jìn)山海大模型的迭代演變。未來山海會有怎樣的驚喜和亮點(diǎn),值得你的期待。
近期,云知聲成功助力上海市徐匯區(qū)虹梅街道司法所打造基于山海大模型的司法領(lǐng)域應(yīng)用,極大提升了司法服務(wù)的...
經(jīng)中國人力資源社會保障部、全國博士后管理委員會批準(zhǔn),近日,云知聲正式獲批博士后科研工作站。
作為國內(nèi)專業(yè)醫(yī)療AI應(yīng)用的先導(dǎo)者,云知聲攜系列醫(yī)療產(chǎn)品亮相展會,充分展示其在智慧醫(yī)療領(lǐng)域的創(chuàng)新成果,...
2月7日,云知聲智能科技股份有限公司(以下簡稱“云知聲”)與北京城建智控科技股份有限公司(以下簡稱“...
在現(xiàn)代智能家居時代,安全已不再是單一的概念,它正逐漸融入生活的每個角落,成為品質(zhì)生活的重要組成部分。
與客服通話了20分鐘才發(fā)現(xiàn)是機(jī)器人?AI可以輕輕松松生成圖片、文字?實(shí)際背后都有大模型的身影,現(xiàn)已進(jìn)...
上海,2024年 5月16日- 上海歷史博物館門前迎來一場別開生面的盛會,5月16日至19日,3rd...
本屆大會圍繞最新產(chǎn)業(yè)政策、行業(yè)發(fā)展趨勢、前沿技術(shù)應(yīng)用、數(shù)字化實(shí)踐探索等關(guān)鍵議題展開深入探討和交流,探...
國聯(lián)水產(chǎn)作為一家經(jīng)營超過20年的優(yōu)秀水產(chǎn)企業(yè),公司多年來深耕水產(chǎn)主業(yè),至今已經(jīng)是我國A股水產(chǎn)上市公司...
微步在線成立于2015年,專注于精準(zhǔn)、高效、智能的網(wǎng)絡(luò)威脅發(fā)現(xiàn)和響應(yīng),是中國新一代網(wǎng)絡(luò)安全技術(shù)創(chuàng)新型...
無論是盲盒機(jī)旁的反詐提示板、摩天輪上的宣傳橫幅,還是手持喇叭巡回宣傳的志愿者,以及玩家可以互動獲取的...
掌閱科技CTO孫凱在演講中表示,人工智能大模型的出現(xiàn),重塑了閱讀生態(tài)。公司緊抓AI機(jī)遇,積極探索和利...
項(xiàng)目高調(diào)、內(nèi)容新穎是迪拜房產(chǎn)市場享譽(yù)全球的標(biāo)簽。
投資家網(wǎng)(www.jubohaotong.com)是國內(nèi)領(lǐng)先的資本與產(chǎn)業(yè)創(chuàng)新綜合服務(wù)平臺。為活躍于中國市場的VC/PE、上市公司、創(chuàng)業(yè)企業(yè)、地方政府等提供專業(yè)的第三方信息服務(wù),包括行業(yè)媒體、智庫服務(wù)、會議服務(wù)及生態(tài)服務(wù)。長按右側(cè)二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。
2016年注冊于北京的中氫新能技術(shù)有限公司,下設(shè)位于大興的裝備制造公司、位于海淀區(qū)的技術(shù)研究院、材料...
一度無比高光的理想汽車,猝不及防遭遇重挫。
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...