摘要:隨著大模型元宇宙熱潮日漸高漲,虛擬主播、虛擬客服等數(shù)字人已從科幻走進(jìn)現(xiàn)實。
隨著大模型元宇宙熱潮日漸高漲,虛擬主播、虛擬客服等數(shù)字人已從科幻走進(jìn)現(xiàn)實。他們的語言、動作、表情等都十分接近真人。這樣的虛擬數(shù)字人是如何打造出來的?5月19日舉行的全國首個高校大模型元宇宙科創(chuàng)大賽——第四屆“天馬杯”全國高??萍紕?chuàng)新大賽(簡稱“天馬杯”)決賽將為大家揭秘。
據(jù)大賽主辦方馬上消費金融股份有限公司(下稱“馬上消費”) 副總經(jīng)理兼首席信息官蔣寧介紹,本次大賽將賽道集中在前沿科技領(lǐng)域,以元宇宙為核心,設(shè)置了2D數(shù)字人驅(qū)動、3D數(shù)字人驅(qū)動、NLP(自然語言處理,屬于人工智能的一個子領(lǐng)域) 三個賽道。
其中,2D數(shù)字人驅(qū)動賽道的賽題為“語音驅(qū)動數(shù)字人口型生成”,3D數(shù)字人驅(qū)動賽題為“視頻驅(qū)動人臉生成”,NLP賽道賽題為“數(shù)字人播報資訊內(nèi)容生成”。在前期的預(yù)賽中,參賽團(tuán)隊圍繞這三大賽題進(jìn)行開發(fā),取得了讓數(shù)字人具備“人的行為模式”的創(chuàng)新成果。決賽中,他們將通過現(xiàn)場演示、答辯,展示這些創(chuàng)新成果。
譬如,在2D數(shù)字人驅(qū)動賽道中,主辦方提供了一系列真人錄制的音畫同步的短視頻,以及對應(yīng)的其中人臉的3DMM參數(shù)(這個參數(shù)用來表示人臉關(guān)鍵點位的空間坐標(biāo)和形變)。有賽隊基于這些數(shù)據(jù)開展建模訓(xùn)練,實現(xiàn)了通過分析語音信號中的語調(diào)、語速、情感等信息來預(yù)測說話人的面部表情。據(jù)此,可以一張圖片和通過語音生成的表情參數(shù)作為輸入,生成與輸入語音同步的說話人人臉視頻。
在3D數(shù)字人驅(qū)動賽道中,主辦方提供了一系列真人錄制的人臉短視頻,以及對應(yīng)的其中人臉的BlendShape參數(shù)(用于描述人體表面形狀變化的參數(shù))。有賽隊基于這些數(shù)據(jù),根據(jù)輸入人臉提取的關(guān)鍵點信息與基準(zhǔn)的人臉關(guān)鍵點計算差值,然后用差值加上額外計算參數(shù)輸入模型去預(yù)測人臉表情變化。據(jù)此,僅通過攝像頭就能捕捉面部表情并構(gòu)建3D人臉模型。
在NLP賽道中,主辦方提供了一系列基于真實新聞得到的素材——新聞以及與之相關(guān)的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。有賽隊基于其中的訓(xùn)練數(shù)據(jù),探索多種可行的預(yù)訓(xùn)練模型并最終選定一種模型,打造出了數(shù)字人新聞播音員。該數(shù)字人新聞播音員能夠基于關(guān)鍵新聞素材(如時間、地點、人物、事件等)生成一段通暢、易讀的資訊新聞。
蔣寧表示,隨著大模型概念火爆,各種虛擬數(shù)字人如潮水般涌現(xiàn)。而另一方面,元宇宙又對虛擬數(shù)字人的語言、動作、表情等提出了更高的要求,需要虛擬數(shù)字人像真人一樣“動起來”。在此背景下,“天馬杯”決賽設(shè)置上述三大賽道,旨在以比賽促進(jìn)數(shù)字人技術(shù)創(chuàng)新發(fā)展,探索讓數(shù)字人能真實還原真人表情、語言和動作的新方法、新路徑。
“參加本次比賽之前,我們團(tuán)隊也在研究數(shù)字人,但往往更偏重理論,實用性不大。而本次比賽和我們平時的研究有一定的相關(guān)性,有利于我們將所學(xué)理論知識與實踐相結(jié)合,提高團(tuán)隊開發(fā)數(shù)字人的技術(shù)水平?!眳①愱牬鞺STC-Qingbo賽隊隊長李弘毅說。
圖說:“天馬杯”大賽海報資料圖。馬上消費提供
為增強(qiáng)青少年金融素養(yǎng),提高風(fēng)險識別能力?!?024年普及金融知識萬里行”活動期間,馬上消費金融股份有...
針對這一嚴(yán)峻形勢,金融監(jiān)管局近日發(fā)布了《2024年金融消費者教育工作方案的通知》,并將5月15日定為...
近日,國家發(fā)展改革委、財政部、海關(guān)總署、國家稅務(wù)總局等聯(lián)合公布2023年新認(rèn)定(第30批)國家企業(yè)技...
智能客服在金融機(jī)構(gòu)服務(wù)中扮演著越來越重的角色,但“智能客服不智能”的情況,至今仍然是金融機(jī)構(gòu)和客戶之...
5月24日,國務(wù)院常務(wù)會議審議通過了《關(guān)于拓展跨境電商出口推進(jìn)海外倉建設(shè)的意見》,明確指出,發(fā)展跨境...
愛心人壽的這一舉措,為構(gòu)建全民健康保障體系貢獻(xiàn)了寶貴的樣本力量,不僅有助于進(jìn)一步推動早篩早診科學(xué)防癌...
峰會以“以科技技術(shù),帶領(lǐng)行業(yè)穩(wěn)步向前,規(guī)范行業(yè)發(fā)展”為主題,吸引了近500名來自全國各地的專家學(xué)者、...
復(fù)旦張江在泰州的生產(chǎn)基地已成功完成該藥物的工藝放大研究和試生產(chǎn),為后續(xù)的臨床研究奠定了堅實的基礎(chǔ)。
成立5年的華鼎冷鏈科技,依托國內(nèi)領(lǐng)先的大數(shù)據(jù)、物聯(lián)網(wǎng)的技術(shù)支持,已經(jīng)成為餐飲供應(yīng)鏈行業(yè)的“準(zhǔn)獨角獸”...
俞董在主題演講中分享了近年來美年健康大力推行數(shù)字化轉(zhuǎn)型與創(chuàng)新所取得的進(jìn)展與成果,并詳細(xì)闡述了美年 “...
在此情況下,舍得酒業(yè)通過不斷深化老酒戰(zhàn)略、持續(xù)深耕市場渠道、創(chuàng)新業(yè)務(wù)模式和消費價值,繼續(xù)夯實生產(chǎn)經(jīng)營...
在現(xiàn)代商業(yè)環(huán)境中,市場競爭愈發(fā)激烈,企業(yè)若想脫穎而出,必須具備清晰的品牌定位和差異化的市場策略。
投資家網(wǎng)(www.jubohaotong.com)是國內(nèi)領(lǐng)先的資本與產(chǎn)業(yè)創(chuàng)新綜合服務(wù)平臺。為活躍于中國市場的VC/PE、上市公司、創(chuàng)業(yè)企業(yè)、地方政府等提供專業(yè)的第三方信息服務(wù),包括行業(yè)媒體、智庫服務(wù)、會議服務(wù)及生態(tài)服務(wù)。長按右側(cè)二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。
2016年注冊于北京的中氫新能技術(shù)有限公司,下設(shè)位于大興的裝備制造公司、位于海淀區(qū)的技術(shù)研究院、材料...
一度無比高光的理想汽車,猝不及防遭遇重挫。
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...
2024年1月10日,由投資家網(wǎng)主辦,財經(jīng)銳眼、有時間協(xié)辦,北京微金科技有限公司承辦的“第十二屆股權(quán)...