中國科大&云知聲聯(lián)合團隊斬獲ACMMM2024競賽5冠2亞

近日，第32屆ACM國際多媒體會議在澳大利亞墨爾本圓滿落幕。由中國科學技術(shù)大學自動化系於俊老師帶隊的中國科學技術(shù)大學與云知聲共同組建的USTC-IAT-United團隊在不同挑戰(zhàn)賽道上累計榮獲5項冠軍、2項亞軍，技術(shù)實力再獲國際頂會認可。

ACM MM（ACM International Conference on Multimedia）作為計算機圖形學與多媒體領(lǐng)域的頂級國際會議，不僅被中國計算機學會（CCF）評定為A類國際學術(shù)會議，更以其卓越的學術(shù)影響力和社會認可度而聞名。該會議攜手全球領(lǐng)先的學術(shù)機構(gòu)和知名企業(yè)，舉辦了一系列挑戰(zhàn)性賽事，成功吸引了全球眾多科研團隊和創(chuàng)新型企業(yè)的踴躍參與。

在這場全球頂尖智慧團隊間的激烈角逐中，聯(lián)合團隊表現(xiàn)出色，在多個挑戰(zhàn)賽道上奪得5項冠軍、2項亞軍，其研究成果廣泛涉及微動作分析、微表情檢測與分析、人機交互與對話、多模態(tài)群體行為分析以及視覺空間關(guān)系描述和深度偽造檢測等前沿領(lǐng)域。具體獲獎情況如下：

（1）微動作分析挑戰(zhàn) ( MAC: ACM Multimedia 2024 Micro-Action Analysis Challenge )

微動作相比于普通動作，更能展現(xiàn)人物在日常交流中的心理情緒，帶來更豐富的語義信息，對這些微動作進行精準檢測對于多模態(tài)理解至關(guān)重要。然而，微動作通常持續(xù)時間短，且多種微動作可能同時出現(xiàn)，因而檢測需要更多畫面幀的輸入來實現(xiàn)精細捕捉，這將導(dǎo)致巨大的顯存負擔和訓練代價。

為應(yīng)對這些挑戰(zhàn)，團隊提出了3D-SENet Adapter，其能夠高效聚合時空信息，實現(xiàn)端到端的在線視頻特征學習。此外，團隊發(fā)現(xiàn)結(jié)合背景信息可顯著提升對小尺度微動作的檢測效果，為此，團隊開發(fā)了交叉注意力聚合檢測頭，該模塊集成特征金字塔中的多尺度特征，顯著提升視頻幀中微動作的檢測精度。該方法相比基線模型極大提升了檢測精度，并在兩個賽道上分別取得了冠軍與亞軍的成績，并且以論文形式在 ACM MM 會議上發(fā)表了研究成果。

（2）微表情挑戰(zhàn) ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (CCS Task) )

微表情作為一種面部表情，與宏表情相對應(yīng)，通常持續(xù)時間短，強度較低。同時微表情在現(xiàn)實中有著廣泛的應(yīng)用，如醫(yī)療、刑事偵察等。MEGC挑戰(zhàn)賽的CCS (Cross-Cultural Spotting)賽道致力于選拔出通用性廣泛、穩(wěn)定性強的微表情識別方法，以推動該領(lǐng)域技術(shù)的發(fā)展與應(yīng)用。

面對CCS賽道提出的挑戰(zhàn)，團隊選擇使用基于光流的方法進行微表情識別，對每個視頻抽取其光流特征，進而通過光流特征定位微表情發(fā)生的起始時間和結(jié)束時間。在生成微表情區(qū)間之后，采用邊界校準方案，通過判斷評估邊界的變化程度來決定壓縮或延展邊界，使得產(chǎn)生的微表情區(qū)間邊界更加準確。此外，團隊采用特定的特征增強方案，主要通過LANet增強特征的表達能力和魯棒性。最終團隊在排行榜上取得了冠軍，研究成果也以論文形式于 ACM MM 會議上發(fā)表。

（3）微表情挑戰(zhàn) ( Facial Micro-Expression Grand Challenge (MEGC) 2024 (STR Task) )

在以往微表情研究中，檢測和識別任務(wù)相對分離，存在很大的局限性。因此MEGC挑戰(zhàn)賽的STR (Spot-then-Recognize)賽道提出了 “先檢測后識別”的任務(wù)來整合兩個環(huán)節(jié)，進而提升微表情分析的準確性和實用性。

針對STR賽道提出的挑戰(zhàn)，團隊整合VideoMAE V2框架、時間信息適配器(TIA)及多尺度特征融合檢測頭，以提升微表情定位與識別性能。主要采用 VideoMAE V2作為特征提取骨干網(wǎng)絡(luò)，結(jié)合TIA增強視頻特征提取能力，尤其是在處理微表情任務(wù)時。TIA通過引入時間深度卷積層，捕捉相鄰幀的局部時間上下文，豐富當前時間步的表示。同時，構(gòu)建多尺度圖像金字塔，通過分類和回歸分支組成的檢測頭，融合不同尺度的特征，使得模型能夠同時捕捉從寬泛動作到細微變化的全范圍動態(tài)，進而顯著提高微表情識別的準確性。

團隊方案在 STRS（Overall）評分中達到SOTA 的結(jié)果，并獲得冠軍，研究成果在ACM MM會議上進行發(fā)表。這一成果不僅驗證了團隊方法的有效性，也為微表情識別技術(shù)的進一步發(fā)展提供了方向。

（4） 多模態(tài)群體行為分析挑戰(zhàn) ( MultiMediate: Multi-modal Group Behaviour Analysis for Artificial Mediation )

在多人對話和人機交互領(lǐng)域，對人類的參與程度的評估至關(guān)重要。MultiMediate挑戰(zhàn)賽中的Multi-domain engagment estimation賽道中旨在解決當前人工調(diào)解者的能力受限于行為感知和分析方面的進展不足，進而推動和衡量在多領(lǐng)域參與度估計這一關(guān)鍵社會行為感知與分析任務(wù)上的進展。

為應(yīng)對這些挑戰(zhàn)，團隊深入探索Seq2seq模型在不同時間窗口下的潛力，并提出了一種雙流AI-BiLSTM模型，該模型能夠?qū)R并交互對話者特征，以實現(xiàn)更準確的參與度估計。通過從視覺(CLIP)、文本(XLM-RoBERTa)和語音(w2v-bert-2.0)中提取特征，能夠更全面地理解和預(yù)測對話者的參與度。在建模過程中，團隊參考了ALbef和VL-BERT的設(shè)計，最終選擇了基于AI-BiLSTM的建模方法。在推理時，AI-BiLSTM在多人對話場景中的Concordance Correlation Coefficient (CCC)提升了8%，相較于第二名領(lǐng)先了10%，方案在ACM MM競賽中得到了驗證，并以明顯的優(yōu)勢奪得了冠軍。不僅展示了團隊在人工智能領(lǐng)域的技術(shù)實力，也為未來的人機交互和對話系統(tǒng)的發(fā)展提供了新的可能性。

（5）深度偽造檢測挑戰(zhàn) ( 1M-Deepfakes Detection Challenge )

Deepfakes挑戰(zhàn)賽通過視聽級檢測任務(wù)，幫助區(qū)分真實視頻和深度偽造視頻，阻止深度偽造視頻在網(wǎng)絡(luò)上的傳播，保護信息的真實性和可靠性。在Deepfakes任務(wù)中，細粒度感知和跨模態(tài)交互能力的提升至關(guān)重要。

為解決Deepfakes提出的挑戰(zhàn)，團隊提出了一種創(chuàng)新的局部全局交互模塊（AV-LG模塊），顯著增強了模型的檢測性能。該模塊由局部區(qū)域內(nèi)自我注意、全局區(qū)域間自我注意和局部全局交互組成。為了消除視頻偽造檢測中傾向于將真實樣本預(yù)測為假樣本的偏差，團隊適當增加了真實樣本的誤差權(quán)重。此外，團隊發(fā)現(xiàn)理解視頻語義對于視頻偽造檢測并非必要，因此通過傅里葉變換將采樣幀轉(zhuǎn)換為頻域，進一步提高了模型性能。通過這些技術(shù)的應(yīng)用，不僅展示了團隊在視頻偽造檢測領(lǐng)域的技術(shù)實力，也為未來的Deepfakes檢測技術(shù)提供了新的可能性。最終獲得本賽道冠軍，研究成果通過論文的形式在 ACM MM 會議上呈現(xiàn)

（6）視覺空間關(guān)系描述挑戰(zhàn) ( Visual Spatial Description (VSD) Challenge )

Visual Spatial Description（VSD）挑戰(zhàn)旨在解決視覺空間語義理解領(lǐng)域的相關(guān)問題，即通過讓模型和系統(tǒng)生成準確的文本描述句子，來描述輸入圖像中兩個給定目標對象之間的空間關(guān)系，進而推動計算機視覺和自然語言處理領(lǐng)域在空間關(guān)系理解與描述方面的研究進展。這有助于人機交互場景下智能設(shè)備理解用戶意圖，提升用戶體驗。

針對VSD提出的挑戰(zhàn)，團隊應(yīng)用 Retrieval Augmented Generation (RAG)技術(shù)來指導(dǎo)多模態(tài)大型語言模型 (MLLM)完成 VSD 任務(wù)，并利用正負樣本解決幻覺問題，進一步微調(diào)MLLM以增強語義理解和整體模型效能。該方案在VSD任務(wù)中的空間關(guān)系分類和視覺語言描述任務(wù)中都表現(xiàn)出更高的準確性和更少的幻覺錯誤，取得了令人滿意的結(jié)果。同時，團隊深入研究VSD與VSRC數(shù)據(jù)樣本不平衡問題，運用樣本級加權(quán)損失和重采樣等策略，提高模型對低頻對象關(guān)系的學習能力，確保了其在復(fù)雜數(shù)據(jù)環(huán)境下能夠高效處理。這些策略為更高級的視覺空間描述任務(wù)鋪平了道路，為計算機視覺和自然語言處理領(lǐng)域的未來研究和實際實現(xiàn)提供了有價值的見解。團隊以論文形式在 ACM MM會議上發(fā)表了研究成果并取得了亞軍。

此次斬獲5冠2亞，既是云知聲與中國科學技術(shù)大學緊密合作、持續(xù)探索人工智能賽道的成果，同時也是云知聲AGI技術(shù)架構(gòu)實力的有力證明。

作為國內(nèi)AGI技術(shù)產(chǎn)業(yè)化的先行者，云知聲依托其全棧AGI技術(shù)與產(chǎn)業(yè)布局，持續(xù)推動千行百業(yè)的智慧化升級。2023年5月，云知聲發(fā)布山海大模型（UniGPT）以來，持續(xù)保持高速迭代，在 OpenCompass、SuperCLUE、MedBench、SuperBench、MMMU 等多項通用、醫(yī)療及多模態(tài)大模型權(quán)威評測中屢創(chuàng)佳績，通用能力穩(wěn)居國內(nèi)大模型第一梯隊，醫(yī)療大模型能力持續(xù)保持領(lǐng)先優(yōu)勢。以通用大模型為基座，云知聲構(gòu)建起一個覆蓋醫(yī)療、交通、座艙等多場景在內(nèi)的智能體矩陣，并逐步完成 “助手→同事→專家” 的自我演進，為智慧生活、智慧醫(yī)療、智慧交通等業(yè)務(wù)提供高效的產(chǎn)品化支撐，推動“U+X”戰(zhàn)略落實，持續(xù)踐行 “以通用人工智能(AGI)，創(chuàng)建互聯(lián)直覺的世界”的使命。

與中國科技大學的多模態(tài)技術(shù)合作，是云知聲多模態(tài)智能體演進的重要組成部分。今年8月，云知聲推出山海多模態(tài)大模型，通過整合跨模態(tài)信息，實現(xiàn)實時多模態(tài)擬人交互體驗，進一步夯實了云知聲AGI技術(shù)底座，推動山海大模型在各領(lǐng)域的廣泛應(yīng)用。

展望未來，云知聲將繼續(xù)攜手中國科學技術(shù)大學等頂尖高校，共同加強人工智能基礎(chǔ)理論探索與關(guān)鍵技術(shù)突破。我們將積極擴展AGI技術(shù)的應(yīng)用場景，為智慧物聯(lián)、智慧醫(yī)療等關(guān)鍵領(lǐng)域提供更為全面和深入的人工智能解決方案，致力通過人工智能技術(shù)，為各行各業(yè)帶來革命性進步，實現(xiàn)以AGI賦能千行百業(yè)的宏偉藍圖。