特斯聯(lián)實(shí)現(xiàn)人工智能科研突破，多項(xiàng)研究成果入選CVPR、TPAMI等國(guó)際頂會(huì)頂刊

隨著京津冀、長(zhǎng)三角、粵港澳大灣區(qū)、成渝等地啟動(dòng)建設(shè)全國(guó)一體化算力網(wǎng)絡(luò)國(guó)家樞紐節(jié)點(diǎn)，“東數(shù)西算”工程全面正式啟動(dòng)，作為數(shù)據(jù)處理的核心新型基礎(chǔ)設(shè)施，人工智能、物聯(lián)網(wǎng)、云計(jì)算、區(qū)塊鏈等技術(shù)將迎來(lái)更為精細(xì)化的發(fā)展前景。近期，作為成渝地區(qū)東數(shù)西算的深度參與者，特斯聯(lián)對(duì)外公布了其計(jì)算機(jī)視覺（CV）領(lǐng)域的多個(gè)科研突破，并有8篇論文被CVPR、TPAMI等頂級(jí)國(guó)際學(xué)術(shù)會(huì)議和期刊收錄。

此次，特斯聯(lián)在 CV 領(lǐng)域的科研突破涵蓋了語(yǔ)義分割、圖像增強(qiáng)、顯著物體識(shí)別、遷移學(xué)習(xí)、行為識(shí)別，等方面。其中不少創(chuàng)新技術(shù)打破了現(xiàn)有技術(shù)上限，亦開發(fā)了數(shù)個(gè)性能更優(yōu)、識(shí)別更快、效率更高的模型，這些技術(shù)研究的應(yīng)用與推廣將會(huì)成為特斯聯(lián)賦能城市數(shù)字化、智能化的有力保障。

在機(jī)器視覺行業(yè)產(chǎn)業(yè)鏈中，如上游的光源、鏡頭、工業(yè)相機(jī)、圖像處理器、圖像采集卡等硬件，圖像處理軟件和底層算法等軟件系統(tǒng)會(huì)隨著機(jī)器視覺的迭代而快速發(fā)展，推進(jìn)整個(gè)產(chǎn)業(yè)鏈的升級(jí)。全球知名AI專家、特斯聯(lián)集團(tuán)首席科學(xué)家兼特斯聯(lián)國(guó)際總裁邵嶺博士及其團(tuán)隊(duì)在該領(lǐng)域中提出的圖像和視頻的識(shí)別和學(xué)習(xí)各算法，極大縮短了訓(xùn)練和推理時(shí)間，從圖像識(shí)別提升、識(shí)別效率提升以及解決數(shù)據(jù)標(biāo)注瓶頸三個(gè)方面，提升了整體視覺應(yīng)用效果：

1）圖像識(shí)別提升

在圖像識(shí)別方面，團(tuán)隊(duì)的技術(shù)突破主要集中在算法層面，囊括背景消除模塊、圖像特征突出等。這些可以從圖像本質(zhì)入手，豐富圖像本身信息，去除多余噪點(diǎn)，為后續(xù)圖像識(shí)別提供高清的圖像數(shù)據(jù)，是高效率識(shí)別的基礎(chǔ)。更有技術(shù)突破采用創(chuàng)新的手法，如加上聲音信息來(lái)協(xié)助識(shí)別，提高信息準(zhǔn)確度。

在被收錄于頂會(huì)CVPR的《Learning Non-target Knowledge for Few-shot Semantic Segmentation》（《學(xué)習(xí)用于小樣本語(yǔ)義分割的非目標(biāo)知識(shí)》）研究中，團(tuán)隊(duì)從挖掘和排除非目標(biāo)區(qū)域的新角度重新思考了少樣本語(yǔ)義分割，繼而提出了一個(gè)新穎的非目標(biāo)區(qū)域消除（Non-target Region Eliminating）框架，其中包含了一個(gè)背景挖掘模塊（Background Mining Module）、一個(gè)背景消除模塊（Background Eliminating Module）和一個(gè)分散注意力的目標(biāo)消除模塊（Distracting Objects Eliminating Module）以確保模型免受背景和分散注意力目標(biāo)的干擾進(jìn)而獲得準(zhǔn)確的目標(biāo)分割結(jié)果。不僅如此，該研究還提出一個(gè)原型對(duì)比學(xué)習(xí)（Prototypical Contrastive Learning）算法，通過(guò)精煉原型的嵌入特征以便更好的將目標(biāo)對(duì)象與分散注意力的對(duì)象區(qū)分開來(lái)。

采用不同模塊的目標(biāo)分割表現(xiàn)

在被收錄于TPAMI期刊的《Learning Enriched Features for Fast Image Restoration and Enhancement》（《學(xué)習(xí)用于快速圖像修復(fù)和增強(qiáng)的豐富特征》）研究中，團(tuán)隊(duì)發(fā)現(xiàn)現(xiàn)實(shí)中的相機(jī)存在諸多物理限制，尤其在復(fù)雜的照明環(huán)境，采集的圖像經(jīng)常會(huì)出現(xiàn)不同程度的退化現(xiàn)象。比如智能手機(jī)相機(jī)的光圈很窄，傳感器很小，動(dòng)態(tài)范圍也有限，因而經(jīng)常產(chǎn)生噪聲和低對(duì)比度的圖像。為此團(tuán)隊(duì)提出了一種全新架構(gòu)，其整體目標(biāo)是通過(guò)整個(gè)網(wǎng)絡(luò)維持空間精確的高分辨率表征并從低分辨率表征中接收互補(bǔ)的上下文信息。 方法的核心囊括以下關(guān)鍵元素的多尺度殘差塊：(a) 用于提取多尺度特征的并行多分辨率卷積流，（b）跨多分辨率流的信息交換，（c）用于捕獲上下文信息的非局部注意力機(jī)制，（d）基于注意力的多尺度特征聚合。 該方法學(xué)習(xí)了一組豐富的特征，即結(jié)合了來(lái)自多個(gè)尺度的上下文信息，同時(shí)保留了高分辨率的空間細(xì)節(jié)。該技術(shù)可以解決現(xiàn)實(shí)中物理相機(jī)的缺陷，提高圖片質(zhì)量，也為后續(xù)識(shí)別提供良好的載體。

采用我們所提出方法（下排右二）生成的圖像在視覺上更接近于亮度和整體對(duì)比度的地面真實(shí)情況

團(tuán)隊(duì)還就顯著目標(biāo)檢測(cè)（SOD）數(shù)據(jù)集的嚴(yán)重設(shè)計(jì)偏差問(wèn)題進(jìn)行了研究，并收集了一個(gè)全新高質(zhì)量，目前最大的實(shí)例級(jí)SOD數(shù)據(jù)集- Salient Objects in Clutter（SOC），以縮小現(xiàn)有數(shù)據(jù)集與真實(shí)場(chǎng)景之間的差距。通過(guò)對(duì)203個(gè)代表性模型的回顧，和一個(gè)線上基準(zhǔn)模型的維護(hù)，以及100個(gè)SOD模型全面的基準(zhǔn)和性能評(píng)估，實(shí)現(xiàn)對(duì)SOD發(fā)展的動(dòng)態(tài)追蹤以及更深入的理解。此外，團(tuán)隊(duì)還設(shè)計(jì)了三個(gè)數(shù)據(jù)集增強(qiáng)策略，包括標(biāo)簽平滑，隨機(jī)圖像增廣和基于自監(jiān)督學(xué)習(xí)的正則化技術(shù)以有效提高尖端模型的效果。該技術(shù)可以在復(fù)雜環(huán)境中讓目標(biāo)突出，在信息混亂的圖像或者視頻中，準(zhǔn)確抓取目標(biāo)，為識(shí)別分析提供準(zhǔn)確信息。此研究成果被收錄于TPAMI期刊中。

與實(shí)例級(jí)ILSO數(shù)據(jù)集（a）和MS-COCO數(shù)據(jù)集（c）相比，我們的SOC數(shù)據(jù)集（b&d）可標(biāo)注精細(xì)、平滑的邊界

由布景或攝像機(jī)視點(diǎn)變化引起的域偏移下的行為識(shí)別問(wèn)題也是團(tuán)隊(duì)重點(diǎn)研究的方向。在收錄于頂會(huì)CVPR中的《Audio-Adaptive Activity Recognition Across Video Domains》（《跨視頻域的音頻自適應(yīng)行為識(shí)別》）的研究中，團(tuán)隊(duì)提出了一種新穎的音頻自適應(yīng)編碼器，借助豐富的聲音信息來(lái)調(diào)整視覺特征以便模型在目標(biāo)域中學(xué)習(xí)更多的判別特征。 它通過(guò)引入一種音頻注入識(shí)別器（Audio-infused Recognizer）以進(jìn)一步消除特定域（domain-specific）的特征，并利用聲音中的域不變信息來(lái)實(shí)現(xiàn)有效的跨域跨模態(tài)的交互。此外，還引入了一個(gè)actor shift的新任務(wù)，以及相應(yīng)的數(shù)據(jù)集，以在行為外觀發(fā)生巨大變化的情況下挑戰(zhàn)該模型。該技術(shù)加入聲音參數(shù)來(lái)識(shí)別物體活動(dòng)，可以更加準(zhǔn)確識(shí)別和分析出物體的行為，在智慧城市應(yīng)用中可以有更準(zhǔn)確的分析結(jié)果。

當(dāng)同一活動(dòng)的視覺相似性在不同領(lǐng)域間難以發(fā)現(xiàn)時(shí)，我們的模型（紅色）可以使用來(lái)自聲音的額外線索來(lái)提高識(shí)別精度

基于自注意力的網(wǎng)絡(luò)在圖像描述取得了巨大成功但仍存在距離不敏感和低秩的瓶頸。為解決這一問(wèn)題，團(tuán)隊(duì)在發(fā)表于IEEE Transactions on Multimedia期刊中的《Multi-Branch Distance-Sensitive Self-Attention Network for Image Captioning》（《用于圖像描述的多分支距離敏感自注意力網(wǎng)絡(luò)》）研究中，對(duì)自注意力機(jī)制從兩個(gè)方面進(jìn)行了優(yōu)化：一個(gè)是距離敏感的自注意力方法(DSA)，通過(guò)在SA建模過(guò)程中考慮圖像中目標(biāo)之間的原始幾何距離，來(lái)提高圖像場(chǎng)景理解；另一個(gè)是多分支自注意力方法(MSA)，以打破SA中存在的低秩瓶頸，并在可忽略的額外計(jì)算成本下提高MSA的表達(dá)能力。

我們的方法（下排）和標(biāo)準(zhǔn)Transformer模型（上排）生成的注意力可視化和圖像描述示例。一些準(zhǔn)確的單詞用綠色標(biāo)記，錯(cuò)誤和不準(zhǔn)確的單詞用紅色標(biāo)記。我們的方法可得到更精確的描述。

2）識(shí)別效率提升

為提高識(shí)別效率，團(tuán)隊(duì)研究出新的算法框架以及新的采樣器，可以顯著提高識(shí)別效率，大大縮短訓(xùn)練時(shí)間。在圖像識(shí)別中，快速的識(shí)別可以提高服務(wù)質(zhì)量，減少延遲，讓人們感受更智能的交互。

團(tuán)隊(duì)發(fā)現(xiàn)大多數(shù)基于循環(huán)神經(jīng)網(wǎng)絡(luò)的視頻物體分割(RVOS)方法采用基于單幀的空間粒度建模，而視覺表征的局限性容易導(dǎo)致視覺與語(yǔ)言匹配不佳?；诖耍瑘F(tuán)隊(duì)提出一種新穎的多級(jí)表征學(xué)習(xí)方法，通過(guò)探索視頻內(nèi)容的固有結(jié)構(gòu)來(lái)提供一組視覺嵌入，從而實(shí)現(xiàn)更有效的視覺-語(yǔ)言語(yǔ)義對(duì)齊。具體來(lái)說(shuō)，它在視覺粒度方面嵌入了不同的視覺線索，包括視頻級(jí)別的多幀長(zhǎng)時(shí)信息、幀級(jí)別的幀內(nèi)空間語(yǔ)義以及對(duì)象級(jí)別的增強(qiáng)對(duì)象感知特征。其次，它還引入了動(dòng)態(tài)語(yǔ)義對(duì)齊（DSA），可以更緊湊、更有效地動(dòng)態(tài)學(xué)習(xí)和匹配具有不同粒度視覺表征的語(yǔ)言語(yǔ)義。從實(shí)驗(yàn)結(jié)果來(lái)看，該研究《Multi-Level Representation Learning with Semantic Alignment for Referring Video Object Segmentation》（《具有語(yǔ)義對(duì)齊的多級(jí)表征學(xué)習(xí)用于參考視頻對(duì)象分割》）具有較高的推理速度，也因此被頂會(huì)CVPR收錄。

在視覺研究中，團(tuán)隊(duì)發(fā)現(xiàn)業(yè)界最流行的隨機(jī)采樣方法，PK采樣器，對(duì)深度度量學(xué)習(xí)來(lái)說(shuō)信息量不足且效率不高，為此提出一種可用于大規(guī)模深度度量學(xué)習(xí)的高效的小批量采樣方法，稱為圖采樣（Graph Sampling）。該模型的思想是在每個(gè)epoch開始時(shí)為所有類別構(gòu)建最近鄰關(guān)系圖。然后，每個(gè)小批量由隨機(jī)選擇的類別和其最近鄰組成以便學(xué)習(xí)信息豐富的示例。該方法顯著提高了重新識(shí)別率，大大縮短了訓(xùn)練時(shí)間。該技術(shù)為通用技術(shù)，可用于圖像檢索、識(shí)別等。該技術(shù)主要目的是提升效率，這是在當(dāng)下高負(fù)荷多信息的智慧領(lǐng)域必不可少的技術(shù)，快速分析識(shí)別能夠在一些圖像檢索和識(shí)別應(yīng)用快速滿足用戶需求。該研究《Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification》（《基于圖采樣的深度度量學(xué)習(xí)用于可泛化的行人重識(shí)別》）同樣收錄于今年的CVPR。

3）解決圖像標(biāo)注問(wèn)題

數(shù)據(jù)標(biāo)注是一個(gè)重要的過(guò)程，傳統(tǒng)人工數(shù)據(jù)標(biāo)注費(fèi)時(shí)費(fèi)力。團(tuán)隊(duì)提出了一種新技術(shù)以更高效地解決背后的問(wèn)題。該研究被收錄于今年的CVPR中，標(biāo)題為《Category Contrast for Unsupervised Domain Adaptation in Visual Tasks》（《視覺任務(wù)中無(wú)監(jiān)督域適應(yīng)的類別對(duì)比》）。團(tuán)隊(duì)提出了一種新的類別對(duì)比技術(shù)（CaCo），該技術(shù)在無(wú)監(jiān)督域適應(yīng)(UDA)任務(wù)的實(shí)例判別之上引入了語(yǔ)義先驗(yàn)，可以有效地用于各種視覺UDA任務(wù)。該技術(shù)構(gòu)建了一個(gè)具有語(yǔ)義感知的字典，其中包含來(lái)自源域和目標(biāo)域的樣本，每個(gè)目標(biāo)樣本根據(jù)源域樣本的類別先驗(yàn)分配到一個(gè)(偽)類別標(biāo)簽，以便學(xué)習(xí)與UDA目標(biāo)完全匹配的類別區(qū)分但域不變的表征。與當(dāng)下最先進(jìn)的方法對(duì)比，簡(jiǎn)單的CaCo技術(shù)可以實(shí)現(xiàn)更優(yōu)越的性能表現(xiàn)，也可以成為現(xiàn)有UDA方法的補(bǔ)充，推廣到其他機(jī)器學(xué)習(xí)方法中去，如無(wú)監(jiān)督模型適應(yīng)，開放/部分集適應(yīng)等。該技術(shù)解決了傳統(tǒng)監(jiān)督學(xué)習(xí)需要大量人工標(biāo)注的問(wèn)題，比現(xiàn)有技術(shù)擁有更高的效率。