近日，我校計(jì)算機(jī)學(xué)院2020級(jí)碩士研究生盧加文為第一作者，史金龍教授為通訊作者，在計(jì)算機(jī)儀器儀表學(xué)TOP期刊IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT上發(fā)表了題為“Depth Guidance and Intra-Domain Adaptation for Semantic Segmentation”的高水平學(xué)術(shù)論文。 

本研究為了解決基于深度學(xué)的語(yǔ)義分割模型泛化性差和數(shù)據(jù)集標(biāo)注消耗過(guò)大等問(wèn)題，提出了一種基于深度信息的無(wú)監(jiān)督領(lǐng)域自適應(yīng)語(yǔ)義分割方法，利用深度信息的輔助，提升了語(yǔ)義分割模型的性能。該方法充分利用深度與語(yǔ)義的關(guān)聯(lián)性，用深度估計(jì)輔助語(yǔ)義分割任務(wù)。該方法包含深度感知自適應(yīng)框架和目標(biāo)域內(nèi)自適應(yīng)策略，通過(guò)深度信息指導(dǎo)跨域語(yǔ)義分割。首先，深度感知自適應(yīng)框架通過(guò)捕捉深度信息和語(yǔ)義信息的內(nèi)在聯(lián)系減小不同域之間的差異；然后設(shè)計(jì)一個(gè)輕量級(jí)深度估計(jì)網(wǎng)絡(luò)來(lái)提供深度信息，通過(guò)跨任務(wù)交互策略融合深度和語(yǔ)義信息，并在深度感知空間對(duì)齊源域和目標(biāo)域的分布差距；最后提出基于深度信息的域內(nèi)自適應(yīng)策略彌合目標(biāo)域內(nèi)部的分布差異，將目標(biāo)域分為子源域和子目標(biāo)域，并縮小子源域和子目標(biāo)域分布差距。在SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任務(wù)上分別獲得了46.7% 平均交并比(Mean Intersection over Union, mIoU)和73.3% 平均交并比，實(shí)驗(yàn)表明此方法相較于同類(lèi)方法在語(yǔ)義分割和深度估計(jì)精度上均有顯著提升。

研究結(jié)果為不同計(jì)算機(jī)任務(wù)之間的相互提升等方面的研究提供了新的思路。同時(shí)，該方法無(wú)需實(shí)際圖像的語(yǔ)義標(biāo)注，大大促進(jìn)了語(yǔ)義分割模型的實(shí)際落地應(yīng)用。

論文鏈接:https://ieeexplore.ieee.org/document/10042450(the "Early Access" area on IEEEXplore)