近日，計(jì)算機(jī)學(xué)院碩導(dǎo)程科教授團(tuán)隊(duì)在行人重新識(shí)別(ReID)研究方向取得新進(jìn)展，團(tuán)隊(duì)研究成果“MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification”被模式識(shí)別與人工智能領(lǐng)域國(guó)際頂級(jí)期刊《Pattern Recognition》接受，并在線(xiàn)發(fā)表。論文第一作者為2022級(jí)碩士研究生華雪成同學(xué)，程科教授為通訊作者，江蘇科技大學(xué)為第一完成單位，江蘇科技大學(xué)涂娟娟副教授，江蘇大學(xué)陸虎副教授、河北工業(yè)大學(xué)王元全教授和江南大學(xué)王士同教授為論文共同作者。

行人重新識(shí)別(ReID) 是一種檢索攝像機(jī)拍攝的行人圖像中的人物的技術(shù)。隨著公共安全的日益重視，全天候監(jiān)控和檢索系統(tǒng)在計(jì)算機(jī)視覺(jué)領(lǐng)域引起了極大關(guān)注?，F(xiàn)有的 ReID 方法主要用于檢索 RGB-RGB 圖像之間的行人信息。但是現(xiàn)實(shí)環(huán)境是復(fù)雜多變的，除了白天外，大多數(shù)在線(xiàn)監(jiān)控場(chǎng)合都在夜間和低光照條件下。為了解決這個(gè)問(wèn)題，許多全天候監(jiān)控系統(tǒng)都采用了紅外 (IR) 攝像機(jī)來(lái)捕捉弱光環(huán)境下的場(chǎng)景。然而，紅外光的較長(zhǎng)波長(zhǎng)和散射增加會(huì)導(dǎo)致可見(jiàn)圖像中通常存在的顏色、紋理和細(xì)節(jié)信息的丟失。因此，由于跨模態(tài)差異很大，需要針對(duì)RGB和IR圖像的不同特性設(shè)計(jì)一種用于可見(jiàn)光-紅外行人檢測(cè)的模型。

為了充分挖掘RGB-IR的模態(tài)信息，研究提出了基于深度學(xué)習(xí)的多尺度語(yǔ)義關(guān)聯(lián)挖掘網(wǎng)絡(luò)MSCMNet。通過(guò)設(shè)計(jì)多尺度信息關(guān)聯(lián)挖掘塊 (MIMB) 探索融合特征的隱含語(yǔ)義關(guān)聯(lián)，并設(shè)計(jì)四流特征提取器 (QFE) 盡可能保留原始數(shù)據(jù)的不同的語(yǔ)義信息。最后提出了一種新穎的四中心三元組損失 (QCT) 來(lái)處理跨模態(tài)特征中的語(yǔ)義信息差異。大量SYSU-MM01、RegDB 和 LLCM 數(shù)據(jù)集上的實(shí)驗(yàn)表明他們提出的 MSCMNet 在 VI-RelD 任務(wù)中的表現(xiàn)優(yōu)于目前其他最先進(jìn)的方法。

《Pattern Recognition》被認(rèn)為是模式識(shí)別與人工智能領(lǐng)域的頂級(jí)國(guó)際期刊之一，創(chuàng)刊于1968年。2023年該期刊的影響因子為8.0，屬于中科院計(jì)算機(jī)科學(xué)SCI一區(qū)TOP期刊。中國(guó)自動(dòng)化學(xué)會(huì)（CAA）則將其列為A類(lèi)推薦期刊，中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）評(píng)價(jià)該期刊為“國(guó)際重要期刊，具有重要的國(guó)際學(xué)術(shù)影響力”。

論文鏈接：https://doi.org/10.1016/j.patcog.2024.111090

（撰稿：涂娟娟 初審：程鵬 二審：程珉 終審：周春燕 編輯：程鵬）