ISNet：紅外小目标探測的形狀問題
——從分割的角度完成小目标紅外檢測
紅外圖像：
紅外小目标使用紅外熱成像技術，使得紅外目标檢測能夠全天候工作，可視距離遠，抗幹擾能力強。當像素距離較遠時，目标所占比例小、亮度低，呈現弱小目标。紅外圖像中，弱小目标所占像素非常少，特征不明顯、容易被雜波、熱源等噪聲幹擾。
文章目錄
- ISNet：紅外小目标探測的形狀問題
- 貢獻
- 摘要
- 介紹
- 設計思路：
- 相關工作
- 1跨層特征融合
- 2 IRSTD的數據集
- 方法
- 1總體架構
- 2 TFD邊緣塊
- 3 雙向注意力聚合（TOAA）塊
- 4 ISNet
- 5 損失函數
- 實驗
- 評估指标
- 實施細節
- 消融實驗
貢獻
- 提出一個新的想法在IRSTD應對的挑戰,即：結合目标形狀重建到紅外小目标的檢測。（分割）
- 設計兩個關鍵組件命名TFD-inspired邊緣塊（計算分割的目标邊緣）和TOAA塊（注意力機制）有效地提取邊緣特征和總從嘈雜的橫向校正功能,低對比度和可控矽紅外圖像。
- 建立一個新的大的基準稱爲IRSTD-1k促進IRSTD領域的研究,它由1000年的手工标注真實的圖像與各種目标的形狀、大小不同的目标,和豐富的雜波背景的不同場景。
二階泰勒有限差分
有限差分法以變量離散取值後對應的函數值來近似微分方程中獨立變量的連續取值。
摘要
紅外小目标檢測是指從模糊背景中提取弱小目标。紅外目标由于信噪比低、對比度低，容易淹沒在強噪聲和雜波背景中。本文提出了一種新的紅外形狀網絡（ISNet），其中設計了泰勒有限差分（TFD）啓發的邊緣塊和雙向注意力聚集（TOAA）塊來解決這一問題。TFD啓發的邊緣塊從不同層次聚合和增強綜合邊緣信息，以提高目标與背景的對比度，同時也爲數學解釋的形狀信息提取奠定基礎。TOAA模塊利用注意機制計算目标行、列方向的低層信息，并與高層信息融合，實現目标形狀特征的捕獲和噪聲抑制。
兩個新的組件，即TOAA雙向注意力聚合塊和TFD螺旋邊緣塊，前者促進跨層次特征融合，以增強高級特征的形狀表示能力，而後者提取有用的邊緣特征，以幫助預測具有精确形狀的精确目标掩模。
介紹
紅外小目标具有以下特點:1)暗淡:紅外圖像背景中有大量的噪聲和雜波，目标容易淹沒在背景中，導緻對比度低，信雜比(SCR)低。2)小:由于相機與物體的距離較長，紅外目标在圖像中通常隻占大約1 - 10個像素。3)形狀變化:根據不同的目标類型，目标的形狀和大小在不同的場景和情況下是不同的。
目前面臨的問題：
- 基于濾波的top-hat filter、max-median/max-mean filter等方法隻能抑制均勻背景雜波，而不能抑制複雜背景噪聲，虛警率(誤報率)高，性能不穩定。
- 基于HVS的方法，基于譜殘差的方法不能有效抑制背景中的雜波。
- 基于局部對比度的方法隻适用于高對比度目标，而不适用于昏暗目标。
- 基于低秩表示的方法可以适應低SCR紅外圖像，但在複雜背景下的小目标和形狀變化的圖像上仍然存在較高的虛警率。
1、準（正）确率 accuracy
反映對樣本判斷正确的能力，即能否将樣本判斷正确 acc=(TP+TN)P+N 缺陷：在負樣本占大多數情況下，不能單純追求準确率（因爲如果将全部判斷爲負樣本，這種情況下準确率是非常高的）。
2.精确率 precision
反映正确預測正樣本進度的能力，即預測的正樣本中有多少是真實的樣本 precision=TP/（TP+FP） 缺陷：如果單純追求精确率，會使得模型或分類器少預測爲正樣本，這樣FP會比較低，進而提高了precision
3.召回率recall ——真陽率、命中率
正樣本被預測爲正樣本占總的正樣本的比例。 recall=TPR=TP（TP+FN） 缺陷在于：如果全部預測爲正樣本，那FN會比較低，導緻召回率會很高.
4.虛警率falsealarm——誤報率、假陽率、誤檢率
減少負樣本預測爲正樣本——負樣本被預測爲正樣本占總的負樣本的比例。值越小，性能越好。 falsealarm=FP/(FP+TN)
5.漏報率 missrate —— 漏警率、漏檢率
減少正樣本預測爲負樣本——正樣本被預測爲負樣本占總正樣本的比例。值越小，性能越好。 missrate=FNR=FN/(TP+FN)
設計思路：
設計了一種新的紅外形狀網絡（ISNet），該網絡具有IRSTD（紅外小目标探測）的兩個關鍵組件。首先，我們設計了一個受泰勒有限差分（TFD）啓發的邊緣塊，通過從神經常微分方程（neural ODE）區域汲取靈感來聚合邊緣特征，其中ODE被解釋爲二階泰勒有限差方程。然後，我們設計了一個雙向注意力聚合（TOAA）塊，通過從行和列方向提取低級特征并将其與高級特征集成來提取跨級别特征。之後，将交叉級特征饋送到受TFD啓發的邊緣塊，以重建目标邊緣。通過在序列中堆疊多個受TFD啓發的邊緣塊和TOAA塊，還可以捕獲目标的長程上下文信息。此外，我們還構建了一個新的基準，由1000幅不同目标形狀、不同目标尺寸和豐富雜波背景的逼真圖像組成，并帶有精确的像素級注釋，稱爲IRSTD-1k。在流行的NUAA-SIRST數據集和IRSTD-1k上的實驗結果表明，所提出的ISNet在虛警率、概率檢測率、交集對并集（IoU）比率和歸一化交集對并并集（nIoU）比率方面優于最先進的（SOTA）IRSTD方法。
相關工作
可以檢測輪廓清晰的小型紅外目标，這有利于許多後續任務，例如識别目标類型。
1跨層特征融合
設計了一個ACMNet和ALCNet來從不同的層提取上下文特征。然而，紅外小目标通常很暗，形狀各異，很難從多個特征層次提取和融合有用的形狀特征，其中深層可能具有清晰的語義，但缺乏紅外目标的精細細節。與上述方法相反，我們設計了一個雙向注意力聚合塊，該塊可以合并到U-Net結構中，以有效地聚合來自不同級别的特征。
2 IRSTD的數據集
MFIRST中的大多數圖像都是合成的，而NUAA-SIRST中隻有有限數量的圖像。其次，這兩個數據集都不太關注目标形狀的注釋，這可以提供信息性的監督信号，并且對許多下遊任務很重要。在本文中，我們通過收集1000幅不同目标的逼真圖像，并用精确的像素級掩模對其進行注釋，建立了一個名爲IRSTD-1k的新數據集。
方法
1總體架構
2 TFD邊緣塊
基于二階泰勒有限差分方程設計了一種新的受TFD啓發的邊緣塊，該邊緣塊能夠聚合不同級别的邊緣信息，并有助于獲得精細的目标邊緣。
二階泰勒有限差分：
門控卷積可以被認爲是一種部分可學習的卷積，其中使用軟門控機制來更好地學習目标的邊緣信息，同時抑制背景信息。ugate的輸入是uj+1和來自U-Net的相應特征（表示爲p（x））的總和，例如圖1中的x4、x7和x10。
門控卷積：
這裏的I是特征圖，σ 是sigmoid()函數，ϕ是激活函數，可以是ReLU。實際就是對I分别做兩次卷積，然後其中一個卷積用sigmoid()函數，将其值全部限制在0-1之間，然後與另外一個卷積得到的特征圖進行逐像素的相乘。
3 雙向注意力聚合（TOAA）塊
由于低級特征通常包含目标的精細細節，而這些細節在高級特征中是不存在的.
T OAA（·）表示TOAA塊學習的映射函數。alow和ahigh分别表示U-Net編碼器和解碼器的低級和高級特征。arow和acolumn是在行和列方向上的注意特征。
S（·）表示S形函數。Fb（·）代表瓶頸結構，包括兩個1×1卷積層來約束高頻噪聲。瓶頸結構類似于非負矩陣分解（NMF-矩陣分解是指将一個矩陣分解成兩個或者多個矩陣的乘積。）的作用，它可以在濾除冗餘高頻噪聲的同時保留有用的特征。Fr表示在行方向上的1×k可變形卷積，而Fc表示列方向上的k×1可變形卷積。TOAA塊中的這種雙向注意力機制促進了從兩個方向的低級特征中提取形狀信息，并相應地指導高級特征的細化。将TOAA塊插入U-Net解碼器以執行跨級别特征融合。
4 ISNet
首先，輸入紅外圖像，由編碼器中的幹塊處理，該幹塊由卷積層和最大池化層組成，每個層的步長爲2，以對圖像進行下采樣。輸出x2定義爲：
然後，我們通過兩個殘差塊進行非線性變換，以獲得具有較少噪聲和雜波的特征x3和x4。
對于解碼器，我們在x4上以2的步長執行反卷積，使圖像大小加倍，并獲得高級特征x5。然後，我們通過TOAA塊将x5和具有相同大小的低級别特征x3融合以獲得細化的特征x6。
類似地，我們将TOAA塊應用于低級特征x2和高級特征x8以獲得x9，
在底部路徑上，通過對輸入圖像應用Sobel算子獲得的粗略邊緣x11與來自U-Net編碼器的特征x4一起被饋送到TFD螺旋邊緣塊中以提取邊緣特征。類似地，使用兩個額外的這樣的塊來利用從U-Net解碼器中的TOAA塊獲得的高級特征進一步細化邊緣特征。最後，将邊緣特征輸入到卷積層中，以獲得精細的邊緣預測。它還用于生成注意力以細化U-Net解碼器的輸出特征，分割頭進一步使用該輸出特征來預測最終目标掩碼。
5 損失函數
Dice Loss：骰子損失是一種常用的衡量标準，用于評估掩模預測和地面實況之間的差異，定義爲：dice loss 對正負樣本嚴重不平衡的場景有着不錯的性能正負樣本不平衡的情況就是前景占比較小。
Edge Loss：邊緣損失是二進制交叉熵（BCE）損失（對輸出向量的每個元素單獨使用交叉熵損失函數）也用于測量預測掩碼和地面實況之間的差異。我們利用Dice損失LDice和BCE損失LBCE來監督邊緣預測：
其中λ是用于平衡兩種損失的超參數，并根據經驗設置爲10。最終的訓練目标是LEdge和骰子在掩碼預測上的損失的組合：
實驗
NUAA-SIRST包含427幅紅外圖像，而IRSTD-1k包含1000幅紅外圖像。對于每個數據集，我們以50:30:20的比例将其分爲訓練集、驗證集和測試集。
評估指标
并集上的交集（IoU）：IoU定義爲：（其中Ai和Au分别表示相交區域和并集區域的大小）
并集上的歸一化交集（nIoU）：nIoU是IoU的歸一化
實施細節
采用AdaGrad作爲優化器，學習率爲0.04。訓練過程總共持續500個時期，重量衰減爲10−4，批量大小爲8。
消融實驗
