視覺相機(jī)和紅外熱成像在計(jì)算機(jī)視覺應(yīng)用中既有優(yōu)點(diǎn)也有缺點(diǎn)。由于不同技術(shù)都擁有局限性，并且通常不會(huì)同時(shí)發(fā)生，因此組合這些不同類型的圖像可能會(huì)有所幫助。在紅外熱圖像中，很難將部分被遮擋的相同溫度的人或物體分開，因?yàn)樗鼈兙哂邢嗤南袼貜?qiáng)度。在這種情況下，包括深度信息或顏色邊緣才可以幫助消除歧義。

紅外熱成像儀最常見的組合是熱成像和視覺成像。這是由于視覺相機(jī)的低價(jià)格和眾所周知的特性，以及隨之而來的隨溫度增加顏色的優(yōu)點(diǎn)。主要的挑戰(zhàn)是如何對(duì)齊和融合不同的圖像模式。不同光譜中的亮度水平之間不一定存在任何關(guān)系，因此許多相互信息對(duì)齊的方法并不適用。通常，手動(dòng)選擇對(duì)應(yīng)點(diǎn)以計(jì)算平面單應(yīng)性，然后使圖像之一變形。目前有依賴邊緣方向之間相關(guān)性的自動(dòng)對(duì)齊技術(shù)，和一種根據(jù)自動(dòng)檢測(cè)的關(guān)鍵點(diǎn)計(jì)算單應(yīng)性的方法。

用于幾何校準(zhǔn)，鏡頭畸變校正和紅外熱成像對(duì)準(zhǔn)的標(biāo)準(zhǔn)棋盤方法依賴于色差，并且未經(jīng)任何更改就不能用于熱像儀。當(dāng)用泛光燈加熱電路板時(shí)，顏色發(fā)射率的差異將導(dǎo)致紅外熱圖像的強(qiáng)度差異。然而，通過構(gòu)造兩種不同材料的棋盤可以獲得更清晰的電路板圖案，其熱發(fā)射率和溫度差異很大。這種方法也適用于在不同基材之前使用帶有銑削方格圖案的銅板，以及在塑料板之前使用金屬線的方法。當(dāng)這些特殊的棋盤被熱風(fēng)槍，吹風(fēng)機(jī)或類似設(shè)備加熱時(shí)，由于材料的發(fā)射率不同，在紅外熱圖像中將看到清晰的棋盤圖案。同時(shí)，由于色差，它在視覺圖像中也是可見的。

圖為人體測(cè)溫紅外熱像圖

融合可以在不同級(jí)別上進(jìn)行，通常描述為像素級(jí)別，特征級(jí)別或決策級(jí)別。在像素級(jí)融合中，需要對(duì)圖像進(jìn)行空間配準(zhǔn)，以便所有圖像的相同像素位置對(duì)應(yīng)于現(xiàn)實(shí)世界中的相同位置。然后使用融合算法逐個(gè)像素地合并圖像。使用特征級(jí)融合，可以在所有圖像中單獨(dú)找到特征，然后融合到聯(lián)合特征集中。決策級(jí)融合遵循單個(gè)處理，直到完成對(duì)觀察到的場(chǎng)景的評(píng)估為止。融合級(jí)別的選擇將取決于應(yīng)用。融合可見視頻和紅外熱成像視頻的方法，是將兩個(gè)圖像對(duì)齊并使用帶有熱量信息的疊加圖像進(jìn)行組合。一種稱為通用融合模型（像素級(jí)別），另一種稱為組合模塊（特征級(jí)別）。組合模塊經(jīng)過六個(gè)序列測(cè)試，具有最佳性能，提出了Curvelet和小波變換的組合，以及用于融合視覺和紅外熱圖像的離散小波包變換方法。使用自適應(yīng)加權(quán)方法，在融合之前能增強(qiáng)每種模態(tài)中的非自然物體。另一種方法是將顏色和熱信息同時(shí)保留為新的“紅綠藍(lán)熱”視頻格式

紅外熱成像儀的空間分辨率仍然很低，而可獲得最佳分辨率的價(jià)格卻很高。與視覺攝像機(jī)結(jié)合使用時(shí)，使用具有低空間分辨率的熱傳感器仍可以改善監(jiān)視效果。通過融合視覺和熱學(xué)視頻，可以構(gòu)建紅外熱圖像的超分辨率。提出原型使用三個(gè)攝像機(jī)來組合可見光，NIR和LWIR波段。視覺系統(tǒng)以外的其他傳感器也可以與融合系統(tǒng)中的紅外熱成像儀結(jié)合使用。可以融合紅外熱成像儀和激光掃描儀的數(shù)據(jù)，以獲得可靠的行人檢測(cè)并進(jìn)行跟蹤。也可以融合近紅外傳感器和低分辨率，遠(yuǎn)紅外傳感器，以獲得低成本的夜視系統(tǒng)。

融合圖像系統(tǒng)在各個(gè)領(lǐng)域都有應(yīng)用。在監(jiān)視系統(tǒng)中，由于需要一種可以在室內(nèi)和室外在白天和黑夜均可工作的強(qiáng)大系統(tǒng)的必要性，使用融合圖像模式是很普遍的。在汽車的監(jiān)視和夜視系統(tǒng)中，都可以通過融合圖像模式來改進(jìn)對(duì)腳步的檢測(cè)。尤其是監(jiān)視系統(tǒng)，可以檢測(cè)到的人類的注意力領(lǐng)域，并且融合了視覺圖像和熱圖像，以在遠(yuǎn)程沉浸式空間中進(jìn)行可靠的前景檢測(cè)。