同樣，先進(jìn)的機(jī)器視覺(jué)能夠識(shí)別標(biāo)牌、道路標(biāo)記和前方的潛在危險(xiǎn)，因此對(duì)自動(dòng)駕駛車輛至關(guān)重要。在這項(xiàng)應(yīng)用里，重點(diǎn)是縮短系統(tǒng)響應(yīng)時(shí)間，提高圖像識(shí)別準(zhǔn)確度。就智能城市應(yīng)用而言，提高城市中心閉路電視圖像清晰度，有助于執(zhí)法機(jī)構(gòu)通過(guò)預(yù)測(cè)騷亂和提高識(shí)別能力來(lái)保護(hù)公民。

 

此外，高性能機(jī)器視覺(jué)的新興市場(chǎng)機(jī)會(huì)也開始出現(xiàn)，其中包括用于協(xié)助車輛引導(dǎo)和數(shù)據(jù)收集的無(wú)人機(jī)載機(jī)器視覺(jué)，可用于勘察農(nóng)田或建筑工地等應(yīng)用。

 

要在較短時(shí)間內(nèi)從捕獲的圖像中提取更多信息，需要更好的圖像質(zhì)量和更強(qiáng)的信號(hào)處理性能。為此，一些重要的創(chuàng)新正在陸續(xù)出現(xiàn)，它們適用于攝像頭和圖像傳感器，而且由于機(jī)器學(xué)習(xí)技術(shù)的商業(yè)化，圖像處理技術(shù)也在得到廣泛應(yīng)用。

 

下一代鏡頭增強(qiáng)聚焦和視覺(jué)性能

在整個(gè)系統(tǒng)的前端，攝像頭鏡頭一直是某些大的創(chuàng)新工程的主題，通過(guò)采用單攝像頭或單組鏡頭可執(zhí)行多個(gè)任務(wù)，能夠提高系統(tǒng)靈活性、縮短工作周期時(shí)間，并簡(jiǎn)化設(shè)備系統(tǒng)設(shè)計(jì)。

 

其中，液體鏡頭（如圖1所示）是一種新興的光學(xué)器件，它擴(kuò)展了傳統(tǒng)鏡頭的景深，而無(wú)需傳統(tǒng)電動(dòng)對(duì)焦系統(tǒng)的高成本和復(fù)雜性。電動(dòng)對(duì)焦也相對(duì)較慢，因此避免這些將有助于增加應(yīng)用中的工作循環(huán)時(shí)間，例如涉及不同距離物體的工業(yè)檢測(cè)等應(yīng)用。

 

圖1：液體鏡頭只需幾μm的形狀變化，即可實(shí)現(xiàn)焦距調(diào)整。

 

引入液體鏡頭能夠使工作中的標(biāo)準(zhǔn)光學(xué)系統(tǒng)在幾個(gè)ms內(nèi)調(diào)整對(duì)焦 - 從無(wú)窮大到小于100mm，具體取決于間距要求。液體鏡頭由一種密封在柔性膜內(nèi)的光學(xué)液體構(gòu)成。通過(guò)移動(dòng)膜或調(diào)整光學(xué)液體的體積，將鏡頭半徑改變僅僅幾個(gè)μm，其效果相當(dāng)于使用傳統(tǒng)電動(dòng)對(duì)焦系統(tǒng)將鏡頭移動(dòng)幾個(gè)cm。除了更快的對(duì)焦和更簡(jiǎn)單的構(gòu)造（移動(dòng)部件更少，因此操作故障的可能性也更小），液體鏡頭系統(tǒng)還受益于較低的慣性和更低的功耗。

 

同樣， 360 度圖像采集能夠使機(jī)器視覺(jué)系統(tǒng)在固定位置通過(guò)單個(gè)攝像頭即可捕獲目標(biāo)的詳細(xì)信息，這樣可以避免多攝像頭檢測(cè)系統(tǒng)以及相關(guān)圖像處理和存儲(chǔ)子系統(tǒng)的高成本和復(fù)雜性，多個(gè)存儲(chǔ)子系統(tǒng)也會(huì)導(dǎo)致系統(tǒng)性能限制。如果部采用360 度圖像采集，可能需要一種機(jī)制來(lái)多次調(diào)整位置或旋轉(zhuǎn)攝像頭，或需要旋轉(zhuǎn)要檢查的物體，這種方式在食品包裝檢查或空中測(cè)量時(shí)比較常見，同樣會(huì)增加系統(tǒng)的總體成本和復(fù)雜性。

 

對(duì)于需要進(jìn)行從各個(gè)角度進(jìn)行目標(biāo)檢測(cè)的系統(tǒng)（例如包裝廠中粘貼到瓶子上的標(biāo)簽），可以使用位于物體自身正上方的超中心（hyper-centric）或近中心（peri-centric）鏡頭來(lái)實(shí)現(xiàn)360度視覺(jué)功能。超中心鏡頭能夠捕獲光線，就好似它們是從位于鏡頭前面一定距離某個(gè)點(diǎn)發(fā)出的一樣。光線匯聚點(diǎn)和鏡頭的周邊形成了視錐（viewing cone）。將物體放置在此視錐內(nèi)，直接位于向下鏡頭的下方，可以使來(lái)自物體頂面和垂直側(cè)面的光線同時(shí)進(jìn)入鏡頭。將光線聚焦在傳感器上可以在單幀中捕獲整個(gè)影像。利用該原理，攝像頭可以捕獲一個(gè)孔內(nèi)或腔內(nèi)的360度視圖，但無(wú)需在其中插入任何光學(xué)探頭。其他技術(shù)也可通過(guò)單幀捕獲物體多個(gè)影像，它是將超中心鏡頭與一組鏡面陣列整合，從而能夠有效地同時(shí)看到物體的每一面。

 

傳感器：物理原理與構(gòu)造

 

提高CMOS圖像傳感器的分辨率是捕獲更精細(xì)圖像的關(guān)鍵，然而由于降低了信噪比（SNR），如果只減小像素尺寸可能導(dǎo)致較差的圖像質(zhì)量。要獲得更高分辨率，就需要在技術(shù)上進(jìn)行改進(jìn)，以便在不影響傳感器性能前提下減小像素尺寸。這些可通過(guò)多個(gè)方方面面實(shí)現(xiàn)，其中一種是優(yōu)化像素間距和感光面積與總面積之比（也稱為像素填充因子）。在像素的物理層面進(jìn)行更多根本性改變可以改善諸如增益、效率和動(dòng)態(tài)范圍等參數(shù)。傳感器制造商還改進(jìn)了從像素讀取數(shù)據(jù)的技術(shù)，從而實(shí)現(xiàn)更高的信噪比、幀速率和線性度等更高的性能。

 

在過(guò)去十年左右時(shí)間里，驅(qū)動(dòng)傳感器性能改進(jìn)的最重要技術(shù)之一是使用背照式（BSI）技術(shù)，它是通過(guò)上表面和下表面吸收光線，實(shí)現(xiàn)了像素小型化，而不會(huì)降低關(guān)鍵性能參數(shù)（如阱容量、量子效率、暗電流等）。這種技術(shù)的后續(xù)進(jìn)展是對(duì)傳感器和圖像處理芯片的三維（3D）堆疊，能夠?qū)崿F(xiàn)更小外形尺寸。隨后，包括氧化硅和金屬焊盤的3D混合堆疊消除了硅通孔（TSV），從而更有利于兩個(gè)芯片之間實(shí)現(xiàn)有效且直接的連接。最近，業(yè)界又開發(fā)出順序整合，可以制造單片式圖像傳感器，其中每個(gè)圖像傳感器都集成有光電晶體陣列、3D可堆疊像素讀出邏輯和存儲(chǔ)器等，并通過(guò)集成式高密度I/O連接。

 

全局快門增強(qiáng)移動(dòng)物體成像效果

 

在高速工業(yè)自動(dòng)化以及汽車和無(wú)人機(jī)等應(yīng)用中，需要捕獲快速運(yùn)動(dòng)物體的清晰圖像。這對(duì)于傳統(tǒng)卷簾式（rolling-shutter）圖像傳感器性能構(gòu)成巨大挑戰(zhàn)，主要原因是傳統(tǒng)卷簾式圖像傳感器每一次將從傳感器像素讀取僅僅一列數(shù)據(jù)，并發(fā)送到幀緩沖器。如果物體正在運(yùn)動(dòng)，則從讀取一列圖像到讀取下一列之間的時(shí)間位置變化可能會(huì)導(dǎo)致失真，出現(xiàn)圖像模糊或彎曲等問(wèn)題。

 

當(dāng)拍攝快速運(yùn)動(dòng)物體或?qū)z像頭安裝在運(yùn)動(dòng)車輛上時(shí)，全局快門（Global shuttering）可提高圖像清晰度。這項(xiàng)技術(shù)首先在高端靜態(tài)攝像頭中得到應(yīng)用，現(xiàn)在已經(jīng)擴(kuò)展到工業(yè)和汽車視覺(jué)系統(tǒng)以提供更高性能。在全局快門中，將所有像素電荷值同時(shí)儲(chǔ)存到一個(gè)小的像素內(nèi)存儲(chǔ)器中，然后像以前一樣逐行依次讀取到幀緩沖器。這樣可以得到更清晰圖像，但沒(méi)有卷簾式快門的失真。

 

通常像素內(nèi)存儲(chǔ)器會(huì)占用一定空間，從而顯著地減少用于光子吸收的像素面積。目前業(yè)界已經(jīng)克服了一些技術(shù)挑戰(zhàn)以便能夠創(chuàng)建具備更高SNR和更高動(dòng)態(tài)范圍的全局快門圖像傳感器，但不會(huì)增加像素尺寸，這樣可以彌補(bǔ)像素內(nèi)存儲(chǔ)器占用空間。此類圖像傳感器的一個(gè)例證是1Mpixel、1/4英寸格式的安森美半導(dǎo)體的 ARO144。

 

圖2：來(lái)自安森半導(dǎo)體的ARO144圖像傳感器。

 

全局快門像素具有高量子效率，可確保快速充電，同時(shí)又對(duì)與圖像無(wú)關(guān)的充電（如由電子擴(kuò)散引起的串?dāng)_）不敏感。另外，其光學(xué)屏蔽非常靠近傳感器，可以排除像素表面雜散光影響。

 

圖像處理中的人工智能技術(shù)

 

在信號(hào)處理鏈路中，機(jī)器學(xué)習(xí)（利用深度神經(jīng)網(wǎng)路）可用于攝像頭光學(xué)組件和傳感器之后，其商業(yè)化應(yīng)用使構(gòu)建圖像和隨后從中提取信息的方式發(fā)生根本性變革。這里有一個(gè)例證，從中可以看到采用人工智能技術(shù)使低光照性能得到顯著改善，從而可以在近暗（near-dark）條件下拍攝高品質(zhì)圖像。

 

在低光照條件下，捕獲的原始數(shù)據(jù)對(duì)于傳統(tǒng)信號(hào)處理鏈路構(gòu)成很大挑戰(zhàn)。以電子方式提高傳感器感亮度（ISO值）會(huì)在圖像上增添明顯噪聲，從而導(dǎo)致圖像品質(zhì)變差，對(duì)圖像進(jìn)行降噪處理效果也很有限。其他改進(jìn)圖像品質(zhì)的技術(shù)包括延長(zhǎng)曝光時(shí)間，而這些在工業(yè)應(yīng)用或車載攝像頭中通常不切實(shí)際。

 

最近，業(yè)界開發(fā)了一種非常巧妙的技術(shù)，它利用機(jī)器學(xué)習(xí)來(lái)極大地減小基于原始弱光數(shù)據(jù)構(gòu)建圖像中的可檢測(cè)噪聲。使用包含原始短曝光時(shí)間、低光照?qǐng)D像和相應(yīng)的長(zhǎng)曝光時(shí)間參考圖像的系列數(shù)據(jù)可以訓(xùn)練深度神經(jīng)網(wǎng)路。在對(duì)網(wǎng)路進(jìn)行充分培訓(xùn)后，可以通過(guò)直接處理原始短時(shí)間曝光數(shù)據(jù)來(lái)創(chuàng)建高品質(zhì)圖像。這項(xiàng)技術(shù)已在市場(chǎng)中頂級(jí)智能手機(jī)中得到應(yīng)用，可以提供更美觀圖片。它還可適用于工業(yè)和安全等領(lǐng)域，例如可用于生產(chǎn)線檢查或監(jiān)控系統(tǒng)，能夠捕獲更好圖像。

 

結(jié)論

 

從系統(tǒng)前端的攝像頭鏡頭到系統(tǒng)后面的圖像感測(cè)和圖像處理設(shè)備，整個(gè)現(xiàn)代圖像處理系統(tǒng)中有許多技術(shù)改進(jìn)正在開發(fā)。所有這些技術(shù)的合力效果預(yù)期將推動(dòng)工業(yè)視覺(jué)系統(tǒng)應(yīng)用范圍的不斷擴(kuò)展，并進(jìn)一步提高系統(tǒng)性能基準(zhǔn)。

 

 

推薦閱讀：