背景

在工業(yè)應(yīng)用中，使用面陣相機(jī)識(shí)別傳送帶上的物體，當(dāng)要識(shí)別的目標(biāo)的最小包圍矩形（不是最小包圍旋轉(zhuǎn)矩形）小于相機(jī)視野時(shí)，可以進(jìn)行后續(xù)處理。但是當(dāng)要識(shí)別的目標(biāo)很大，比如超長(zhǎng)的物體，如果還使用面陣相機(jī)，有兩種辦法，一種是硬件改進(jìn)，另一種是軟件改進(jìn)。硬件改進(jìn)就是在傳送帶運(yùn)動(dòng)方向均布多個(gè)面陣相機(jī)，通過(guò)同步觸發(fā)同時(shí)采集圖片，然后根據(jù)事先標(biāo)定好的相機(jī)相對(duì)位置進(jìn)行拼接。軟件改進(jìn)需要對(duì)傳送帶上的視頻流進(jìn)行處理，拼接出比較大的視野。

解決方法

一般在工業(yè)上會(huì)采用硬件改進(jìn)的方法。當(dāng)需要提高視覺(jué)識(shí)別的精度或者范圍時(shí)，會(huì)采用多個(gè)相機(jī)圖像進(jìn)行拼接的辦法。但是在實(shí)驗(yàn)室，我們可以嘗試使用軟件的方法來(lái)解決。

解決這個(gè)問(wèn)題的關(guān)鍵是圖片的拼接，而圖像的拼接需要圖像中有明顯的特征點(diǎn)。而目標(biāo)上是否有特征點(diǎn)我們不能控制，所以需要事先在傳送帶上布置特征點(diǎn)。

傳送帶上只有平移，所有對(duì)于圖像拼接的3個(gè)參數(shù)x，y和θ，只需要計(jì)算x，如果相機(jī)成像平面和傳送帶平面不平行，需要先做一個(gè)透視變換。

特征的設(shè)計(jì)及擺放考慮如下：容易識(shí)別，編碼容量不需太大，循環(huán)布置。

原始視頻

以下是在傳送帶運(yùn)動(dòng)時(shí)采集到的視頻：

拼接結(jié)果

算法原理

第一步：從視頻流中提取一幀圖像，作為關(guān)鍵幀，轉(zhuǎn)到第2步。

第二步：提取下一幀，根據(jù)識(shí)別到靶標(biāo)計(jì)算該幀圖像和當(dāng)前關(guān)鍵幀平移距離x1，如果x1約等于

0.4倍的視頻運(yùn)動(dòng)方向圖像像素，則把這一幀作為次關(guān)鍵幀，轉(zhuǎn)到第三步，否則重復(fù)第二步。

第三步：提取下一幀，根據(jù)識(shí)別到靶標(biāo)計(jì)算該幀圖像和當(dāng)前次關(guān)鍵幀平移距離x2，如果x1+x2 約等于

0.8倍的視頻運(yùn)動(dòng)方向圖像像素，則把當(dāng)前幀作為新的關(guān)鍵幀，轉(zhuǎn)到第二步，否則重復(fù)第三步。

在2、3步循環(huán)的時(shí)候，把所有關(guān)鍵幀按照順序，根據(jù)當(dāng)時(shí)的平移距離x1+x2進(jìn)行拼接就得到一幅長(zhǎng)圖。當(dāng)然也可以實(shí)時(shí)輸出關(guān)鍵幀和對(duì)應(yīng)的x1+x2。這樣，在高層算法開(kāi)發(fā)時(shí)，可以認(rèn)為這是一個(gè)幀觸發(fā)信號(hào)有點(diǎn)波動(dòng)（由于幀率和傳送帶運(yùn)動(dòng)速度的不確定性，x1+x2不是固定值）的線(xiàn)陣相機(jī)。這也相當(dāng)于做了一個(gè)中間層，屏蔽了底層的硬件細(xì)節(jié)，使得原本為線(xiàn)陣相機(jī)開(kāi)發(fā)的算法也可以用在面陣相機(jī)上。

深圳市雙翌光電科技有限公司是專(zhuān)注于視覺(jué)系統(tǒng)及機(jī)器視覺(jué)部件研發(fā)、生產(chǎn)和營(yíng)銷(xiāo)的高科技企業(yè)，是專(zhuān)業(yè)的機(jī)器視覺(jué)核心部件及解決方案提供商。雙翌視覺(jué)堅(jiān)守“持續(xù)創(chuàng)新”的理念，目前已經(jīng)成功在消費(fèi)電子、新能源、半導(dǎo)體、汽車(chē)、物流、交通、醫(yī)藥、科研等行業(yè)為客戶(hù)提供優(yōu)質(zhì)的產(chǎn)品和定制化的視覺(jué)解決方案。