1.顏色特征提取

計算機視覺的特征提取算法研究至關(guān)重要。在一些算法中，一個高復(fù)雜度特征的提取可能能夠解決問題（進(jìn)行目標(biāo)檢測等目的），但這將以處理更多數(shù)據(jù)，需要更高的處理效果為代價。而顏色特征無需進(jìn)行大量計算。只需將數(shù)字圖像中的像素值進(jìn)行相應(yīng)轉(zhuǎn)換，表現(xiàn)為數(shù)值即可。因此顏色特征以其低復(fù)雜度成為了一個較好的特征。

在圖像處理中，我們可以將一個具體的像素點所呈現(xiàn)的顏色分多種方法分析，并提取出其顏色特征分量。比如通過手工標(biāo)記區(qū)域提取一個特定區(qū)域（region）的顏色特征，用該區(qū)域在一個顏色空間三個分量各自的平均值表示，或者可以建立三個顏色直方圖等方法。下面我們介紹一下顏色直方圖和顏色矩的概念。

（1）顏色直方圖：

顏色直方圖用以反映圖像顏色的組成分布，即各種顏色出現(xiàn)的概率。Swain和Ballard最先提出了應(yīng)用顏色直方圖進(jìn)行圖像特征提取的方法[40]，首先利用顏色空間三個分量的剝離得到顏色直方圖，之后通過觀察實驗數(shù)據(jù)發(fā)現(xiàn)將圖像進(jìn)行旋轉(zhuǎn)變換、縮放變換、模糊變換后圖像的顏色直方圖改變不大，即圖像直方圖對圖像的物理變換是不敏感的。因此常提取顏色特征并用顏色直方圖應(yīng)用于衡量和比較兩幅圖像的全局差。另外，如果圖像可以分為多個區(qū)域，并且前景與背景顏色分布具有明顯差異，則顏色直方圖呈現(xiàn)雙峰形。

顏色直方圖也有其缺點：由于顏色直方圖是全局顏色統(tǒng)計的結(jié)果，因此丟失了像素點間的位置特征。可能有幾幅圖像具有相同或相近的顏色直方圖，但其圖像像素位置分布完全不同。因此，圖像與顏色直方圖得多對一關(guān)系使得顏色直方圖在識別前景物體上不能獲得很好的效果。

考慮到顏色直方圖的以上問題，主色調(diào)直方圖便產(chǎn)生了。所謂主色調(diào)直方圖基于假設(shè)少數(shù)幾個像素的值能夠表示圖像中的絕大部分像素，即出現(xiàn)頻率最高的幾個像素被選為主色，僅用主色構(gòu)成的主色調(diào)直方圖描述一幅圖像。這樣的描述子并不會降低通過顏色特征進(jìn)行匹配的效果，因為從某種角度將，頻度出現(xiàn)很小的像素點可以被視為噪聲。

（2）顏色矩：

顏色矩是一種有效的顏色特征，由Stricker和Orengo提出[41]，該方法利用線性代數(shù)中矩的概念，將圖像中的顏色分布用其矩表示。利用顏色一階矩（平均值A(chǔ)verage）、顏色二階矩（方差Variance）和顏色三階矩（偏斜度Skewness）來描述顏色分布。與顏色直方圖不同，利用顏色矩進(jìn)行圖像描述無需量化圖像特征。由于每個像素具有顏色空間的三個顏色通道，因此圖像的顏色矩有9個分量來描述。由于顏色矩的維度較少，因此常將顏色矩與其他圖像特征綜合使用。

（3）顏色集：

以上兩種方法通常用于兩幅圖像間全局或region之間的顏色比較、匹配等，而顏色集的方法致力于實現(xiàn)基于顏色實現(xiàn)對大規(guī)模圖像的檢索。顏色集的方法由Smith和Chang提出[42]，該方法將顏色轉(zhuǎn)化到HSV顏色空間后，將圖像根據(jù)其顏色信息進(jìn)行圖像分割成若干region，并將顏色分為多個bin，每個region進(jìn)行顏色空間量化建立顏色索引，進(jìn)而建立二進(jìn)制圖像顏色索引表。為加快查找速度，還可以構(gòu)造二分查找樹進(jìn)行特征檢索。

2.紋理特征提取

一幅圖像的紋理是在圖像計算中經(jīng)過量化的圖像特征。圖像紋理描述圖像或其中小塊區(qū)域的空間顏色分布和光強分布。紋理特征的提取分為基于結(jié)構(gòu)的方法和基于統(tǒng)計數(shù)據(jù)的方法。一個基于結(jié)構(gòu)的紋理特征提取方法是將所要檢測的紋理進(jìn)行建模，在圖像中搜索重復(fù)的模式。該方法對人工合成的紋理識別效果較好。但對于交通圖像中的紋理識別，基于統(tǒng)計數(shù)據(jù)的方法效果更好。

（1）LBP特征

LBP方法（Local binary patterns）是一個計算機視覺中用于圖像特征分類的一個方法。LBP方法在1994年首先由T. Ojala, M.Pietik?inen, 和 D. Harwood 提出[43][44]，用于紋理特征提取。后來LBP方法與HOG特征分類器聯(lián)合使用，改善了一些數(shù)據(jù)集[45]上的檢測效果。

對LBP特征向量進(jìn)行提取的步驟如下：

首先將檢測窗口劃分為16×16的小區(qū)域（cell），對于每個cell中的一個像素，將其環(huán)形鄰域內(nèi)的8個點（也可以是環(huán)形鄰域多個點，如圖 3?4. 應(yīng)用LBP算法的三個鄰域示例所示）進(jìn)行順時針或逆時針的比較，如果中心像素值比該鄰點大，則將鄰點賦值為1，否則賦值為0，這樣每個點都會獲得一個8位二進(jìn)制數(shù)（通常轉(zhuǎn)換為十進(jìn)制數(shù)）。然后計算每個cell的直方圖，即每個數(shù)字（假定是十進(jìn)制數(shù)）出現(xiàn)的頻率（也就是一個關(guān)于每一個像素點是否比鄰域內(nèi)點大的一個二進(jìn)制序列進(jìn)行統(tǒng)計），然后對該直方圖進(jìn)行歸一化處理。最后將得到的每個cell的統(tǒng)計直方圖進(jìn)行連接，就得到了整幅圖的LBP紋理特征，然后便可利用SVM或者其他機器學(xué)習(xí)算法進(jìn)行分類了。

（2）灰度共生矩陣

灰度共生矩陣是另一種紋理特征提取方法，首先對于一幅圖像定義一個方向（orientation）和一個以pixel為單位的步長(step)，灰度共生矩陣T（N×N），則定義M(i,j)為灰度級為i和j的像素同時出現(xiàn)在一個點和沿所定義的方向跨度步長的點上的頻率。其中N是灰度級劃分?jǐn)?shù)目。由于共生矩陣有方向和步長的組合定義，而決定頻率的一個因素是對矩陣有貢獻(xiàn)的像素數(shù)目，而這個數(shù)目要比總共數(shù)目少，且隨著步長的增加而減少。因此所得到的共生矩陣是一個稀疏矩陣，所以灰度級劃分N常常減少到8級。如在水平方向上計算左右方向上像素的共生矩陣，則為對稱共生矩陣。類似的，如果僅考慮當(dāng)前像素單方向（左或右）上的像素，則稱為非對稱共生矩陣。

3.邊緣特征提取

邊緣檢測是圖形圖像處理、計算機視覺和機器視覺中的一個基本工具，通常用于特征提取和特征檢測，旨在檢測一張數(shù)字圖像中有明顯變化的邊緣或者不連續(xù)的區(qū)域，在一維空間中，類似的操作被稱作步長檢測（step detection）。邊緣是一幅圖像中不同屈原之間的邊界線，通常一個邊緣圖像是一個二值圖像。邊緣檢測的目的是捕捉亮度急劇變化的區(qū)域，而這些區(qū)域通常是我們關(guān)注的。在一幅圖像中兩度不連續(xù)的區(qū)域通常是以下幾項之一：

# 圖像深度不連續(xù)處

# 圖像（梯度）朝向不連續(xù)處

# 圖像光照（強度）不連續(xù)處

# 紋理變化處

理想情況下，對所給圖像應(yīng)用邊緣檢測器可以得到一系列連續(xù)的曲線，用于表示對象的邊界。因此應(yīng)用邊緣檢測算法所得到的結(jié)果將會大大減少圖像數(shù)據(jù)量，從而過濾掉很多我們不需要的信息，留下圖像的重要結(jié)構(gòu)，所要處理的工作即被大大簡化。然而，從普通圖片上提取的邊緣往往被圖像的分割所破壞，也就是說，檢測到的曲線通常不是連續(xù)的，有一些邊緣曲線段開，就會丟失邊緣線段，而且會出現(xiàn)一些我們不感興趣的邊緣。這就需要邊緣檢測算法的準(zhǔn)確性。下面介紹兩個本文實現(xiàn)的邊緣檢測算法：canny算子和sobel算子進(jìn)行邊緣檢測。

（1）Canny算子邊緣檢測

Canny邊緣檢測算法基于一個多階邊緣算子，是由John F. Canny于1986年首先提出的[46]，他不但給出了邊緣檢測的方法，也提出了邊緣檢測的計算理論。

Canny邊緣檢測器使用一個基于高斯模型派生的檢測模型，因為未處理圖像可能含有噪聲，所以開始在原始圖像上應(yīng)用一個高斯濾波器，結(jié)果是一個輕度平滑的圖像，以至于不至于被單個噪聲像素干擾全局重要參數(shù)。

以一個5×5的高斯濾波模板為例（見公式3-7），對圖像A應(yīng)用高斯濾波可得B。下面對圖像的光強梯度統(tǒng)計都基于圖B。

一幅圖像中的邊緣可能在方向上各有所異，所以Canny算法用四個濾波器分別檢測圖像中的水平、垂直和對角線邊緣。邊緣檢測器（如 Roberts, Prewitt, Sobel）值返回一個水平方向分量Gx和豎直方向分量Gy，由此邊緣梯度和方向即可確定：

所有邊緣的角度都在上述選定的四個方向（0°，45°，90°，135°）周圍。下一步通過滯后性門限跟蹤邊緣線。

與小的光強梯度相比，數(shù)值較大的光強梯度更容易作為邊緣線。在大多數(shù)圖像中定義一個門限值來確定光強梯度取值多少適合作為邊緣線通常是不可行的，因此Canny算法使用滯后作用確定門限值。該方法使用兩個門限分別定義高低邊界。假設(shè)所有的邊緣應(yīng)該不受噪聲影響而且是連續(xù)的曲線。因此我們設(shè)置一個高門限用于判定確定是邊緣的曲線，再由此出發(fā)，利用方向信息跟蹤那些可追蹤的圖像邊緣。當(dāng)追蹤該邊緣時，應(yīng)用低門限可以讓我們追蹤那些含有邊緣的區(qū)域直到找到下一個曲線的起點。

如圖 3?5所示，(a)為原圖的灰度圖，(b)為高斯濾波平滑圖，(c)和(d)分別是手動設(shè)置的高低門限值如圖所示的canny邊緣檢測結(jié)果。根據(jù)多組圖像數(shù)據(jù)測試發(fā)現(xiàn)，當(dāng)canny高低門限值分別設(shè)置為50,150時能夠保證大部分有效信息的保留且不會有過多冗余信息。因此后文中采用門限值[Thres1,Thres2]= 50，120 作為canny邊緣檢測參數(shù)。Opencv中以下代碼實現(xiàn)：

      cvCanny( dst,src, 50, 120, 3 );

（2）Sobel算子邊緣檢測

和Canny算子類似，Sobel算子[47]也是利用梯度信息對圖像進(jìn)行邊緣檢測的。對圖像進(jìn)行邊緣檢測時，計算每個像素的梯度并給出不同方向從明到暗的最大變化及其變化率。這個結(jié)果顯示出圖片在該點亮度變化為“急劇”還是“平滑”，由此可以判斷該區(qū)域成為邊緣的概率。在實際操作中，這個成為邊緣的可能性(稱為magnitude)計算比計算方向更為可靠，也更為便捷。在圖像中的每個像素點，梯度向量只想亮度增長最大的方向，該梯度向量的長度對應(yīng)于該方向的光強變化率。這就說明在同一像素圖像上一個區(qū)域的某點的sobel算子是一個零向量，而且在邊緣線上的點上有一組向量值為亮度梯度。

數(shù)學(xué)上在原圖像上應(yīng)用3×3的掩膜計算水平和垂直兩個方向的變化梯度近似值。如果我們定義A為源圖像，和分別作為一幅圖像的水平近似梯度和垂直近似梯度，計算方式如下：

公式3-9中，*表示二維卷積運算。這里建立的坐標(biāo)系在x坐標(biāo)方向向右，y坐標(biāo)方向向下，在圖像中的每個點，用式3-8描述總梯度大小及方向。用Sobel算子進(jìn)行邊緣檢測結(jié)果見圖 3?6所示。

深圳市雙翌光電科技有限公司是專注于視覺系統(tǒng)及機器視覺部件研發(fā)、生產(chǎn)和營銷的高科技企業(yè)，是專業(yè)的機器視覺核心部件及解決方案提供商。雙翌視覺堅守“持續(xù)創(chuàng)新”的理念，目前已經(jīng)成功在消費電子、新能源、半導(dǎo)體、汽車、物流、交通、醫(yī)藥、科研等行業(yè)為客戶提供優(yōu)質(zhì)的產(chǎn)品和定制化的視覺解決方案。