一種基于超像素聚類(lèi)優(yōu)化CNN的云圖分割方法與流程

本發(fā)明應(yīng)用于圖像分割領(lǐng)域，具體涉及圖像特征提取與識(shí)別。利用雷達(dá)向天空發(fā)射毫米波獲得的雷達(dá)回波強(qiáng)度，通過(guò)偽彩色增強(qiáng)的方式繪制出反映其高時(shí)空分辨率的水平垂直結(jié)構(gòu)的云演變圖為對(duì)象，提出了一種基于超像素聚類(lèi)優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)(SP-CNN)的云圖像快速分割方法。

背景技術(shù)：

云是由懸浮在大氣中千千萬(wàn)萬(wàn)的小水滴或冰晶組成的可見(jiàn)聚合體，是一種常見(jiàn)的天氣現(xiàn)象。陽(yáng)光照在地球的表面形成水蒸氣，水汽過(guò)飽和情況下，水分子會(huì)聚集在微塵周?chē)a(chǎn)生的水滴或冰晶將陽(yáng)光散射到各個(gè)方向，就產(chǎn)生了云的外觀。云不僅反映了當(dāng)時(shí)大氣的運(yùn)動(dòng)、穩(wěn)定程度和水汽情況，而且也是預(yù)示著天氣變化的重要征兆之一，云的觀測(cè)為飛行安全、人工增雨作業(yè)等提供了幫助。本發(fā)明利用如圖1所示的云演變圖，圖像的橫軸為時(shí)間軸，每一大格代表著2個(gè)小時(shí)，一大格分十個(gè)小格，每一小格代表12分鐘；縱軸為高度軸，每一大格代表著3千米，一大格分十個(gè)小格，每一小格代表300米。該圖是利用雷達(dá)向天空發(fā)射波長(zhǎng)為8.6mm、峰值功率為4W的毫米波反射回來(lái)的雷達(dá)回波率，通過(guò)偽彩色增強(qiáng)的方式及特定的顏色查找表繪制出能反映云高時(shí)空分辨率的水平垂直結(jié)構(gòu)的云演變圖。該云雷達(dá)是由中國(guó)氣象探測(cè)中心、西安華騰微波有限責(zé)任公司和成都信息工程大學(xué)聯(lián)合研制的Ka波段全固態(tài)全相參準(zhǔn)連續(xù)波多普勒雷達(dá)，該云雷達(dá)的主要原理是利用云粒子對(duì)電磁波的散射特性。雷達(dá)回波率的高低反映云層含水量的高低，及降雨、降雪的概率大小、強(qiáng)度的強(qiáng)弱，以單位dBZ表示，是用來(lái)估算降雨和降雪強(qiáng)度及預(yù)測(cè)諸如冰雹、大風(fēng)等災(zāi)害性天氣出現(xiàn)的可能性的科學(xué)數(shù)值。當(dāng)雷達(dá)回波率的值大于等于40dBZ時(shí)，出現(xiàn)雷雨天氣的可能性較大，而當(dāng)它的值在45dBZ或以上時(shí)，出現(xiàn)暴雨、冰雹、大風(fēng)等強(qiáng)對(duì)流天氣的可能性較大，這時(shí)就需要監(jiān)測(cè)人員和預(yù)報(bào)人員做出相應(yīng)的預(yù)報(bào)、防范措施等。

在天空的低層，存在一些雷達(dá)回波強(qiáng)度很弱的、含有水分的氣溶膠及近似PM2.5的含水微粒、低空噪音(如圖1所示的黑框部分)，這些微粒的存在對(duì)云的觀測(cè)預(yù)測(cè)造成一定的干擾和影響，阻礙了其為后續(xù)的觀測(cè)和預(yù)報(bào)提供更準(zhǔn)確的數(shù)據(jù)。因此，將“云”體識(shí)別并保留，將“非云”部分識(shí)別并剔除已經(jīng)成為云觀測(cè)預(yù)處理的必要步驟。

早期的云識(shí)別是由氣象專家通過(guò)經(jīng)驗(yàn)知識(shí)進(jìn)行肉眼觀測(cè)分析判斷的，但是隨著云圖數(shù)據(jù)與日俱增，僅靠肉眼、手工來(lái)實(shí)現(xiàn)云圖分割的實(shí)現(xiàn)難度越來(lái)越大，觀測(cè)者開(kāi)始利用計(jì)算機(jī)視覺(jué)的方式來(lái)進(jìn)行預(yù)處理。2013年中國(guó)氣象局氣溶膠與云降水重點(diǎn)開(kāi)放實(shí)驗(yàn)室的樊雅文等人通過(guò)結(jié)合回波強(qiáng)度的垂直廓線對(duì)云型的宏微觀特征進(jìn)行了初步表層分析；2013年寧波大學(xué)的金煒等人通過(guò)多次手工提取云圖樣本點(diǎn)對(duì)應(yīng)的多通道光譜特征及TPLBP紋理特征先得到子區(qū)域云圖的分割結(jié)果，初次聚類(lèi)之后再提取灰度均值特征和DI特征，提出的“一種衛(wèi)星云圖的二次聚類(lèi)分割方法”。深度學(xué)習(xí)因?yàn)槠漕?lèi)似人腦的分層結(jié)構(gòu)模型，對(duì)輸入數(shù)據(jù)從底層信號(hào)到高層語(yǔ)義的特征提取建立起來(lái)的映射關(guān)系而受到關(guān)注，在圖像分類(lèi)、圖像識(shí)別、圖像分割等領(lǐng)域都取得了很好的性能。2014年，中國(guó)科學(xué)院自動(dòng)化所的黃永禎等人提出利用卷積神經(jīng)網(wǎng)絡(luò)解決前景與背景的分離問(wèn)題，將人物本身和復(fù)雜的背景作為兩種標(biāo)簽分別輸入卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，并利用得到的分類(lèi)器對(duì)整個(gè)圖像的全部像素點(diǎn)進(jìn)行分類(lèi)分割。2016年，北京工業(yè)大學(xué)的賀嬌瑜等人基于深度學(xué)習(xí)的云圖自動(dòng)分割問(wèn)題，提出“一種基于多分辨率CNN的毫米波雷達(dá)云圖分割方法”,即先將帶有云區(qū)圖特征和非云區(qū)特征的圖片以三個(gè)不同分辨率從局部到全局進(jìn)行訓(xùn)練，再利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練所得到的分類(lèi)器對(duì)整張圖片的全部像素點(diǎn)進(jìn)行圖像識(shí)別分類(lèi)，最后利用分類(lèi)結(jié)果對(duì)圖片進(jìn)行分割。由于該方法需要對(duì)整張圖片的所有像素點(diǎn)進(jìn)行逐一分類(lèi)，故其分割的效率非常低。

對(duì)于大多都以像素為單位的圖像來(lái)說(shuō)，用二維矩陣來(lái)表示，不考慮像素之間的組織關(guān)系，導(dǎo)致算法的效率非常低，2003年Ren Mal ik提出了超像素的概念，它由一系列位置相鄰且顏色、亮度、紋理等特征相似的像素點(diǎn)組成的小區(qū)域，這些小區(qū)域大多保留了進(jìn)一步進(jìn)行圖像分割的有效信息，且一般不會(huì)破壞圖像中物體的邊界信息，在很大程度上降低了后續(xù)圖像處理任務(wù)的復(fù)雜度。

綜上所述，傳統(tǒng)的云圖分割算法需要復(fù)雜的前期處理，還需要手工提取特征用來(lái)分割或是通過(guò)閾值判斷進(jìn)行分割等，這些方法都只能用于小范圍的云圖處理工作，并且分割精度不夠高。通過(guò)多分辨率CNN(MR-CNN)來(lái)提取毫米波雷達(dá)云圖像的特征又存在效率極低的情況，針對(duì)這些問(wèn)題，本發(fā)明提出將超像素聚類(lèi)優(yōu)化應(yīng)用到基于深度學(xué)習(xí)的云圖分割領(lǐng)域，通過(guò)超像素聚類(lèi)優(yōu)化來(lái)獲取毫米波雷達(dá)云圖像同類(lèi)區(qū)域的關(guān)鍵像素點(diǎn)特征，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)關(guān)鍵像素點(diǎn)的子圖進(jìn)行圖像分類(lèi)，最后將對(duì)關(guān)鍵像素點(diǎn)的認(rèn)識(shí)結(jié)果拓展到對(duì)同類(lèi)區(qū)域超像素的認(rèn)識(shí)結(jié)果從而進(jìn)行分割，將云圖的分割準(zhǔn)確度達(dá)到了與CNN相同的水平,效率上相較于CNN有了很大提升。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于超像素聚類(lèi)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)(SP-CNN)的毫米波雷達(dá)云圖分割方法，分割方法的框架如圖2所示，方法流程如圖3所示。

該方法首先利用均值漂移算法，即先算出當(dāng)前點(diǎn)的偏移均值，以此為新的起始點(diǎn)，繼續(xù)移動(dòng)直到閾值不再滿足此類(lèi)點(diǎn)的特征，從而聚類(lèi)所有具有相同梯度特征的像素區(qū)域，我們稱這個(gè)區(qū)域?yàn)橐粋€(gè)超像素。這樣，就把一幅原本是像素級(jí)的圖，劃分成一個(gè)又一個(gè)區(qū)域級(jí)的超像素組成的圖，而這些超像素中提取出有效的信息是相同的。再將這些足以代表該區(qū)域總體特征的核心點(diǎn)為中心的區(qū)域的圖像輸入到我們已經(jīng)通過(guò)CNN訓(xùn)練好的網(wǎng)絡(luò)中(訓(xùn)練方法如圖2所示)，得到該核心點(diǎn)的標(biāo)簽，進(jìn)而表征該超像素對(duì)應(yīng)的標(biāo)簽，最后將不同的區(qū)域的結(jié)果進(jìn)行組合，就可以得到最優(yōu)的分割結(jié)果，整體方法流程如圖3所示。

下邊介紹一下這種云圖分割方法的具體步驟：

1、超像素聚類(lèi)及核心點(diǎn)選?。?/p>

本方法意在化繁為簡(jiǎn)，將以往對(duì)圖像中全部像素點(diǎn)一一處理轉(zhuǎn)化為對(duì)能夠代表一個(gè)區(qū)域的關(guān)鍵點(diǎn)進(jìn)行處理，進(jìn)而反映這個(gè)區(qū)域的情況，超像素思想的提出恰恰能滿足我們的需求。

超像素就是把一幅原本是像素級(jí)的圖，劃分成區(qū)域級(jí)的圖。本方法中，超像素的實(shí)現(xiàn)方式是均值漂移算法(MeanShift)。均值漂移算法在聚類(lèi)、圖像平滑、跟蹤等方面有著廣泛的應(yīng)用，它是由Fukunage在1975年提出的，指的是一個(gè)迭代的步驟，即先算出當(dāng)前點(diǎn)的偏移均值，然后以此為新的起始點(diǎn)，繼續(xù)移動(dòng)，直到滿足一定的結(jié)束條件。

這個(gè)算法包含兩個(gè)底層視覺(jué)的任務(wù)，區(qū)域平滑以及圖像分割。首先對(duì)于圖像的每一個(gè)像素點(diǎn)，均值漂移算法對(duì)它執(zhí)行下面的操作：計(jì)算該點(diǎn)鄰域的像素均值，再把該像素點(diǎn)移動(dòng)到它鄰域中所有像素點(diǎn)的灰度值的均值位置，并不斷重復(fù)到每一個(gè)像素點(diǎn)之上，直到這些像素都擁有相同的視覺(jué)特征，如顏色、紋理、梯度等，準(zhǔn)確的說(shuō)，不是真正移動(dòng)像素點(diǎn)，而是把該像素點(diǎn)與它的收斂位置的像素點(diǎn)標(biāo)記為同一類(lèi)。

通過(guò)這個(gè)算法，就可以將一副完成的圖像，劃分成若干個(gè)不同的超像素，如圖4所示。

對(duì)于每一個(gè)超像素，本方法將這些超像素的每一個(gè)像素點(diǎn)向量化，即將這些像素點(diǎn)的坐標(biāo)值作為向量中的一個(gè)元素，從該向量中等間隔采樣5個(gè)像素點(diǎn)，作為超像素的關(guān)鍵點(diǎn)。

在采樣過(guò)程中，因考慮到邊界兩側(cè)的超像素可能屬于不同的分類(lèi)，故本方法在采樣過(guò)程中對(duì)超像素做了腐蝕處理，其原理為，以超像素中的每一個(gè)像素為中心點(diǎn)，將此像素點(diǎn)與其四鄰域上的像素點(diǎn)一一比對(duì)，如果此5個(gè)像素點(diǎn)均屬于此超像素，那么保留此中心點(diǎn)，否則該點(diǎn)被視為超像素邊界，并將該點(diǎn)去掉。其目的是縮小等間隔采樣的范圍，使其盡可能地不落在超像素的邊緣，以避免邊界因素對(duì)超像素識(shí)別造成的影響。

通過(guò)超像素聚類(lèi)，我們把原本是十萬(wàn)數(shù)量級(jí)的像素點(diǎn)轉(zhuǎn)化為幾千個(gè)的超像素，為后續(xù)的方法打下基礎(chǔ)。

2、訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集的制作

本發(fā)明的數(shù)據(jù)集主要有訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集三個(gè)方面。這三方面的制作原理完全相同，只是選取的數(shù)據(jù)范圍有差異，故我們只對(duì)其中一種的獲取方式做詳細(xì)的介紹：

對(duì)于毫米波雷達(dá)云演變圖，由于云圖像處理領(lǐng)域并沒(méi)有公開(kāi)的數(shù)據(jù)集，所以我們需要制作groundtruth圖作為訓(xùn)練CNN網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，具體預(yù)處理操作如下：

(1)生成groundtruth。如圖5所示，(a)為原始云圖，(c)為利用Photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域以黑白顏色區(qū)分后標(biāo)注的原始云圖所對(duì)應(yīng)的groundtruth。我們需要從云圖像集中隨機(jī)選擇若干張?jiān)茍D，并選中與之對(duì)應(yīng)的groundtruth圖，用于下一步的CNN網(wǎng)絡(luò)訓(xùn)練和測(cè)試樣本集的生成。

(2)圖像尺寸調(diào)整。為了保證在訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集采樣時(shí)，能夠完整采集整張圖像的每一個(gè)像素點(diǎn)，我們首先對(duì)云演變圖的尺寸進(jìn)行了調(diào)整，即為尺寸為W*H的云圖像增加了D/2個(gè)像素的背景圖像邊界，此時(shí)圖像變?yōu)?W+D)*(H+D)。

(3)樣本集的采集和生成。訓(xùn)練樣本集和驗(yàn)證樣本集是對(duì)帶有g(shù)roundtruth的少量W*H大小的云圖進(jìn)行處理；測(cè)試樣本集則是對(duì)更多一部分的處理，由于三個(gè)樣本集采集方法幾乎完全一致，故我們不再贅述。具體操作如下：

a.裁剪出若干張以像素點(diǎn)p為中心的圖像C1用于訓(xùn)練和驗(yàn)證CNN網(wǎng)絡(luò)。以W*H云圖像中的某一像素點(diǎn)p為中心，以D為邊長(zhǎng)裁剪出D*D大小的圖像C1。C1就是以像素點(diǎn)p為中心的子圖，其包含該像素點(diǎn)周?chē)南袼靥卣鳌?/p>

b.對(duì)于a中的每一個(gè)像素點(diǎn)p，我們都可以在其所對(duì)應(yīng)的groundtruth圖中找到對(duì)應(yīng)的像素點(diǎn)p’，根據(jù)該像素點(diǎn)在groundtruth圖中的標(biāo)簽屬性，以列表的形式制作訓(xùn)練標(biāo)簽的文本文件，其格式為“絕對(duì)路徑/圖像名稱標(biāo)簽屬性”，其中每個(gè)像素點(diǎn)的標(biāo)簽屬性“云”或“非云”，用1或0表示。對(duì)于訓(xùn)練集合的所有圖像，我們需要保留其標(biāo)簽文本文件作為訓(xùn)練CNN網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)；對(duì)于驗(yàn)證集合的所有圖像，我們將驗(yàn)證樣本通過(guò)訓(xùn)練集生成的網(wǎng)絡(luò)模型得到判斷的結(jié)果，并利用標(biāo)簽文本文件來(lái)檢驗(yàn)我們的網(wǎng)絡(luò)模型的準(zhǔn)確程度；而對(duì)于測(cè)試集，我們不需要生成標(biāo)簽，我們需要利用其groundtruth圖與分割結(jié)果圖進(jìn)行對(duì)比，來(lái)評(píng)價(jià)網(wǎng)絡(luò)的主觀性與客觀性。需要注意的是為了客觀驗(yàn)證網(wǎng)絡(luò)的準(zhǔn)確性，三個(gè)樣本集合之間應(yīng)當(dāng)不相交。

c.這里需要說(shuō)明的一點(diǎn)是,在訓(xùn)練集和驗(yàn)證集的構(gòu)建中，不同于通常情況下的等概率隨機(jī)采樣，本發(fā)明采取內(nèi)容引導(dǎo)的采樣方法，從圖1可以看出，圖像包含大面積背景區(qū)域，這些區(qū)域不包含“云”或“非云”信息，圖像特征過(guò)少，對(duì)我們訓(xùn)練集、測(cè)試集的針對(duì)性、多樣性以及靈活性都無(wú)法起到幫助，因此訓(xùn)練集采樣密度較小。而對(duì)于“云”或“非云”，包含了大量的有效信息，我們進(jìn)行了高密度采樣。而對(duì)于測(cè)試集，我們需要對(duì)所有像素點(diǎn)進(jìn)行采樣

3、卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

本發(fā)明采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，是利用AlexNet網(wǎng)絡(luò)對(duì)ImageNet庫(kù)中的圖像進(jìn)行調(diào)優(yōu)過(guò)程得到的。ImageNet是擁有千萬(wàn)級(jí)數(shù)量級(jí)的圖像數(shù)據(jù)庫(kù)，對(duì)于數(shù)據(jù)程度有限及工作量的原因，我們很難制作同樣級(jí)別的數(shù)據(jù)庫(kù)來(lái)重新訓(xùn)練網(wǎng)絡(luò)，同時(shí)，參數(shù)的選擇、數(shù)據(jù)的選優(yōu)以及網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整也都是在短時(shí)間內(nèi)難以實(shí)現(xiàn)的。因此調(diào)優(yōu)過(guò)程的出現(xiàn)，就成為一個(gè)比較理想的選擇。

該網(wǎng)絡(luò)由5個(gè)卷積層、3個(gè)全連接層組成，并且只給卷積層C1、卷積層C2和卷積層C5加入了pooling層。F1到F3是全連接層，相當(dāng)于在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)器。需要注意的一點(diǎn)是，我們將AlexNet中F3的神經(jīng)元個(gè)數(shù)由1000調(diào)為2，原因是為了實(shí)現(xiàn)“云”和“非云”的2分類(lèi)。具體的微調(diào)過(guò)程如下：

首先。不論輸入的圖像尺寸為多少，為了方便訓(xùn)練，圖片尺寸都會(huì)被重置縮放為227*227，我們這里輸入的是尺寸為D*D的圖像，并以紅色、綠色、藍(lán)色三個(gè)顏色維度輸入網(wǎng)絡(luò)，數(shù)據(jù)量大小為227*227*3。

如圖2所示，C1到C5均為卷積層，以卷積層C1為例，其卷積濾波器的大小是11*11，卷積步幅為4，該層共96個(gè)卷積濾波器，故輸出是96個(gè)55*55大小的圖片。在C1卷積濾波后，加入線性糾正函數(shù)ReLU來(lái)加速收斂，防止其過(guò)度震蕩。核大小為3，步長(zhǎng)為2的最大池采樣層的引入，使得通過(guò)卷積獲得的特征具有空間不變性，解決了特征的旋轉(zhuǎn)不變形，同時(shí)對(duì)卷積特征進(jìn)行降維，大大減少了計(jì)算量，得到96個(gè)27*27大小的圖像。

同理，通過(guò)卷積核的大小為5、填充為2、卷積步幅為1、共有256個(gè)卷積濾波器的卷積層C2，得到256個(gè)27*27大小的圖像，通過(guò)最大池采樣層后降維到13*13的圖像。通過(guò)卷積核大小為3、填充為1、卷積步幅為1、共有384個(gè)濾波器的卷積層C3，得到384個(gè)27*27大小的圖像。通過(guò)卷積層C4得到384個(gè)13*13大小的圖像。通過(guò)卷積層C5則得到256個(gè)6*6大小的圖像。

如圖2所示，全連接層F1到F3，是在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接層神經(jīng)網(wǎng)絡(luò)分類(lèi)器。全連接層由線性部分和非線性部分兩部分組成：線性部分是對(duì)輸入數(shù)據(jù)做不同角度的分析，得出該角度下對(duì)整體輸入數(shù)據(jù)的判斷；非線性部分的作用就是打破之前的線性映射關(guān)系，作數(shù)據(jù)的歸一化，不管前面的線性部分做了怎樣的工作，到了非線性這里，所有的數(shù)值將被限制在一個(gè)范圍內(nèi)，這樣后面的網(wǎng)絡(luò)層如果要基于前面層的數(shù)據(jù)繼續(xù)計(jì)算，這個(gè)數(shù)值就相對(duì)可控了。將這兩部分合在一起，其目的是將將龐大而雜亂的數(shù)據(jù)進(jìn)行降維，最后得到一個(gè)能夠達(dá)到分割目的的有效范圍。全連接層F1和全連接層F2對(duì)數(shù)據(jù)進(jìn)行線性變化和非線性變化，把6*6*256維的降維到4096。最后，全連接層F3將數(shù)據(jù)降維成2維，也就是本發(fā)明中“云”和“非云”二類(lèi)。利用二分類(lèi)，我們實(shí)現(xiàn)云演變圖的分割。

4、基于區(qū)域內(nèi)容引導(dǎo)的圖像分割

本發(fā)明將圖像分割算法轉(zhuǎn)化為對(duì)圖像的某些含有相同邊緣、紋理等特征的區(qū)域的識(shí)別，不用于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)整張圖片的所有像素點(diǎn)一一進(jìn)行圖像識(shí)別分類(lèi)，本發(fā)明選取了某一區(qū)域有代表性的5個(gè)關(guān)鍵點(diǎn)，并對(duì)這5個(gè)點(diǎn)一一做圖像識(shí)別分類(lèi)，將這五個(gè)結(jié)果加權(quán)得到本超像素區(qū)域最終的分割結(jié)果，將此方法用于對(duì)整張圖的所有超像素區(qū)域，并利用其分類(lèi)結(jié)果對(duì)圖像進(jìn)行分割。對(duì)于某一塊超像素而言，其所對(duì)應(yīng)的分類(lèi)結(jié)果滿足以下公式：

R＝r₁*ω₁+r₂+ω₂+r₃*ω₃+r₄*ω₄+r₅*ω₅ (1)

其中R表示該超像素的識(shí)別結(jié)果，r1、r2、r3、r4和r5為五個(gè)點(diǎn)為中心的子圖的識(shí)別結(jié)果，ω₁、ω₂、ω₃、ω₄和ω₅為其相應(yīng)的權(quán)重。

利用本方法，就可以把原本含有成百上千個(gè)像素點(diǎn)的超像素區(qū)域的圖像識(shí)別轉(zhuǎn)化為對(duì)其中的5個(gè)點(diǎn)的圖像識(shí)別，大大地提升了算法的運(yùn)算效率。如圖5所示，(a)為原始云圖，(b)為(a)超像素聚類(lèi)的結(jié)果，(c)為(a)所對(duì)應(yīng)的groundtruth，(d)為利用閾值法的分割結(jié)果，(e)利用MR-CNN的分割結(jié)果，(f)為(a)本方法的分割結(jié)果。

5、分割評(píng)價(jià)

圖像分割評(píng)價(jià)方法一般可以分為直接分析法和間接實(shí)驗(yàn)法兩類(lèi)。直接分析法是直接對(duì)算法的原理、性質(zhì)、特點(diǎn)及性能等進(jìn)行分析的，主要研究圖像分割所用的算法本身，其缺點(diǎn)是沒(méi)有考慮到算法應(yīng)用的環(huán)境，對(duì)于不同領(lǐng)域的應(yīng)用評(píng)判結(jié)果不夠靈活；間接實(shí)驗(yàn)法則是從輸出分割圖的質(zhì)量或輸出圖與分割參考圖的差異為出發(fā)點(diǎn)，通過(guò)歸納總結(jié)得到分割算法的性能。

由于卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分割領(lǐng)域的精度已經(jīng)非常高，故本發(fā)明除了采用像素誤差的評(píng)價(jià)方法來(lái)衡量分割結(jié)果，還引入了程序運(yùn)行時(shí)間作為標(biāo)準(zhǔn)。

像素誤差反映了分割圖片與原始標(biāo)簽的像素相似度，其計(jì)算方法是統(tǒng)計(jì)給定待測(cè)的分割標(biāo)簽L中每一個(gè)像素點(diǎn)以及其真實(shí)的數(shù)據(jù)標(biāo)簽L’中每一個(gè)像素點(diǎn)的漢明距：

E_pixcel＝||L-L’||² (2)

按照這種方法，本發(fā)明試驗(yàn)于150張?jiān)蒲葑儓D上，最后將云圖的分割準(zhǔn)確度達(dá)到了99.55％，相較于利用MR-CNN以及閾值法對(duì)相同的數(shù)據(jù)集分割，得到的99.36％和96.7％的結(jié)果有了進(jìn)一步提升。

同時(shí)，在處理速度上，SP-CNN平均分割一張圖像只需要33.12秒，而精度與之接近的MR-CNN則需要用17615秒，可以證明本方法是一種既有效又快速的方法。

綜上所述，該方法的優(yōu)點(diǎn)體現(xiàn)在以下三點(diǎn)：

1)云圖分割是判別“云”和“非云”的邊界的二分類(lèi)方法，基于超像素聚類(lèi)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的處理對(duì)象是代表一類(lèi)像素點(diǎn)的超像素。

2)引入超像素，保證了像素的一致性，避免了模棱兩可的情況。

3)基于超像素聚類(lèi)優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的提出，將云圖的分割準(zhǔn)確度達(dá)到了99.55％，在保證分割精度的前提下極大地提升了分割的速度。

附圖說(shuō)明

圖1為本發(fā)明中的原始云圖像示例；

圖2為本發(fā)明所設(shè)計(jì)的分割框架；

圖3為本發(fā)明的算法流程；

圖4為通過(guò)超像素聚類(lèi)得到的超像素映射圖；

圖5為本發(fā)明與其他分割方法的結(jié)果對(duì)比圖：

(a)原始圖像，(b)超像素聚類(lèi)結(jié)果，

(c)標(biāo)簽參考圖，(d)閾值法分割結(jié)果，

(e)CNN分割結(jié)果，(f)本方法分割結(jié)果

圖6不同關(guān)鍵點(diǎn)選取方法在在像素誤差和處理時(shí)間上的對(duì)比圖；

圖7為不同分割方法在像素誤差和處理時(shí)間上的對(duì)比圖；

具體實(shí)施方式

本發(fā)明將超像素原理與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，提供了一種基于超像素聚類(lèi)優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)(SP-CNN)的云圖像分割方法。該發(fā)明的實(shí)現(xiàn)步驟如下：

1、圖片預(yù)處理

本發(fā)明的數(shù)據(jù)集主要有訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集三個(gè)方面，其中訓(xùn)練樣本集和驗(yàn)證樣本集均需要利用手工標(biāo)注的groundtruth圖來(lái)獲取標(biāo)簽，對(duì)于訓(xùn)練樣本集標(biāo)簽用作訓(xùn)練CNN網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，對(duì)于驗(yàn)證樣本集標(biāo)簽用作檢測(cè)網(wǎng)絡(luò)的準(zhǔn)確性。樣本集和驗(yàn)證集的標(biāo)簽具體生成操作如下：

(1)生成groundtruth。如圖5所示，(a)為原始云圖，(c)為利用Photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域以黑白顏色區(qū)分后標(biāo)注的原始云圖所對(duì)應(yīng)的groundtruth。本發(fā)明共有120張?jiān)蒲葑儓D及其相應(yīng)的groundtruth圖，每張?jiān)茍D和groundtruth圖像的尺寸均為719*490。因?yàn)橐鉀Q“云”和“非云”混合比較嚴(yán)重情況下的分割問(wèn)題，為了使訓(xùn)練模型具有足夠的針對(duì)性、多樣性以及靈活性，我們選取了20張“云”和“非云”區(qū)域混合比較嚴(yán)重的圖像，并選中與之對(duì)應(yīng)的groundtruth圖，用于下一步的CNN網(wǎng)絡(luò)訓(xùn)練的訓(xùn)練樣本集和驗(yàn)證樣本集的生成。

(2)圖像尺寸調(diào)整。為了保證在訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集采樣時(shí)，可以完整采集整張圖像的每一個(gè)像素點(diǎn)，我們首先對(duì)云演變圖的尺寸進(jìn)行了調(diào)整，原尺寸為719*490的云圖像的上下左右四個(gè)邊界各增補(bǔ)了28個(gè)像素的白色背景圖像邊界，此時(shí)圖像變?yōu)?75*546，對(duì)于groundtruth圖，我們也采取同樣的方法調(diào)整尺寸。

(3)樣本集的采集和標(biāo)簽生成。對(duì)于120張尺寸為775*546的云演變圖及其對(duì)應(yīng)的groundtruth圖，我們選擇其中的15張用于訓(xùn)練，5張用于驗(yàn)證訓(xùn)練網(wǎng)絡(luò)的優(yōu)劣，剩余100張用作實(shí)際的分割算法的對(duì)比實(shí)驗(yàn)測(cè)試，具體操作如下：

a.裁剪出350張以775*546的云演變圖中像素點(diǎn)p為中心、56為邊長(zhǎng)、56*56大小的圖像C1，其包含該像素點(diǎn)周?chē)南袼靥卣?，這些圖像用于訓(xùn)練CNN網(wǎng)絡(luò)。同樣的，裁剪出150張用于驗(yàn)證CNN網(wǎng)絡(luò)。這里需要注意的是，在訓(xùn)練集和驗(yàn)證集的構(gòu)建中，不同于通常情況下的等概率隨機(jī)采樣，本發(fā)明采取內(nèi)容引導(dǎo)的采樣方法，對(duì)于區(qū)域不包含“云”或“非云”信息的積背景區(qū)域，圖像特征過(guò)少，對(duì)我們訓(xùn)練集、驗(yàn)證集的針對(duì)性、多樣性以及靈活性都無(wú)法起到幫助，因此采樣密度較小。而對(duì)于“云”或“非云”較集中的區(qū)域，包含了大量的有效信息，我們進(jìn)行了高密度采樣。

b.對(duì)于a中的每一個(gè)像素點(diǎn)p，我們都可以在其所對(duì)應(yīng)的groundtruth圖中找到對(duì)應(yīng)的像素點(diǎn)p’，根據(jù)該像素點(diǎn)在groundtruth圖中的標(biāo)簽屬性，以列表的形式制作訓(xùn)練標(biāo)簽的文本文件，其格式為“絕對(duì)路徑/圖像名稱標(biāo)簽屬性”，其中每個(gè)像素點(diǎn)的標(biāo)簽屬性“云”或“非云”，用1或0表示。對(duì)于訓(xùn)練集合的所有圖像，我們需要保留其標(biāo)簽文本文件作為訓(xùn)練CNN網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)；對(duì)于驗(yàn)證集合的所有圖像，我們將驗(yàn)證樣本通過(guò)訓(xùn)練集生成的網(wǎng)絡(luò)模型得到判斷的結(jié)果，并利用標(biāo)簽文本文件來(lái)檢驗(yàn)我們的網(wǎng)絡(luò)模型的準(zhǔn)確程度；而對(duì)于測(cè)試集，我們不需要生成標(biāo)簽，我們需要利用其groundtruth圖與分割結(jié)果圖進(jìn)行對(duì)比，來(lái)評(píng)價(jià)網(wǎng)絡(luò)的主觀性與客觀性。需要注意的是為了客觀驗(yàn)證網(wǎng)絡(luò)的準(zhǔn)確性，三個(gè)樣本集合之間應(yīng)當(dāng)不相交。

2、卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

本發(fā)明采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，是利用AlexNet網(wǎng)絡(luò)對(duì)ImageNet庫(kù)中的圖像進(jìn)行調(diào)優(yōu)過(guò)程得到的。ImageNet是擁有千萬(wàn)級(jí)數(shù)量級(jí)的圖像數(shù)據(jù)庫(kù)，對(duì)于數(shù)據(jù)程度有限及工作量的原因，我們很難制作同樣級(jí)別的數(shù)據(jù)庫(kù)來(lái)重新訓(xùn)練網(wǎng)絡(luò)，同時(shí)，參數(shù)的選擇、數(shù)據(jù)的選優(yōu)以及網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整也都是在短時(shí)間內(nèi)難以實(shí)現(xiàn)的。因此調(diào)優(yōu)過(guò)程的出現(xiàn)，就成為一個(gè)比較理想的選擇。

該網(wǎng)絡(luò)由5個(gè)卷積層、3個(gè)全連接層組成，并且只給卷積層C1、卷積層C2和卷積層C5加入了pooling層。F1到F3是全連接層，相當(dāng)于在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)器。需要注意的一點(diǎn)是，我們將AlexNet中F3的神經(jīng)元個(gè)數(shù)由1000調(diào)為2，原因是為了實(shí)現(xiàn)“云”和“非云”的2分類(lèi)。具體的微調(diào)過(guò)程如下：

首先。不論輸入的圖像尺寸為多少，為了方便訓(xùn)練，圖片尺寸都會(huì)被重置縮放為227*227，我們這里輸入的是尺寸為D*D的圖像，并以紅色、綠色、藍(lán)色三個(gè)顏色維度輸入網(wǎng)絡(luò)，數(shù)據(jù)量大小為227*227*3。

如圖2所示，C1到C5均為卷積層，以卷積層C1為例，其卷積濾波器的大小是11*11，卷積步幅為4，該層共96個(gè)卷積濾波器，故輸出是96個(gè)55*55大小的圖片。在C1卷積濾波后，加入線性糾正函數(shù)ReLU來(lái)加速收斂，防止其過(guò)度震蕩。核大小為3，步長(zhǎng)為2的最大池采樣層的引入，使得通過(guò)卷積獲得的特征具有空間不變性，解決了特征的旋轉(zhuǎn)不變形，同時(shí)對(duì)卷積特征進(jìn)行降維，大大減少了計(jì)算量，得到96個(gè)27*27大小的圖像。

同理，通過(guò)卷積核的大小為5、填充為2、卷積步幅為1、共有256個(gè)卷積濾波器的卷積層C2，得到256個(gè)27*27大小的圖像，通過(guò)最大池采樣層后降維到13*13的圖像。通過(guò)卷積核大小為3、填充為1、卷積步幅為1、共有384個(gè)濾波器的卷積層C3，得到384個(gè)27*27大小的圖像。通過(guò)卷積層C4得到384個(gè)13*13大小的圖像。通過(guò)卷積層C5則得到256個(gè)6*6大小的圖像。

如圖2所示，全連接層F1到F3，是在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接層神經(jīng)網(wǎng)絡(luò)分類(lèi)器。全連接層由線性部分和非線性部分兩部分組成：線性部分是對(duì)輸入數(shù)據(jù)做不同角度的分析，得出該角度下對(duì)整體輸入數(shù)據(jù)的判斷；非線性部分的作用就是打破之前的線性映射關(guān)系，作數(shù)據(jù)的歸一化，不管前面的線性部分做了怎樣的工作，到了非線性這里，所有的數(shù)值將被限制在一個(gè)范圍內(nèi)，這樣后面的網(wǎng)絡(luò)層如果要基于前面層的數(shù)據(jù)繼續(xù)計(jì)算，這個(gè)數(shù)值就相對(duì)可控了。將這兩部分合在一起，其目的是將將龐大而雜亂的數(shù)據(jù)進(jìn)行降維，最后得到一個(gè)能夠達(dá)到分割目的的有效范圍。全連接層F1和全連接層F2對(duì)數(shù)據(jù)進(jìn)行線性變化和非線性變化，把6*6*256維的降維到4096。最后，全連接層F3將數(shù)據(jù)降維成2維，也就是本發(fā)明中“云”和“非云”二類(lèi)。利用二分類(lèi)，我們實(shí)現(xiàn)云演變圖的分割。

3、像素聚類(lèi)及關(guān)鍵點(diǎn)選取

超像素就是把一幅原本是像素級(jí)的圖，劃分成區(qū)域級(jí)的圖。本方法中，超像素的實(shí)現(xiàn)方式是均值漂移算法(MeanShift)。均值漂移算法在聚類(lèi)、圖像平滑、跟蹤等方面有著廣泛的應(yīng)用，它是由Fukunage在1975年提出的，指的是一個(gè)迭代的步驟，即先算出當(dāng)前點(diǎn)的偏移均值，然后以此為新的起始點(diǎn)，繼續(xù)移動(dòng)，直到滿足一定的結(jié)束條件。

這個(gè)算法包含兩個(gè)底層視覺(jué)的任務(wù)，區(qū)域平滑以及圖像分割。首先對(duì)于圖像的每一個(gè)像素點(diǎn)，均值漂移算法對(duì)它執(zhí)行下面的操作：計(jì)算該點(diǎn)鄰域的像素均值，再把該像素點(diǎn)移動(dòng)到它鄰域中所有像素點(diǎn)的灰度值的均值位置，并不斷重復(fù)到每一個(gè)像素點(diǎn)之上，直到這些像素都擁有相同的視覺(jué)特征，如顏色、紋理、梯度等，準(zhǔn)確的說(shuō)，不是真正移動(dòng)像素點(diǎn)，而是把該像素點(diǎn)與它的收斂位置的像素點(diǎn)標(biāo)記為同一類(lèi)。

通過(guò)這個(gè)算法，就可以將一副完成的圖像，劃分成若干個(gè)不同的超像素，如圖4所示。

對(duì)于每一個(gè)超像素，本方法將這些超像素的每一個(gè)像素點(diǎn)向量化，即將這些像素點(diǎn)的坐標(biāo)值作為向量中的一個(gè)元素，從該向量中等間隔采樣5個(gè)像素點(diǎn)，作為超像素的關(guān)鍵點(diǎn)。

為了進(jìn)一步證明本方法是準(zhǔn)確且高效的，我們利用整個(gè)實(shí)驗(yàn)中的100張圖片對(duì)比了隨機(jī)采樣1、3、5、7點(diǎn)，和等間隔采樣1、3、5、7點(diǎn)，結(jié)果如圖6所示，通過(guò)對(duì)比圖可以看出，由于隨機(jī)采樣具有不確定性，其準(zhǔn)確性相對(duì)于等間隔采樣均有下降，而對(duì)于相似準(zhǔn)確性的等間隔采樣5點(diǎn)和等間隔采樣7點(diǎn)兩種方法，等間隔采樣5點(diǎn)的處理效率要更高，所以本方法最終確定采用等間隔采樣5點(diǎn)作為關(guān)鍵點(diǎn)選取的依據(jù)。

在采樣過(guò)程中，因考慮到邊界兩側(cè)的超像素可能屬于不同的分類(lèi)，故本方法在采樣過(guò)程中對(duì)超像素做了腐蝕處理，其原理為，以超像素中的每一個(gè)像素為中心點(diǎn)，將此像素點(diǎn)與其四鄰域上的像素點(diǎn)一一比對(duì)，如果此5個(gè)像素點(diǎn)均屬于此超像素，那么保留此中心點(diǎn)，否則該點(diǎn)被視為超像素邊界，并將該點(diǎn)去掉。其目的是縮小等間隔采樣的范圍，使其盡可能地不落在超像素的邊緣，以避免邊界因素對(duì)超像素識(shí)別造成的影響。

通過(guò)超像素聚類(lèi)，我們把原本是十萬(wàn)數(shù)量級(jí)的像素點(diǎn)轉(zhuǎn)化為幾千個(gè)的超像素，為后續(xù)的方法打下基礎(chǔ)。

4、基于區(qū)域內(nèi)容引導(dǎo)的圖像分割

本發(fā)明將圖像分割算法轉(zhuǎn)化為對(duì)圖像的某些含有相同邊緣、紋理等特征的區(qū)域的識(shí)別，不用于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)整張圖片的所有像素點(diǎn)一一進(jìn)行圖像識(shí)別分類(lèi)，本發(fā)明選取了某一區(qū)域有代表性的5個(gè)關(guān)鍵點(diǎn)，并對(duì)這5個(gè)點(diǎn)一一做圖像識(shí)別分類(lèi)，將這五個(gè)結(jié)果加權(quán)得到本超像素區(qū)域最終的分割結(jié)果，將此方法用于對(duì)整張圖的所有超像素區(qū)域，并利用其分類(lèi)結(jié)果對(duì)圖像進(jìn)行分割。對(duì)于某一塊超像素而言，其所對(duì)應(yīng)的分類(lèi)結(jié)果滿足以下公式：

R＝r₁*ω₁+r₂*ω₂+r₃*ω₃+r₄*ω₄+r₅*ω₅ (5)

其中R表示該超像素的識(shí)別結(jié)果，r1、r2、r3、r4和r5為五個(gè)點(diǎn)為中心的子圖的識(shí)別結(jié)果，ω₁、ω₂、ω₃、ω₄和ω₅為其相應(yīng)的權(quán)重，本發(fā)明中，由于這五個(gè)點(diǎn)是利用等間隔采樣取得的，故我們對(duì)其賦予相同的權(quán)重，即ω₁、ω₂、ω₃、ω₄和ω₅均為0.2。

利用本方法，就可以把原本含有成百上千個(gè)像素點(diǎn)的超像素區(qū)域的圖像識(shí)別轉(zhuǎn)化為對(duì)其中的5個(gè)點(diǎn)的圖像識(shí)別，大大地提升了算法的運(yùn)算效率。如圖5所示，(a)為原始云圖，(b)為(a)超像素聚類(lèi)的結(jié)果，(c)為(a)所對(duì)應(yīng)的groundtruth，(d)為利用閾值法的分割結(jié)果，(e)利用MR-CNN的分割結(jié)果，(f)為(a)本方法的分割結(jié)果。

5、分割評(píng)價(jià)

由于卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分割領(lǐng)域的精度已經(jīng)非常高，故本發(fā)明除了采用像素誤差的評(píng)價(jià)方法來(lái)衡量分割結(jié)果，還引入了程序運(yùn)行時(shí)間作為標(biāo)準(zhǔn)。

像素誤差反映了分割圖片與原始標(biāo)簽的像素相似度，其計(jì)算方法是統(tǒng)計(jì)給定待測(cè)的分割標(biāo)簽L中每一個(gè)像素點(diǎn)以及其真實(shí)的數(shù)據(jù)標(biāo)簽L’中每一個(gè)像素點(diǎn)的漢明距：

E_pixcel＝||L-L’||² (6)

按照這種方法，本發(fā)明試驗(yàn)于120張?jiān)蒲葑儓D上，最后將云圖的分割準(zhǔn)確度達(dá)到了99.55％，相較于利用MR-CNN以及閾值法對(duì)相同的數(shù)據(jù)集分割，得到的99.36％和96.7％的結(jié)果有了進(jìn)一步提升，分割結(jié)果及對(duì)比結(jié)果如圖7所示。

同時(shí)，在處理速度上，精度與之接近的MR-CNN需要用17615秒，而SP-CNN平均分割一張圖像只需要33.12秒，效率上提升了約530倍，可以證明本方法是一種既有效又快速的方法。