開(kāi)篇：寫(xiě)作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇神經(jīng)網(wǎng)絡(luò)算法，希望這些內(nèi)容能成為您創(chuàng)作過(guò)程中的良師益友，陪伴您不斷探索和進(jìn)步。

第1篇

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計(jì)與生產(chǎn)進(jìn)入了納米時(shí)代，計(jì)算機(jī)的計(jì)算能力與計(jì)算速度得到了空前的提高，但是人們的需求是無(wú)限的，要求計(jì)算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計(jì)算機(jī)本身能像人一樣識(shí)別與感知周圍的環(huán)境，并對(duì)復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計(jì)算機(jī)能對(duì)為的環(huán)境做出識(shí)別與判斷也就要求計(jì)算機(jī)能夠智能的識(shí)別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域。通過(guò)深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來(lái)抽取目標(biāo)特征進(jìn)而識(shí)別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在感知識(shí)別周圍環(huán)境的能力有了巨大的提升，使得計(jì)算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類識(shí)別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運(yùn)用。

1.1 國(guó)內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過(guò)BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計(jì)信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計(jì)信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來(lái)，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對(duì)人類感知的理解，迄今已在語(yǔ)音識(shí)別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語(yǔ)音識(shí)別，自然語(yǔ)言處理等領(lǐng)域有廣泛的運(yùn)用。

2013年百度成立百度深度學(xué)習(xí)研究院以來(lái)我國(guó)的人工智能領(lǐng)域取得了長(zhǎng)足的進(jìn)步。在人工智能專家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無(wú)人駕駛技術(shù)，DuerOS語(yǔ)音交互計(jì)算平臺(tái)，人臉識(shí)別技術(shù)，美樂(lè)醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識(shí)別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說(shuō)人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新方向，通過(guò)學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識(shí)別，語(yǔ)音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過(guò)特征表達(dá)和分類器來(lái)進(jìn)行目標(biāo)識(shí)別等任務(wù)的。并在語(yǔ)音識(shí)別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個(gè)隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實(shí)驗(yàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測(cè)試的復(fù)雜度大幅度降低，同時(shí)也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過(guò)擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對(duì)上一層的圖像進(jìn)行卷積運(yùn)算，提取圖像特征，下采樣核則是對(duì)上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識(shí)別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無(wú)關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時(shí)的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運(yùn)算量。LeNet5算法在1962年幼Hubel等人提出，在識(shí)別手寫(xiě)數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對(duì)比分析

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像進(jìn)行識(shí)別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識(shí)別圖像，但是在現(xiàn)實(shí)生活運(yùn)用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對(duì)位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對(duì)圖像中目標(biāo)進(jìn)行識(shí)別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫(xiě)即對(duì)圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對(duì)物體探測(cè)中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計(jì)算機(jī)視覺(jué)算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時(shí)一般采用經(jīng)過(guò)預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費(fèi)本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類器對(duì)特征向量進(jìn)行分類，在訓(xùn)練SVMs時(shí)將候選框經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測(cè)試時(shí)將圖像全部候選框經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評(píng)分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對(duì)一張圖片1000-2000個(gè)候選區(qū)圖像進(jìn)行前向運(yùn)算，保存所有后選取圖片的特征值，要求計(jì)算硬件有大量的存儲(chǔ)空間，同時(shí)處理每一張圖片的時(shí)間也會(huì)增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲(chǔ)的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢(shì)，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計(jì)算的時(shí)間成本很大，達(dá)不到實(shí)時(shí)的計(jì)算效果，R-CNN在對(duì)候選區(qū)進(jìn)行處理時(shí)會(huì)使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個(gè)輸出，引入了Rol層。

Fast-R-CNN在運(yùn)行的時(shí)候同樣會(huì)生成大量的候選區(qū)，同時(shí)將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個(gè)候選區(qū)生成一個(gè)固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計(jì)算K+1分類的損失，K為第K個(gè)目標(biāo)，1為背景；Regression LOSS計(jì)算候選區(qū)的四個(gè)角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計(jì)算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實(shí)驗(yàn)測(cè)試

對(duì)于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)平臺(tái)為基于Linux系統(tǒng)的debian8下運(yùn)行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實(shí)驗(yàn)。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實(shí)現(xiàn)的訓(xùn)練樣本為錄制實(shí)驗(yàn)室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對(duì)每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬(wàn)張樣本圖片，其中136.8萬(wàn)張圖片作為訓(xùn)練樣本，7.2萬(wàn)張作為測(cè)試樣本。

6 總結(jié)

在目標(biāo)識(shí)別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對(duì)圖像的識(shí)別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識(shí)別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對(duì)一張圖片需要進(jìn)行1000-2000次的卷積運(yùn)算，特征重復(fù)提取。因此在訓(xùn)練和前向測(cè)試時(shí)，R-CNN用的時(shí)間長(zhǎng)，不能很好的適用于處理實(shí)時(shí)圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對(duì)每個(gè)候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測(cè)試時(shí)間的同時(shí)也需要耗費(fèi)大量?jī)?nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運(yùn)用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第2篇

（①昆明理工大學(xué)國(guó)土資源與工程學(xué)院，昆明 650093；②黃河勘測(cè)規(guī)劃設(shè)計(jì)有限公司，鄭州 450003）

（①Faculty of Land Resource Engineering，Kunming University of science and Technology，Kunming 650093，China；

②The Yellow River Survey Planning and Design Co.，Ltd.，Zhengzhou 450003，China）

摘要： 隨著神經(jīng)網(wǎng)絡(luò)理論的深入研究，神經(jīng)網(wǎng)絡(luò)已在圖像的分類中起到非常重要的地位。本文章使用IDL語(yǔ)言來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)在權(quán)值調(diào)整過(guò)程算法優(yōu)化，并在ENVI上集成，已達(dá)到神經(jīng)網(wǎng)絡(luò)分類速度快，且精度可靠的目的。

Abstract： With the deep research in the theory of neural network, neural network has played a very important role in the classification of the image. This article uses the IDL language to implement the algorithm to optimize the weights of neural network to the adjustment process, and on the ENVI integration, has reached the neural network classification speed, precision and reliable.

關(guān)鍵詞 ： 神經(jīng)網(wǎng)絡(luò)；圖像分類；ENVI；IDL；集成；精度

Key words： neural network；image classification；ENVI；IDL；integration；precision

中圖分類號(hào)：P237 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1006-4311（2015）06-0234-02

0 引言

ENVI是一套功能強(qiáng)大的遙感圖像處理軟件，在ENVI上進(jìn)行遙感圖像分類中有很多方法，如神經(jīng)網(wǎng)絡(luò)、最大似然、最小距離、 ISODATA算法、決策樹(shù)和面向?qū)ο蟮确诸惙椒ǎ窠?jīng)網(wǎng)絡(luò)在分類時(shí)比其它分類所花費(fèi)時(shí)間要長(zhǎng)，且速度很慢，因?yàn)閺乃惴C(jī)理可知神經(jīng)網(wǎng)絡(luò)在權(quán)值調(diào)整時(shí)是迭代收斂的過(guò)程，其分類過(guò)程自然很慢。針對(duì)此問(wèn)題，決定使用IDL語(yǔ)言來(lái)編程優(yōu)化算法。

1 IDL的語(yǔ)言環(huán)境

IDL（Interactive Data Language）是美國(guó)RSI公司推出的面向矩陣的第四代計(jì)算機(jī)語(yǔ)言，它語(yǔ)法簡(jiǎn)單，自帶大量的功能函數(shù)，使用很少的代碼就能實(shí)現(xiàn)其它語(yǔ)言很難實(shí)現(xiàn)的功能。IDL是進(jìn)行數(shù)據(jù)分析、可視化及跨平臺(tái)應(yīng)用開(kāi)發(fā)的最佳選擇，利用IDL可以快速地進(jìn)行科學(xué)數(shù)據(jù)讀寫(xiě)、圖像處理、集成數(shù)學(xué)統(tǒng)計(jì)、信號(hào)分析、數(shù)值計(jì)算和三維圖像建模等。IDL集可視、交互分析、大型商業(yè)開(kāi)發(fā)為一體，為您提供了最完善、最靈活最有效的開(kāi)發(fā)環(huán)境。

IDL的開(kāi)發(fā)應(yīng)用已經(jīng)深入到了人類日常生活的方方面面，給人類對(duì)未知領(lǐng)域的探索與發(fā)現(xiàn)提供了強(qiáng)有力的工具，推動(dòng)了人類向前發(fā)展。對(duì)IDL的語(yǔ)言環(huán)境熟悉之后，緊接著就開(kāi)始針對(duì)目前存在的基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類問(wèn)題進(jìn)行改進(jìn)，并結(jié)合ENVI軟件，使用IDL語(yǔ)言設(shè)計(jì)出改進(jìn)后的優(yōu)化算法。

2 ENVI中基于神經(jīng)網(wǎng)絡(luò)分類的剖析

ENVI中采用的神經(jīng)網(wǎng)絡(luò)屬于BP網(wǎng)絡(luò)，含有輸入層、輸出層以及處于輸入輸出層之間的隱含層，如果進(jìn)行非線性分類，輸入的區(qū)域并非線性分類或需要兩個(gè)超平面才能區(qū)分類別時(shí)候，隱層數(shù)設(shè)置為大于或等于一。隱含層的狀態(tài)影響輸入與輸出之間的關(guān)系，改變隱含層的權(quán)系數(shù)，可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

ENVI中采用的BP神經(jīng)網(wǎng)絡(luò)通過(guò)誤差函數(shù)的最小化過(guò)程來(lái)完成輸入到輸出的映射。為了完成最小化過(guò)程，這種BP反向傳播算法分正向傳播和反向傳播兩步進(jìn)行。在正向傳播中，輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱含層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響；在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較,如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。在反向傳播過(guò)程中，反向傳播把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，反復(fù)修改（這是個(gè)迭代的過(guò)程）各節(jié)點(diǎn)的權(quán)重和閾值，逐漸減小誤差，直到達(dá)到預(yù)先設(shè)定的要求。當(dāng)誤差小于某一相當(dāng)小的正數(shù)或迭代誤差不再減少時(shí)，完成BP網(wǎng)絡(luò)的訓(xùn)練、輸入與輸出的映射的確定。

我們的落腳點(diǎn)是在BP網(wǎng)絡(luò)的反向傳播過(guò)程中網(wǎng)絡(luò)各節(jié)點(diǎn)權(quán)值的迭代調(diào)整，但是該網(wǎng)絡(luò)在此方面存在缺陷，就是迭代時(shí)間長(zhǎng)，尤其對(duì)處理大數(shù)據(jù)，需要花費(fèi)很長(zhǎng)時(shí)間才能達(dá)到收斂。針對(duì)BP網(wǎng)絡(luò)中學(xué)習(xí)算法收斂速度慢的缺點(diǎn)，運(yùn)用數(shù)學(xué)中埃特金加速收斂算法，對(duì)傳統(tǒng)的BP算法進(jìn)行改進(jìn)，然后使用IDL語(yǔ)言進(jìn)行匯編，最后在ENVI上進(jìn)行功能的擴(kuò)展，已達(dá)到適用的生產(chǎn)目的。

3 編寫(xiě)迭代函數(shù)

為了能在ENVI菜單上調(diào)用埃特金迭代收斂函數(shù)，需要在ENVI菜單中創(chuàng)建一個(gè)新的菜單項(xiàng)，并定義一個(gè)此用戶函數(shù)。這個(gè)用戶函數(shù)可以通過(guò)在ENVI菜單中選擇這個(gè)新的菜單項(xiàng)來(lái)進(jìn)行調(diào)用。具體工程如下：

①在現(xiàn)有的ENVI菜單基礎(chǔ)上創(chuàng)建新的功能菜單，首先用文本編輯器打開(kāi)envi.men文件，添加如下部分：

PRO MY_PROCESS_DEFINE_BUTTONS, buttonInfo

COMPILE_OPT IDL2

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘New Function’, $

/MENU, REF_VALUE = ‘Supervised’, REF_INDEX = 0, $

POSITION = ‘last’

ENVI_DEFINE_MENU_BUTTON, buttonInfo, VALUE = ‘Function1’, $

UVALUE = ‘Function 1’, EVENT_PRO = ‘my_process_event’, $

REF_VALUE = ‘New Function’

END

如果ENVI已經(jīng)打開(kāi)，需要關(guān)閉并重新啟動(dòng)ENVI,然后在ENVI主菜單上，會(huì)看到Classification菜單下的Supervised的子菜單內(nèi)增加了新的菜單“New Function”。

②編寫(xiě)迭代函數(shù)。在運(yùn)行ENVI的IDL開(kāi)發(fā)環(huán)境中，迭代功能函數(shù)的部分代碼如下：

ENVI_NEURAL_NET_DOIT

FUNCTION bm_func,X,[X0，X1……Xn]

nx=Xn,

t = FINDGEN(nx-X)

… … … … …

4 實(shí)驗(yàn)過(guò)程與精度評(píng)定

本實(shí)驗(yàn)主要運(yùn)用ENVI4.8版本圖像處理軟件進(jìn)行圖像分類，使用的數(shù)據(jù)是網(wǎng)上下載的經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的Landsat5 TM研究區(qū)影像。調(diào)用迭代函數(shù)開(kāi)始進(jìn)行基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分類，其分類時(shí)間所反映的進(jìn)度條如圖1所示，以及最終的迭代均方根訓(xùn)練函數(shù)如圖2所示。

在神經(jīng)網(wǎng)絡(luò)分類結(jié)束后，所花費(fèi)時(shí)間很短，分類速度很快，具體的分類結(jié)果圖如圖3所示。對(duì)調(diào)用迭代函數(shù)的神經(jīng)網(wǎng)絡(luò)分類結(jié)果進(jìn)行精度分析，使用混淆矩陣，具體報(bào)表如圖4所示。從混淆矩陣報(bào)表可知，總體分類精度為94.2374%，其Kappa系數(shù)為0.9272，分類效果很好，精度很高，滿足要求。

5 結(jié)束語(yǔ)

ENVI上調(diào)用迭代函數(shù)的神經(jīng)網(wǎng)絡(luò)總體上比原來(lái)的神經(jīng)網(wǎng)絡(luò)分類要優(yōu)越，其鮮明的特色就是分類速度快，精度也高。這大大提速原有的神經(jīng)網(wǎng)絡(luò)分類速度，尤其在處理大數(shù)據(jù)優(yōu)越明顯。但是ENVI上仍存在神經(jīng)網(wǎng)絡(luò)分類單一化現(xiàn)象，怎樣使其減少人為的干預(yù)，使其更智能化是今后的研究趨勢(shì)。

參考文獻(xiàn)：

[1]董彥卿.IDL程序設(shè)計(jì)—數(shù)據(jù)可視化與ENVI二次開(kāi)發(fā)[M].北京：高等教育出版社，2012.

第3篇

關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自組織學(xué)習(xí)

模糊神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)80年代后期的日本,由于其簡(jiǎn)單、實(shí)用,已經(jīng)被廣泛應(yīng)用在工業(yè)控制、系統(tǒng)辨識(shí)、模式識(shí)別、數(shù)據(jù)挖掘等許多領(lǐng)域[1~4]。然而,如何從可用的數(shù)據(jù)集和專家知識(shí)中獲取合適的規(guī)則數(shù)仍然是一個(gè)尚未解決的問(wèn)題。為了獲取模糊規(guī)則,研究人員提出了不同的算法,如文獻(xiàn)[5]利用正交最小二乘算法確定徑向基函數(shù)的中心,但是該算法訓(xùn)練速度比較慢;文獻(xiàn)[6]提出了基于徑向基函數(shù)的自適應(yīng)模糊系統(tǒng),其算法使用了分層自組織學(xué)習(xí)策略,但是逼近精度低。擴(kuò)展卡爾曼濾波(EKF)算法作為一種非線性更新算法,在神經(jīng)網(wǎng)絡(luò)中得到了廣泛應(yīng)用。文獻(xiàn)[7]利用擴(kuò)展卡爾曼濾波算法調(diào)整多層感知器的權(quán)值,文獻(xiàn)[8]利用擴(kuò)展卡爾曼濾波算法調(diào)整徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。

本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自組織學(xué)習(xí)算法(SFNN)。該算法基于無(wú)須修剪過(guò)程的生長(zhǎng)準(zhǔn)則增加模糊規(guī)則,加速了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程,同時(shí)使用EKF調(diào)整網(wǎng)絡(luò)的參數(shù)。在該算法中,模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不是預(yù)先設(shè)定的,而是在學(xué)習(xí)過(guò)程中動(dòng)態(tài)變化的,即在學(xué)習(xí)開(kāi)始前沒(méi)有一條模糊規(guī)則,在學(xué)習(xí)過(guò)程中逐漸增加模糊規(guī)則。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比,本算法所得到的模糊規(guī)則數(shù)并不會(huì)隨著輸入變量的增加而呈指數(shù)增長(zhǎng),特別是本算法無(wú)須領(lǐng)域的專家知識(shí)就可以實(shí)現(xiàn)對(duì)系統(tǒng)的自動(dòng)建模及抽取模糊規(guī)則。當(dāng)然,如果設(shè)計(jì)者是領(lǐng)域?qū)＜?其知識(shí)也可以直接用于系統(tǒng)設(shè)計(jì)。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)小、避免出現(xiàn)過(guò)擬合現(xiàn)象等特點(diǎn)。

1SFNN的結(jié)構(gòu)

本文采用與文獻(xiàn)[9]相似的網(wǎng)絡(luò)結(jié)構(gòu),如圖1所示。其中,r是輸入變量個(gè)數(shù);xi(i=1,2,…,r)是輸入語(yǔ)言變量;y是系統(tǒng)的輸出;MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù);Rj表示第j條模糊規(guī)則;wj是第j條規(guī)則的結(jié)果參數(shù);u是系統(tǒng)總的規(guī)則數(shù)。

下面是對(duì)該網(wǎng)絡(luò)各層含義的詳細(xì)描述。

第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語(yǔ)言變量。

第二層:隸屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬函數(shù),隸屬函數(shù)采用如下的高斯函數(shù):

μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)

其中:r是輸入變量數(shù);u是隸屬函數(shù)個(gè)數(shù),也代表系統(tǒng)的總規(guī)則數(shù);μij是xi的第j個(gè)高斯隸屬函數(shù);cij是xi的第j個(gè)高斯隸屬函數(shù)的中心;σij是xi的第j個(gè)高斯隸屬函數(shù)的寬度。

第三層:T-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分,也代表一個(gè)RBF單元,該層節(jié)點(diǎn)個(gè)數(shù)反映了模糊規(guī)則數(shù)。如果計(jì)算每個(gè)規(guī)則觸發(fā)權(quán)的T-范數(shù)算子是乘法,則在第三層中第j條規(guī)則Rj的輸出為

φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)

第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量,該輸出是所有輸入變量的疊加。

y(X)=uj=1wjφj(3)

其中:y是網(wǎng)絡(luò)的輸出;wj是Then-部分。

2SFNN的學(xué)習(xí)算法

如前文所述,第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分或者一個(gè)RBF單元。如果需要辨識(shí)系統(tǒng)的模糊規(guī)則數(shù),則不能預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。于是,本文提出一種新的學(xué)習(xí)算法,該算法可以自動(dòng)確定系統(tǒng)的模糊規(guī)則并能達(dá)到系統(tǒng)的特定性能。

2.1模糊規(guī)則的產(chǎn)生準(zhǔn)則

在模糊神經(jīng)網(wǎng)絡(luò)中,如果模糊規(guī)則數(shù)太多,不僅增加系統(tǒng)的復(fù)雜性,而且增加計(jì)算負(fù)擔(dān)和降低網(wǎng)絡(luò)的泛化能力;如果規(guī)則數(shù)太少,系統(tǒng)將不能完全包含輸入/輸出狀態(tài)空間,將降低網(wǎng)絡(luò)的性能。是否加入新的模糊規(guī)則取決于系統(tǒng)誤差、可容納邊界和誤差下降率三個(gè)重要因素。

2.1.1系統(tǒng)誤差

誤差判據(jù):對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(xi,ti),其中xi是輸入向量,ti是期望輸出,由式(3)計(jì)算網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的全部輸出yi。

定義:ei=ti-yi;i=1,2,…,n(4)

如果ei>keke=max(5)

則說(shuō)明網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的性能比較差,要考慮增加一條新的規(guī)則;否則,不生成新規(guī)則。其中:ke是根據(jù)網(wǎng)絡(luò)期望的精度預(yù)先選擇的值;emax是預(yù)定義的最大誤差;emin是期望的輸出精度;β(0<β<1)是收斂因子。

2.1.2可容納邊界

從某種意義上來(lái)講,模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)是對(duì)輸入空間的高效劃分。模糊神經(jīng)網(wǎng)絡(luò)的性能和結(jié)構(gòu)與輸入隸屬函數(shù)緊密相關(guān)。本文使用的是高斯隸屬函數(shù),高斯函數(shù)輸出隨著與中心距離的增加而單調(diào)遞減。當(dāng)輸入變量采用高斯隸屬函數(shù)時(shí),則認(rèn)為整個(gè)輸入空間由一系列高斯隸屬函數(shù)所劃分。如果某個(gè)新樣本位于某個(gè)已存在的高斯隸屬函數(shù)覆蓋范圍內(nèi),則該新樣本可以用已存在的高斯隸屬函數(shù)表示,不需要網(wǎng)絡(luò)生成新的高斯單元。

可容納邊界:對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(xi,ti),計(jì)算第i個(gè)輸入值xi與已有RBF單元的中心cj之間的距離di(j),即

di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)

其中:u是現(xiàn)有的模糊規(guī)則或RBF單元的數(shù)量。令

di,min=argmin(di(j))(7)

如果di,min>kd,kd=max[dmax×γi,dmin](8)

則說(shuō)明已存在的輸入隸屬函數(shù)不能有效地劃分輸入空間。因此,需要增加一條新的模糊規(guī)則,否則,觀測(cè)數(shù)據(jù)可以由已存在的距離它最近的RBF單元表示。其中:kd是可容納邊界的有效半徑;dmax是輸入空間的最大長(zhǎng)度;dmin是所關(guān)心的最小長(zhǎng)度;γ(0<γ<1)是衰減因子論文。

2.1.3誤差下降率

傳統(tǒng)的學(xué)習(xí)算法把誤差減少率(ERR)[5]用于網(wǎng)絡(luò)生長(zhǎng)后的修剪過(guò)程,算法會(huì)因?yàn)樾藜暨^(guò)程而增加計(jì)算負(fù)擔(dān),降低學(xué)習(xí)速度。本文把誤差減少率用于生長(zhǎng)過(guò)程形成一種新的生長(zhǎng)準(zhǔn)則,算法無(wú)須經(jīng)過(guò)修剪過(guò)程,從而加速網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。

給定n個(gè)輸入/輸出數(shù)據(jù)對(duì)(xi,ti),t=1,2,…,n,把式(3)看做線性回歸模型的一種特殊情況,該線性回歸模型為

t(i)=uj=1hj(i)θj+ε(i)(9)

式(9)可簡(jiǎn)寫(xiě)為

D=H+E(10)

D=TT∈Rn是期望輸出,H=φT∈Rn×u是回歸量,=WT∈Ru是權(quán)值向量,并且假設(shè)E∈Rn是與回歸量不相關(guān)的誤差向量。

對(duì)于矩陣φ,如果它的行數(shù)大于列數(shù),通過(guò)QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p1,p2,…,pu]∈Rn×u,其維數(shù)與H的維數(shù)相同,各列向量構(gòu)成正交基,Q∈Ru×u是一個(gè)上三角矩陣。通過(guò)這一變換,有可能從每一基向量計(jì)算每一個(gè)分量對(duì)期望輸出能量的貢獻(xiàn)。把式(11)代入式(10)可得

D=PQ+E=PG+E(12)

G的線性最小二乘解為G=(PTP)-1PTD,或

gk=pTkDpTkpk;k=1,2,…,u(13)

Q和滿足下面的方程:

Q=G(14)

當(dāng)k≠l時(shí),pk和pl正交,D的平方和由式(15)給出:

DTD=uk=1g2kpTkpk+ETE(15)

去掉均值后,D的方差由式(16)給出:

n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)

由式(16)可以看到,n-1uk=1g2kpTkpk是由回歸量pk所造成的期望輸出方差的一部分。因此,pk的誤差下降率可以定義如下:

errk=g2kpTkpkDTD,1≤k≤u(17)

把式(13)代入式(17)可得

errk=(pTkD)2pTkpkDTD,1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡(jiǎn)單而有效的方法,其意義在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk對(duì)于輸出影響越顯著。利用ERR定義泛化因子(GF),GF可以檢驗(yàn)算法的泛化能力,并進(jìn)一步簡(jiǎn)化和加速學(xué)習(xí)過(guò)程。定義:

GF=uk=1errk(19)

如果GF

2.2參數(shù)調(diào)整

需要注意的是,不管是新生成的隱節(jié)點(diǎn)還是已存在的隱節(jié)點(diǎn),都需要對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。傳統(tǒng)的方法是使用LLS[10]方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整,本文提出使用EKF方法調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)。由于LLS方法在確定最優(yōu)參數(shù)時(shí)計(jì)算簡(jiǎn)單、速度快,但該方法對(duì)噪聲敏感,其學(xué)習(xí)速度隨著信噪比的增加而下降。另外,與LLS方法相關(guān)的問(wèn)題是其求解可能是病態(tài)的,這使得參數(shù)估計(jì)變得很困難。EKF方法由于其自適應(yīng)過(guò)程比較復(fù)雜,計(jì)算速度沒(méi)有LLS方法快,但是EKF方法在噪聲環(huán)境下具有魯棒性,使用EKF方法可以實(shí)現(xiàn)一種健壯的在線學(xué)習(xí)算法。網(wǎng)絡(luò)參數(shù)可以用下面的EKF[11]方法進(jìn)行調(diào)整。事實(shí)上,網(wǎng)絡(luò)的參數(shù)向量θ可以看做一個(gè)非線性系統(tǒng)的狀態(tài),并用下面的方程描述:

θi=θi-1

ti=h(θi-1,Xi)+ei(20)

在當(dāng)前的估計(jì)值i-1處將非線性函數(shù)h(θi-1,Xi)展開(kāi),則狀態(tài)模型可以重寫(xiě)為

θi=θi-1

ti=Hiθi-1+εi+ei(21)

其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:

Hi=h(θ,Xi)θ|θ=i-1(22)

參數(shù)向量θ使用下面的擴(kuò)展卡爾曼濾波算法更新:

Ki=Pi-1HTi[HiPi-1HTi+Ri]-1

θi=θi-1+Ki(ti-h(θi-1,Xi))

Pi=Pi-1-KiHiPi-1+Qi(23)

其中:Ki是卡爾曼增益矩陣;Pi是逼近誤差方差陣;Ri是量測(cè)噪聲方差陣;Qi是過(guò)程噪聲方差陣。

全局?jǐn)U展卡爾曼濾波算法會(huì)涉及大型矩陣運(yùn)算,增加計(jì)算負(fù)擔(dān),因此可以將全局問(wèn)題劃分為一系列子問(wèn)題從而簡(jiǎn)化全局方法。網(wǎng)絡(luò)的前件部分具有非線性特性,利用擴(kuò)展卡爾曼濾波算法對(duì)其進(jìn)行調(diào)整;網(wǎng)絡(luò)的后件部分具有線性特性,利用卡爾曼濾波算法對(duì)其進(jìn)行調(diào)整,該方法等同于將全局方法簡(jiǎn)化為一系列解耦方法,可以降低計(jì)算負(fù)擔(dān)。由于高斯函數(shù)的中心對(duì)系統(tǒng)的性能影響不明顯,為了簡(jiǎn)化計(jì)算,只對(duì)高斯隸屬函數(shù)的寬度進(jìn)行調(diào)整。

前件參數(shù)使用如下的擴(kuò)展卡爾曼濾波算法更新:

Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1

δi=δi-1+Kδi(Ti-wi-1φi)

Pδi=Pδi-1-KδiGiPδi-1+Qi(24)

后件參數(shù)使用如下的卡爾曼濾波算法更新:

Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1

wi=wi-1+Kwi(Ti-wi-1φi)

Pwi=Pwi-1-KwiφiPwi-1+Qi(25)

2.3模糊規(guī)則的增加過(guò)程

在SFNN學(xué)習(xí)算法中,模糊規(guī)則增加過(guò)程如下:

a)初始參數(shù)分配。當(dāng)?shù)玫降谝粋€(gè)觀測(cè)數(shù)據(jù)(X1,t1)時(shí),此時(shí)的網(wǎng)絡(luò)還沒(méi)有建立起來(lái),因此這個(gè)數(shù)據(jù)將被選為第一條模糊規(guī)則:c0=X0,δ1=δ0,w1=t1。其中δ0是預(yù)先設(shè)定的常數(shù)。

b)生長(zhǎng)過(guò)程。當(dāng)?shù)玫降趇個(gè)觀測(cè)數(shù)據(jù)(Xi,ti)時(shí),假設(shè)在第三層中已存在u個(gè)隱含神經(jīng)元,根據(jù)式(4)(7)和(19),分別計(jì)算ei、di,min、GF。如果

ei>ke,di,min>kd,且GF

則增加一個(gè)新的隱含神經(jīng)元。其中ke、kd分別在式(5)和(8)中給出。新增加的隱含神經(jīng)元的中心、寬度和權(quán)值賦值為:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重疊因子。

c)參數(shù)調(diào)整。當(dāng)增加新神經(jīng)元后,所有已有神經(jīng)元的參數(shù)通過(guò)式(24)(25)描述的算法調(diào)整。

3仿真研究

時(shí)間序列預(yù)測(cè)在解決許多實(shí)際問(wèn)題中是非常重要的。它在經(jīng)濟(jì)預(yù)測(cè)、信號(hào)處理等很多領(lǐng)域都得到了廣泛應(yīng)用。

本文采用的時(shí)間序列由Mackey-Glass差分延遲方程產(chǎn)生,其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)

為了能夠與文獻(xiàn)[5,6]在相同的基礎(chǔ)上進(jìn)行比較,取值Δt=P=6,式(27)中的參數(shù)選擇為:a=0.1,b=0.2,τ=17。預(yù)測(cè)模型表示為x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)

為了獲得時(shí)間序列,利用式(27)生成2000個(gè)數(shù)據(jù),式(27)的初始條件為:x(0)=1.2。為了訓(xùn)練和測(cè)試,在t=124和t=1123之間選擇1000個(gè)樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。使用前500個(gè)數(shù)據(jù)對(duì)作為訓(xùn)練數(shù)據(jù)集,后面的500個(gè)數(shù)據(jù)對(duì)驗(yàn)證該模型的預(yù)測(cè)性能。圖2顯示了SFNN生成的模糊規(guī)則數(shù);圖3顯示了從t=124到t=623的訓(xùn)練結(jié)果;圖4顯示了SFNN良好的預(yù)測(cè)性能。表1列出了SFNN與其他算法的比較結(jié)果。表1顯示,與OLS、RBF-AFS算法相比,SFNN具有最少的規(guī)則數(shù)、最小的誤差和良好的泛化能力,同時(shí)具有快速的學(xué)習(xí)速度。SFNN的快速性就在于:采用無(wú)須修剪過(guò)程的生長(zhǎng)準(zhǔn)則,加速了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程;利用擴(kuò)展卡爾曼濾波調(diào)整網(wǎng)絡(luò)的參數(shù),可以縮短網(wǎng)絡(luò)的學(xué)習(xí)周期。從上面的分析可以看出,SFNN具有緊湊的結(jié)構(gòu)、快速的學(xué)習(xí)速度、良好的逼近精度和泛化能力。

4結(jié)束語(yǔ)

SFNN采用在線學(xué)習(xí)方法、參數(shù)估計(jì)和結(jié)構(gòu)辨識(shí)同時(shí)進(jìn)行,提高了網(wǎng)絡(luò)的學(xué)習(xí)速度。基于該方法生成的模糊神經(jīng)網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu),網(wǎng)絡(luò)結(jié)構(gòu)不會(huì)持續(xù)增長(zhǎng),避免了過(guò)擬合及過(guò)訓(xùn)練現(xiàn)象,確保了系統(tǒng)的泛化能力。

參考文獻(xiàn):

[1]

HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.

[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.

[3]韋玉科,汪仁煌,李江平,等.一種新的數(shù)據(jù)智能化處理算法[J].計(jì)算機(jī)應(yīng)用研究,2008,25(5):1328-1329.

[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.

[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.

[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.

[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.

[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.

[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.

第4篇

【關(guān)鍵詞】計(jì)算機(jī)網(wǎng)絡(luò)連接 增強(qiáng)優(yōu)化 神經(jīng)網(wǎng)絡(luò)算法

計(jì)算機(jī)網(wǎng)絡(luò)是一種先進(jìn)的科技技術(shù)，自出現(xiàn)以來(lái)就極大程度的改變了人們的生活生產(chǎn)方式，帶來(lái)了非常大的便利。我國(guó)現(xiàn)階段的計(jì)算機(jī)網(wǎng)絡(luò)連接相對(duì)比較薄弱，存在很多不完善的地方。因此，有必要采取措施優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接，進(jìn)而維護(hù)計(jì)算機(jī)網(wǎng)絡(luò)連接的安全穩(wěn)定，營(yíng)造良好的上網(wǎng)環(huán)境。

1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化

1.1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化的必要性

網(wǎng)絡(luò)連接對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)的重要性不言而喻。如果出現(xiàn)網(wǎng)絡(luò)連接斷開(kāi)的問(wèn)題，就會(huì)導(dǎo)致計(jì)算機(jī)設(shè)備無(wú)法與通信網(wǎng)絡(luò)進(jìn)行有效的信息溝通。因此，必須優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接，拓?fù)鋽U(kuò)展計(jì)算機(jī)網(wǎng)絡(luò)，提升信息交流的有序性和有效性，降低影響所帶來(lái)的損失。因此，在現(xiàn)有的網(wǎng)絡(luò)環(huán)境中，加入合適的結(jié)點(diǎn)，進(jìn)而完善計(jì)算機(jī)網(wǎng)絡(luò)連接的有效率，以及提高網(wǎng)絡(luò)容量，拓展現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)，使得信息交流的交互性進(jìn)一步增強(qiáng)，最終實(shí)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)連接的優(yōu)化目的，拓?fù)鋽U(kuò)展了計(jì)算機(jī)網(wǎng)絡(luò)。現(xiàn)階段，存在非常多的措施能夠提升計(jì)算機(jī)網(wǎng)絡(luò)連接的效率，擴(kuò)展網(wǎng)絡(luò)容量，以及上網(wǎng)環(huán)境的優(yōu)化。但是，很多方法措施需要投入大量的資金作為支持，不具有實(shí)用性和經(jīng)濟(jì)性。而計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)用要求計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化措施適當(dāng)合理，在最小的經(jīng)濟(jì)支出情況下解決問(wèn)題，因此，只有采取增強(qiáng)優(yōu)化下的神經(jīng)網(wǎng)絡(luò)算法。

1.2 計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)主要是指，網(wǎng)上計(jì)算機(jī)或設(shè)備與傳輸媒介形成的結(jié)點(diǎn)與線的物理構(gòu)成模式。通信子網(wǎng)直接影響計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的形式，拓?fù)浣Y(jié)構(gòu)能夠在一定程度上保證網(wǎng)絡(luò)信息數(shù)據(jù)系統(tǒng)的安全性、可靠性、完整性，此外能夠?qū)?shù)據(jù)信息進(jìn)行共享、處理以及交換等內(nèi)容。根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)框架分析，可以清楚的明確計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)是由鏈路和節(jié)點(diǎn)所組成，也可以這樣理解，計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)涫怯捎?jì)算機(jī)組成的，網(wǎng)絡(luò)之間設(shè)備的分布情況以及連接狀態(tài)所形成的拓樸圖。通常情況下計(jì)算機(jī)網(wǎng)絡(luò)用G= 來(lái)表示，V指的是網(wǎng)絡(luò)結(jié)點(diǎn)集，E指的是鏈路集。如果增加結(jié)構(gòu)中的結(jié)點(diǎn)集用Va表示，增加的連接集用Eb表示，進(jìn)而得出計(jì)算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)為G’=。

2 基于計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法

2.1 神經(jīng)網(wǎng)絡(luò)算法

思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象思維、形象思維和靈感思維三種基本方式。而抽象思維是一種邏輯化思想，形象思維是一種直觀化思想，靈感思維是一種頓悟性和創(chuàng)造性思想。而神經(jīng)網(wǎng)絡(luò)思維，就是通過(guò)對(duì)上述理論的分析實(shí)踐，模擬人類大腦思維的第二種方式。人工神經(jīng)網(wǎng)絡(luò)，是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。 相對(duì)人工神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)更加高級(jí)，通過(guò)對(duì)網(wǎng)絡(luò)算法以及網(wǎng)絡(luò)模型的合理運(yùn)用，合理處理信號(hào)，或者識(shí)別某種運(yùn)行模式，最終形成一套獨(dú)立完善的專家系統(tǒng)，或者智能化的機(jī)器人。

現(xiàn)階段，社會(huì)中越來(lái)越多的領(lǐng)域開(kāi)始應(yīng)用人工神經(jīng)網(wǎng)絡(luò)，在生產(chǎn)領(lǐng)域上取得了明顯效果。人們也越發(fā)提高對(duì)人工神經(jīng)網(wǎng)絡(luò)算法的重視程度，神經(jīng)網(wǎng)絡(luò)算法是在此基礎(chǔ)上逐漸發(fā)展完善的，是監(jiān)督性的學(xué)習(xí)算法。但是在實(shí)際應(yīng)用過(guò)程中，人工神經(jīng)網(wǎng)絡(luò)算法還存在一些不足之處，沒(méi)有合理解決收斂速度緩慢的問(wèn)題，無(wú)法控制收斂程度到最小點(diǎn)，因此增加了計(jì)算機(jī)網(wǎng)絡(luò)記憶和學(xué)習(xí)的不穩(wěn)定性，同時(shí)計(jì)算機(jī)網(wǎng)絡(luò)連接效果也受此影響。

2.2 均場(chǎng)神經(jīng)網(wǎng)路算法

通過(guò)建立科學(xué)合理的場(chǎng)均神經(jīng)網(wǎng)絡(luò)模型，有利于進(jìn)行計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的均場(chǎng)神經(jīng)網(wǎng)絡(luò)算法研究工作，進(jìn)而評(píng)判網(wǎng)絡(luò)效果。需要注意的是，利用函數(shù)法構(gòu)建模型時(shí)，應(yīng)當(dāng)加強(qiáng)目標(biāo)函數(shù)的構(gòu)建問(wèn)題工作，可以用以下方式表現(xiàn)構(gòu)建模型：Hopfield計(jì)算網(wǎng)絡(luò)中的神經(jīng)元狀態(tài)，可以用Fi進(jìn)行表示，如果Fi=1，那么表示網(wǎng)絡(luò)選中了連接i，能夠正常連接；如果Fi=0，那么表示網(wǎng)絡(luò)沒(méi)有選中連接i，不能正常連接。之后可以利用罰函數(shù)法結(jié)構(gòu)，創(chuàng)建網(wǎng)絡(luò)模型，保證Z=max（ΣPi*Xi） 和 ΣMi*Xi ≤ A成立，需要對(duì)目標(biāo)函數(shù)進(jìn)行控制，主要有I = ?γ/2*[∑ρiFi]2+ψ/2*[a ?∑mifi]2，其中a=（γripi-ψmimi）d，Ii=βami，γ和ψ表示Lagrange 參數(shù)，構(gòu)造Lyapunov能量函數(shù)為：E = ?1/2*∑∑AiFiFi ? ∑ IiFi，Hopfield神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為：Fi=1/2*[1+tanh（Bi/T）]，Bi=∑AiFi + I。利用均退火技術(shù)，將隨機(jī)變量函數(shù)的均值由隨機(jī)變量均值的函數(shù)替代，可以得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈∑AiFi + Ii〉=∑Ai Fi + Ii。如果隨機(jī)變量均值〈Fi〉由均場(chǎng)變量Ri替換，可以得出均場(chǎng)網(wǎng)絡(luò)結(jié)構(gòu)：Ri=1/2[1+tanh（∑AiRi+Ii/T）]，均場(chǎng)網(wǎng)絡(luò)的能量函數(shù)為：E（v）= ?1/2∑∑AiRiRi ? ∑ IiRi。通過(guò)對(duì)算法步驟的簡(jiǎn)單分析，可以看出：第一、根據(jù)問(wèn)題設(shè)置參數(shù)；第二、初始化，Ri=rand（d，1-d），i可以是大于零的整數(shù)；第三、重復(fù)以上操作，知道滿足停止規(guī)則。

3 總結(jié)

總而言之，計(jì)算機(jī)網(wǎng)絡(luò)在社會(huì)各個(gè)領(lǐng)域中，都在發(fā)揮的無(wú)可替代的作用。如果計(jì)算機(jī)網(wǎng)絡(luò)連接出現(xiàn)問(wèn)題，將會(huì)嚴(yán)重影響相關(guān)企業(yè)或者設(shè)備的正常運(yùn)轉(zhuǎn)，進(jìn)而降低經(jīng)濟(jì)效益。因此，必須提高計(jì)算機(jī)網(wǎng)絡(luò)連接的重視程度，進(jìn)一步完善優(yōu)化連接效率，維護(hù)網(wǎng)絡(luò)連接的穩(wěn)定性和可靠性，為我國(guó)計(jì)算機(jī)事業(yè)的未來(lái)發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)

[1]陳竺.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法[J].電子技術(shù)與軟件工程，2014（19）：16-16.

[2]王穎華，金愛(ài)花.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的均場(chǎng)神經(jīng)網(wǎng)絡(luò)算法[J].硅谷，2013（15）：61-62.

[3]李盼池，許少華.基于過(guò)程神經(jīng)網(wǎng)絡(luò)和遺傳算法的系統(tǒng)逆向過(guò)程求解[J].計(jì)算機(jī)測(cè)量與控制，2015（10）：948-950.

第5篇

1什么是CBIR

傳統(tǒng)的基于文本的圖像檢索（Text-Based Image Retrieval，TBIR）技術(shù)是先通過(guò)人工方式對(duì)圖像進(jìn)行文字標(biāo)注，再用關(guān)鍵字來(lái)檢索圖像，這種方式耗時(shí)并且主觀，無(wú)法滿足大規(guī)模圖像數(shù)據(jù)的檢索需要。基于內(nèi)容的圖像檢索（Content-Based Image Retrieval，CBIR）技術(shù)是根據(jù)圖像對(duì)象的內(nèi)容及上下文聯(lián)系在大規(guī)模多媒體數(shù)據(jù)庫(kù)中進(jìn)行檢索。

2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)學(xué)的研究基礎(chǔ)上發(fā)展起來(lái)的一種模仿人腦信息處理機(jī)制的網(wǎng)絡(luò)系統(tǒng)，它具有自組織、自學(xué)習(xí)和極強(qiáng)的非線性處理能力，能夠完成學(xué)習(xí)、記憶、識(shí)別和推理等功能，它已在控制、模式識(shí)別、圖像和視頻信號(hào)處理、人工智能、自造應(yīng)濾波等方面獲得了應(yīng)用。醫(yī)學(xué)上，神經(jīng)網(wǎng)絡(luò)這一智能的診斷方法，能夠排除各種人為因素，得到準(zhǔn)確客觀的診斷結(jié)果，對(duì)醫(yī)學(xué)圖像數(shù)據(jù)若用傳統(tǒng)的線性處理模式通常不太好處理， BP神經(jīng)網(wǎng)絡(luò)是眾多神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種多層前饋神經(jīng)網(wǎng)絡(luò)，圖1所示為三層BP神經(jīng)網(wǎng)絡(luò)。

3蟻群算法

蟻群算法[6]（Ant Colony Optimization，ACO）是由意大利學(xué)者Dorigo等人于20世紀(jì)90年代初期通過(guò)模擬自然界中螞蟻集體尋徑的行為而提出的一種基于種群的啟發(fā)式隨機(jī)搜索算法。蟻群算法作為一種新型的智能仿生模型，近幾年在圖像分割、圖像特征提取、圖像匹配、影像紋理分類、圖像檢索等領(lǐng)域都取得了研究成果[8]。

4神經(jīng)網(wǎng)絡(luò)算法和蟻群算法在醫(yī)學(xué)圖像檢索中的應(yīng)用

CBIR檢索過(guò)程是一個(gè)逐步求精的過(guò)程，其在醫(yī)學(xué)上的應(yīng)用可以看成是用戶（放射學(xué)者、醫(yī)師等）和醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)之間的一個(gè)交互過(guò)程。其基本原理是：對(duì)醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中的每幅圖像先進(jìn)行特征分析，提取圖像的特征；建立醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)的同時(shí)，建立與圖像庫(kù)相關(guān)聯(lián)的特征庫(kù)；在進(jìn)行圖像檢索時(shí)，對(duì)給定的查詢例圖，先提取特征向量，再將該特征向量與特征庫(kù)中的特征向量進(jìn)行匹配，根據(jù)匹配的結(jié)果在醫(yī)學(xué)圖像數(shù)據(jù)庫(kù)中搜索，即可檢索出所需的圖像。本文結(jié)合神經(jīng)網(wǎng)絡(luò)算法結(jié)合蟻群算法，將其應(yīng)用于醫(yī)學(xué)圖像檢索，見(jiàn)圖2。

4.1醫(yī)學(xué)圖像預(yù)處理 在醫(yī)學(xué)方面，圖像預(yù)處理的主要目的是消除圖像中無(wú)關(guān)的信息、增強(qiáng)有關(guān)信息的可檢測(cè)性并最大限度地簡(jiǎn)化數(shù)據(jù)，從而提高醫(yī)務(wù)人員對(duì)圖像判讀的準(zhǔn)確性及效率。本課題中圖像預(yù)處理方法由圖像增強(qiáng)、圖像分割組成。

4.1.1圖像增強(qiáng) 圖像增強(qiáng)[2]是進(jìn)行圖像檢索的先行步驟，可以用公式 來(lái)表示，其中 是輸入圖像， 是增強(qiáng)后的圖像， 是對(duì)輸入圖像所進(jìn)行的操作。本文主要采用直方圖均衡化方法來(lái)進(jìn)行圖像增強(qiáng)，直方圖均衡化是將一已知灰度概率密度分布的圖像，經(jīng)過(guò)某種變換變成一幅具有均勻灰度概率密度分布的新圖像。與其他方法相比，直方圖均衡化方法適用范圍廣，易于實(shí)現(xiàn)，可達(dá)到較好的增強(qiáng)效果，暗區(qū)中的圖像能清楚的顯示出來(lái)，能夠展示更多診斷信息。

4.1.2圖像分割 醫(yī)學(xué)圖像分割是根據(jù)醫(yī)學(xué)圖像的某種相似性特征將圖像劃分為若干個(gè)互不相交的"連通"區(qū)域的過(guò)程。醫(yī)學(xué)圖像中，大多數(shù)情況下都需要對(duì)醫(yī)學(xué)圖像作分割，來(lái)突出需要的目標(biāo)物體，如病灶。采用sobel算子計(jì)算醫(yī)學(xué)圖像邊緣和閾值，在此基礎(chǔ)上修改閾值使邊緣更加精確，以此實(shí)現(xiàn)圖像分割。

4.2神經(jīng)網(wǎng)絡(luò)算法（如圖3所示）的實(shí)現(xiàn)。

基本步驟如下：①確定問(wèn)題：對(duì)問(wèn)題做出詳細(xì)的調(diào)研，明確目標(biāo)，然后考慮如何引入粗糙集從而更好地解決問(wèn)題。②對(duì)數(shù)據(jù)進(jìn)行收集，即采集經(jīng)過(guò)圖像預(yù)處理之后得到的特征數(shù)據(jù)。③數(shù)據(jù)處理：把要處理的數(shù)據(jù)建立成一張二維決策表，每一行描述一個(gè)對(duì)象，每一列描述對(duì)象的一種屬性。在本步中，如果無(wú)法得到完備的數(shù)據(jù)表，就有必要將信息表進(jìn)行完備化操作；如果初始數(shù)據(jù)是連續(xù)值，還要經(jīng)過(guò)連續(xù)屬性離散化操作。④根據(jù)粗糙集理論[5]對(duì)數(shù)據(jù)進(jìn)行屬性約簡(jiǎn)，利用屬性重要度去掉數(shù)據(jù)表中的冗余條件屬性，并消去重復(fù)的樣本。⑤根據(jù)上步中得到的訓(xùn)練數(shù)據(jù)樣本設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)，根據(jù)約簡(jiǎn)結(jié)果確定神經(jīng)網(wǎng)絡(luò)的輸入層單元數(shù)和隱含層節(jié)點(diǎn)數(shù)。采用一個(gè) 的3層BP神經(jīng)網(wǎng)絡(luò)。隱藏層神經(jīng)元的傳遞函數(shù)設(shè)計(jì)為S型正切函數(shù)，輸出層神經(jīng)元的傳遞函數(shù)設(shè)計(jì)為S型對(duì)數(shù)函數(shù)。⑥用約簡(jiǎn)后形成的學(xué)習(xí)樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，得到神經(jīng)網(wǎng)絡(luò)的權(quán)值。然后將測(cè)試樣本輸入網(wǎng)絡(luò)進(jìn)行測(cè)試，輸出最終結(jié)果。本算法中，規(guī)定BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練指標(biāo)為0.01，訓(xùn)練次數(shù)C<5000次。

4.3蟻群算法的實(shí)現(xiàn)（如圖4所示）。

目前，CBIR方面現(xiàn)已有了大量研究，但CBIR的系統(tǒng)很少用于臨床，如遵義醫(yī)學(xué)院附屬醫(yī)院在進(jìn)行醫(yī)學(xué)圖像檢索時(shí)，更常用的方式還是傳統(tǒng)的基于文本的圖像檢索方式，其最大的原因是CBIR方式檢索速度慢，響應(yīng)時(shí)間長(zhǎng)。為此，如何保證醫(yī)學(xué)圖像數(shù)據(jù)檢索的有效性和準(zhǔn)確性是目前CBIR迫切需要解決的問(wèn)題之一。本文將BP神經(jīng)網(wǎng)絡(luò)和蟻群算法結(jié)合起來(lái)，借助蟻群算法易于與其他算法相結(jié)合的優(yōu)勢(shì)，利用蟻群算法對(duì)粗神經(jīng)網(wǎng)絡(luò)算法的參數(shù)進(jìn)行優(yōu)化的同時(shí)，結(jié)合醫(yī)學(xué)圖像的特殊性，提出將神經(jīng)網(wǎng)絡(luò)算法和蟻群算法結(jié)合起來(lái)應(yīng)用于CBIR中具有一定的現(xiàn)實(shí)意義。

參考文獻(xiàn)：

[1]蔣歷軍.應(yīng)用網(wǎng)格和水印技術(shù)對(duì)基于內(nèi)容的肝臟CT圖像檢索的研究[D].上海交通大學(xué)，2009.

[2]岡薩雷斯.數(shù)字圖像處理（MATLAB版）[M].北京：電子工業(yè)出版社，2012.

[3]史元春，徐光祐，高原.中國(guó)多媒體技術(shù)研究：2011[J].中國(guó)圖象圖形學(xué)報(bào)，2012.

[4]H Zhang， JE Fritts， SA Goldman.Image segmentation evaluation： A survey of unsupervised methods[J].Computer Vision and Image Understanding， 2008.

[5]蔣世忠，易法令，湯浪平，等.基于圖割與粗糙集的MRI腦部腫瘤圖像檢索方法[J].中國(guó)組織工程研究與臨床康復(fù)，2010.

[6]張小冬.蟻群算法在醫(yī)學(xué)圖像識(shí)別中的研究與應(yīng)用[D].揚(yáng)州大學(xué)，2009.

[7]李旭超，劉海寬，王飛，等.圖像分割中的模糊聚類方法[J].中國(guó)圖象圖形學(xué)報(bào)，2012.

[8]Veenman C，Reinders M，Backer E.A Cellular Coevolutionary Algorithm for Image Segmentation [J].IEEE Transaction on Image Processing， 2003.

第6篇

關(guān)鍵詞：自主角色; 神經(jīng)網(wǎng)絡(luò); 遺傳算法

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)識(shí)碼：A

0引言

隨著計(jì)算機(jī)圖形學(xué)和硬件技術(shù)的高速發(fā)展，計(jì)算機(jī)游戲近十幾年也取得了很大的發(fā)展，游戲軟件已成為軟件產(chǎn)業(yè)中非常重要的內(nèi)容。游戲的類型主要包括FPS（第一人稱射擊）、RPG（角色扮演類型）和RTS（即時(shí)戰(zhàn)略游戲）等幾種類型，這些不同類型的游戲都要求游戲控制的角色（NPC）與玩家控制的角色（PLAYER）要有行為的交互，交互的方式直接影響玩家對(duì)游戲的興趣度。因此，對(duì)NPC與PLAYER之間的角色交互行為方式的研究已經(jīng)成為游戲軟件中的一個(gè)非常重要的研究課題。

目前大多數(shù)游戲中的角色行為的交互方式采用的是確定型的交互行為，其特征主要表現(xiàn)在角色的行為都是預(yù)先確定的，這種類型的行為實(shí)現(xiàn)起來(lái)較為簡(jiǎn)單，也是目前大多數(shù)游戲所采用的交互方式。像這種確定性的行為往往體現(xiàn)不出角色的自主性，而且還會(huì)導(dǎo)致角色行動(dòng)單調(diào)乏味，其行動(dòng)很容易被玩家所預(yù)測(cè),降低游戲的可玩性。為此,我們需要在游戲軟件中設(shè)計(jì)和實(shí)現(xiàn)這樣的NPC角色，它能夠根據(jù)當(dāng)前環(huán)境的變化以及以往的經(jīng)驗(yàn)知識(shí)來(lái)動(dòng)態(tài)地改變對(duì)PLAYER的行為。具有這種能力的角色，我們稱之為自主角色,也稱為自適應(yīng)角色。具有自主和自適應(yīng)特點(diǎn)的角色可具有推理能力和自適應(yīng)能力,在游戲環(huán)境下可更受玩家的歡迎。

一款擁有自主角色的游戲能夠牢牢地吸引玩家的注意力，從而延長(zhǎng)這款游戲的生命周期，因此促使游戲開(kāi)發(fā)人員花更多的時(shí)間來(lái)研究自主角色的實(shí)現(xiàn)。一些公司已經(jīng)開(kāi)始嘗試從人工智能領(lǐng)域發(fā)展出更加高級(jí)的技術(shù)，如采用決策樹(shù)或者強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)角色的自主性，也有的像著名的游戲Colin McRae Rally2則采用了學(xué)習(xí)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)角色的自主性。

有關(guān)自主角色行為的論文已經(jīng)有很多做出了卓有成效的成績(jī)，如在Reynolds的文獻(xiàn)［1］中，對(duì)自主角色的群體行為進(jìn)行了描述。Blumberg和Galyean［2］中引入更多的行為控制機(jī)制，并考慮了行為學(xué)習(xí)這樣一個(gè)令人感興趣的問(wèn)題。對(duì)于自主角色的更高層次的認(rèn)知能力方面，John David Fungc［3］中指出，認(rèn)知模型是用于創(chuàng)建虛擬世界的模型“金字塔”的頂層，底層的行為模型作為認(rèn)知模型和物理學(xué)模型之間的緩沖區(qū)，并將情景演算(situation calculus)［4］用于高度動(dòng)態(tài)的虛擬世界。

但是，上述各種方法因?yàn)閭?cè)重點(diǎn)不同，各有優(yōu)缺點(diǎn)，且相互之間較為獨(dú)立，因此本文結(jié)合上述一些方法的優(yōu)點(diǎn)，在此基礎(chǔ)上提出了基于認(rèn)知角色建模，采用神經(jīng)網(wǎng)絡(luò)和遺傳算法相結(jié)合的游戲自主角色的設(shè)計(jì)思路。基于此，各小節(jié)安排如下：

第一節(jié)確定了基于認(rèn)知建模方法的游戲自主角色模型；第二節(jié)介紹了神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)自主角色中的應(yīng)用；第三節(jié)說(shuō)明了遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化；第四節(jié)對(duì)自主角色的實(shí)驗(yàn)進(jìn)行了分析。

1基于認(rèn)知建模的角色自主性模型

由于認(rèn)知建模方法能夠采用精確的數(shù)學(xué)方式來(lái)定義自主角色的行為和學(xué)習(xí)模式，因此本文采用認(rèn)知建模方法來(lái)對(duì)游戲角色的自主性進(jìn)行建模。這里將游戲中存在的非玩家控制的角色簡(jiǎn)稱為NPC,通過(guò)認(rèn)知建模方法研究NPC的高級(jí)行為規(guī)劃，指導(dǎo)NPC,提高NPC的智能水平能力，使NPC能夠?qū)Νh(huán)境作出判斷，并根據(jù)當(dāng)前的狀態(tài)進(jìn)行推理，進(jìn)而完成相應(yīng)的行動(dòng)序列,有利于創(chuàng)建聰明自主的智能體――具有認(rèn)知能力的自主的角色。

在計(jì)算機(jī)游戲中，我們將游戲角色關(guān)于他所在世界的內(nèi)部模型稱“認(rèn)知模型”(Cognitive Model)。認(rèn)知模型可以用于游戲中，控制一類自主的角色。通過(guò)認(rèn)知模型支配游戲角色對(duì)其所在環(huán)境的了解程度，如何獲取知識(shí)，以及如何利用知識(shí)選擇行動(dòng)。

NPC的行為分為“預(yù)定義的”和“非確定性的”兩種，建立的認(rèn)知模型也各不相同。建立預(yù)定義行為的認(rèn)知模型比較簡(jiǎn)單，只要將事先定義好的NPC所在環(huán)境的領(lǐng)域知識(shí)賦予NPC系統(tǒng)，NPC就可以根據(jù)人們的要求采取某種行動(dòng)。而非確定性的行為不容易控制。為了實(shí)現(xiàn)人為的控制，我們采取一種折中的方法，即將領(lǐng)域知識(shí)和人的指導(dǎo)賦予NPC，使NPC主動(dòng)地向人們希望它達(dá)到的目標(biāo)發(fā)展。可由下面的公式表示:

知識(shí)+指導(dǎo)=行為

領(lǐng)域知識(shí)能夠用來(lái)規(guī)劃目標(biāo)，而指導(dǎo)對(duì)如何達(dá)到目標(biāo)提供一種框架計(jì)劃。

當(dāng)然NPC在決定采取什么樣的行動(dòng)時(shí)并不需要整個(gè)虛擬世界的知識(shí)。所以，我們認(rèn)為NPC的認(rèn)知模型是角色對(duì)其虛擬世界的一種內(nèi)部簡(jiǎn)化模型〔simplified model〕。

為此我們?cè)诂F(xiàn)有游戲系統(tǒng)之上營(yíng)造一個(gè)通過(guò)認(rèn)知模型定義的高級(jí)行為規(guī)劃器來(lái)實(shí)現(xiàn)對(duì)NPC的行為指導(dǎo)。規(guī)劃器模型設(shè)計(jì)如圖1所示。

NPC的預(yù)定義行為和非確定行為都可以形式化為認(rèn)知模型，通過(guò)認(rèn)知模型來(lái)指導(dǎo)NPC高級(jí)行為規(guī)劃器，由于神經(jīng)網(wǎng)絡(luò)在非確定中的強(qiáng)大的學(xué)習(xí)作用，因此本項(xiàng)目通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)NPC高級(jí)行為規(guī)劃器的三個(gè)方面：目標(biāo)引導(dǎo)、行為協(xié)調(diào)、約束滿足。

2基于人工神經(jīng)網(wǎng)絡(luò)的角色自主系統(tǒng)

這里,我們采用的是神經(jīng)網(wǎng)絡(luò)中的BP網(wǎng)絡(luò)作為NPC的感知系統(tǒng)。BP算法是一種用于多層前向網(wǎng)絡(luò)的學(xué)習(xí)算法，它包括輸入層、輸出層和隱含層，隱含層可以是多層結(jié)構(gòu)。BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程包括兩個(gè)階段:第一階段計(jì)算前向輸出;第二階段從反向調(diào)整連接權(quán)矩陣。

在前向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的輸出作為上層神經(jīng)元的輸入.如果在輸出層，實(shí)際輸出值與期望輸出值有誤差時(shí)，則以反向?qū)⒄`差信號(hào)逐層修改連接權(quán)系數(shù)并且反復(fù)迭代，最后使實(shí)際輸出值與期望值的均方差為最小。在修正連接權(quán)系數(shù)時(shí)，通常采用梯度下降算法。

BP神經(jīng)網(wǎng)絡(luò)使用的是指導(dǎo)式的學(xué)習(xí)方法,即在學(xué)習(xí)過(guò)程中,向網(wǎng)絡(luò)提供有明確輸入和輸出目標(biāo)的樣本對(duì)。BP學(xué)習(xí)算法是基于最小二乘法LMS 算法,運(yùn)用梯度下降方法,使網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的均方差最小。網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是一種誤差邊向后傳播邊修正連接權(quán)的過(guò)程。因?yàn)锽P網(wǎng)絡(luò)對(duì)以分類為主要目的的學(xué)習(xí)非常有效,所以,我們采用B P網(wǎng)絡(luò)進(jìn)行NPC分類的自學(xué)習(xí)。需要輸入NPC自主系統(tǒng)中BP網(wǎng)絡(luò)的特征參數(shù)主要是NPC的生命值,NPC的攻擊力，NPC的防御力，NPC的情感值等，玩家虛擬角色的生命值,玩家虛擬角色的攻擊力，玩家虛擬角色的防御力，玩家虛擬角色的情感值等。

NPC在虛擬游戲環(huán)境下，在與玩家的不斷交互中刺激著感知系統(tǒng)，在外界環(huán)境發(fā)生變化時(shí)產(chǎn)生認(rèn)知模型指導(dǎo)下的自主行為，通過(guò)神經(jīng)網(wǎng)絡(luò)最終演化成具有自主性的行為系統(tǒng)，同時(shí)，利用遺傳算法使適應(yīng)度有一定程度的增加，使NPC更適應(yīng)外界環(huán)境的變化。關(guān)于NPC的感知系統(tǒng)的設(shè)置如下：

1） 輸入?yún)?shù)的確定

NPC的感知系統(tǒng)由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成，虛擬游戲環(huán)境的特征參數(shù)作為輸入送入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。在我們的游戲項(xiàng)目中，輸入主要包括三種類型：布爾類型、枚舉類型和連續(xù)類型三種，但是這三種類型都需要轉(zhuǎn)化成神經(jīng)網(wǎng)絡(luò)所認(rèn)可的實(shí)數(shù)類型。

2） 權(quán)重的確定

權(quán)重有些類似于生物神經(jīng)網(wǎng)絡(luò)的樹(shù)突聯(lián)結(jié)，權(quán)重影響了輸出變量的值，并且定義了神經(jīng)網(wǎng)絡(luò)的行為，實(shí)際上訓(xùn)練或者演化神經(jīng)網(wǎng)絡(luò)的主要目標(biāo)就是確定NPC神經(jīng)網(wǎng)絡(luò)的權(quán)重。為了確定每個(gè)輸入?yún)?shù)的權(quán)重，需要確定激活函數(shù)。

3） 激活函數(shù)的確定

激活函數(shù)確定了輸入與輸出參數(shù)之間的映射關(guān)系，針對(duì)NPC自主角色的神經(jīng)網(wǎng)絡(luò)，我們采用的是非線性激活函數(shù)，具體采用的是S型激活函數(shù)。

3基于遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化

神經(jīng)網(wǎng)絡(luò)的基本特征是大規(guī)模并行處理、容錯(cuò)性、自適應(yīng)性和自組織性，適合處理直覺(jué)和形象思維信息。神經(jīng)網(wǎng)絡(luò)與遺傳算法的結(jié)合使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有了一個(gè)嶄新的面貌，目標(biāo)函數(shù)既不要求連續(xù)，也不要求可微，僅要求該問(wèn)題可計(jì)算，而且它的搜索始終遍及整個(gè)解空間，因此容易得到全局最優(yōu)解。用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，可以使得神經(jīng)網(wǎng)絡(luò)具有自進(jìn)化、自適應(yīng)能力，從而構(gòu)造出進(jìn)化的神經(jīng)網(wǎng)絡(luò)(ENN)［5］。

研究NPC的進(jìn)化,要建立NPC在虛擬環(huán)境中進(jìn)行的各種行為模型。另外,同虛擬環(huán)境本身也會(huì)發(fā)生競(jìng)爭(zhēng)。由于適應(yīng)度是NPC競(jìng)爭(zhēng)力大小的直接反映,為了建立NPC的競(jìng)爭(zhēng)機(jī)制,首先要建立NPC的適應(yīng)度函數(shù)。

首先,NPC的適應(yīng)度函數(shù)和NPC的種類相關(guān)。在同一環(huán)境下,不同NPC的適應(yīng)度肯定是不相同的［6］。同時(shí),為了表現(xiàn)NPC自學(xué)習(xí)對(duì)進(jìn)化的影響,有了學(xué)習(xí)能力的同種NPC適應(yīng)度的取值也有所不同。其次,NPC的適應(yīng)度還與其所處的不同階段有關(guān)。適應(yīng)度取值在其不同階段中不是一成不變的。

在環(huán)境不發(fā)生變化時(shí),NPC的適應(yīng)度函數(shù)F(t)可以用此函數(shù)表示:

其中,參數(shù)a表示NPC的生命力值;參數(shù)k表示NPC的類型,不同的NPC對(duì)同一游戲環(huán)境的適應(yīng)性是不一樣的,當(dāng)k取不同的值時(shí),會(huì)得到適應(yīng)度不同的各種NPC。接著按照以下工作步驟操作：

1） 從NPC神經(jīng)網(wǎng)絡(luò)中提取權(quán)重向量；

2） 用遺傳算法演化出一個(gè)新的網(wǎng)絡(luò)權(quán)重群體；

3） 把新的權(quán)重插入到NPC神經(jīng)網(wǎng)絡(luò)；

4） 轉(zhuǎn)到第一步進(jìn)行重復(fù)，直至獲得理想的性能。

4試驗(yàn)分析

我們的實(shí)驗(yàn)測(cè)試場(chǎng)景如下：

在一個(gè)仿真的三維游戲環(huán)境下,游弋著若干個(gè)NPC角色和一個(gè)玩家控制的虛擬角色,主角可以漫游整個(gè)游戲場(chǎng)景,這些NPC當(dāng)遇到主角后,可能會(huì)對(duì)主角采取不同的行為,比如攻擊行為,逃避行為,團(tuán)隊(duì)作戰(zhàn)行為,對(duì)話行為等,所有這些行為的決策都取自于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在采用神經(jīng)網(wǎng)絡(luò)算法之前，所有的NPC無(wú)論強(qiáng)弱，都會(huì)主動(dòng)向玩家角色發(fā)起攻擊，而在采用神經(jīng)網(wǎng)絡(luò)算法之后，這些NPC都具有了一個(gè)人工大腦，每個(gè)NPC在與玩家角色的交互過(guò)程不斷地學(xué)習(xí)，不斷地演化，最終變成自主角色，具體表現(xiàn)在：NPC根據(jù)以往與玩家角色交互過(guò)程中的經(jīng)驗(yàn)，從而產(chǎn)生較為理智的行為，比如當(dāng)NPC感覺(jué)玩家的綜合實(shí)力要高于自己時(shí)，它可能會(huì)采取逃避的行為，而當(dāng)NPC感覺(jué)其綜合實(shí)力要高于玩家時(shí)，它往往會(huì)主動(dòng)攻擊玩家。

表1和表2列舉了應(yīng)用神經(jīng)網(wǎng)絡(luò)算法前后的測(cè)試數(shù)據(jù)。

應(yīng)用神經(jīng)網(wǎng)絡(luò)算法所采取的實(shí)驗(yàn)方案如下：

(1) 對(duì)于NPC感知系統(tǒng)的輸入，包括與虛擬玩家角色的距離， 虛擬玩家的攻擊力，防御力，生命力，魔法力，信譽(yù)度，NPC自身的攻擊力，防御力，生命力，魔法力，信譽(yù)度。并將參數(shù)歸一化，使最終的參數(shù)范圍位于[-1, 1]之間；

(2) 對(duì)于NPC感知系統(tǒng)的輸出，包括躲避，單獨(dú)攻擊，潛伏，召喚同伴，團(tuán)隊(duì)攻擊等行為。即將神經(jīng)元的輸出元設(shè)計(jì)成五個(gè)，這些行為通過(guò)一些標(biāo)志符來(lái)確定，例如， 如果代表攻擊的輸出位為1，則其他位為零。

通過(guò)對(duì)比兩組測(cè)試試驗(yàn),可以發(fā)現(xiàn)后一組試驗(yàn)中,NPC能夠根據(jù)自己的實(shí)力和玩家的實(shí)力對(duì)比，理智的采取一些行為（比如退避，呼喚同伴協(xié)同作戰(zhàn)）而不是一味盲目攻擊， NPC的存活率顯然就很高，因此也顯得較為智能。

第7篇

[關(guān)鍵詞]小波神經(jīng)網(wǎng)絡(luò) 電阻率儀器 溫度補(bǔ)償算法

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2015）15-0343-01

1、前言

在實(shí)際的現(xiàn)場(chǎng)工礦條件中，油層溫度遠(yuǎn)高于地面正常的環(huán)境溫度，在一定范圍內(nèi)造成儀器的測(cè)量數(shù)據(jù)產(chǎn)生溫度漂移，不能準(zhǔn)確地反映真實(shí)的地層參數(shù)，這直接影響到定向工程。為了消除這種測(cè)量誤差，本文介紹一種基于小波神經(jīng)網(wǎng)絡(luò)的算法來(lái)實(shí)現(xiàn)電阻率溫度補(bǔ)償，并通過(guò)實(shí)際的測(cè)量數(shù)據(jù)修正結(jié)果證實(shí)了能夠最大限度地消除溫度造成的測(cè)量誤差。

2、理論基礎(chǔ)

由于溫度造成的測(cè)量數(shù)據(jù)偏差已經(jīng)影響到儀器正常的工作，為了消除其對(duì)MRC儀器輸出的影響，達(dá)到輸出電壓與各個(gè)易感器件產(chǎn)生的連帶誤差最小的目標(biāo)，采用一種算法去逼近真正的測(cè)量值。本文擬采用基于小波分析和前饋神經(jīng)網(wǎng)絡(luò)，其所構(gòu)成的數(shù)學(xué)模型結(jié)合了小波變換良好的時(shí)域局域化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能，通過(guò)對(duì)網(wǎng)絡(luò)特征的分析處理，將學(xué)習(xí)向量的內(nèi)積和小波基迭代計(jì)算，以實(shí)現(xiàn)函數(shù)逼近的目標(biāo)。小波網(wǎng)絡(luò)因其良好的非線性映射能力和較強(qiáng)的容錯(cuò)逼近特性，能夠逼近特定性質(zhì)的非線性曲線[2]。

如圖1所示：

2.1 小波神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，是用已定位的小波元代替神經(jīng)元作為網(wǎng)絡(luò)的激活函數(shù)，通過(guò)小波網(wǎng)絡(luò)提供區(qū)別函數(shù)的多分辨近似，非平穩(wěn)信號(hào)分析和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)的并行處理。利用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)正向傳遞與誤差的反向傳播算法，計(jì)算輸出層的誤差變化值。同時(shí)選取適當(dāng)?shù)男〔ㄗ魈卣魈崛。谄涮卣骺臻g選取最佳的小波基，通過(guò)伸縮和平移因子，加快網(wǎng)絡(luò)學(xué)習(xí)和收斂速度。本文采用的是以小波函數(shù)為隱層節(jié)點(diǎn)的基函數(shù)的神經(jīng)網(wǎng)絡(luò)，進(jìn)行隨鉆儀器電阻參數(shù)溫度補(bǔ)償?shù)难芯俊?/p>

小波分析的定義：在函數(shù)空間中選擇母小波函數(shù)S（x），此函數(shù)需要滿足相容性條件。

對(duì)小波函數(shù)S（x）進(jìn)行伸縮變換和平移變換得到小波基函數(shù)，其公式如下：

其中自變量（a，b）是伸縮因子和平移因子。小波級(jí)數(shù)把函數(shù)f（x）分解成不同頻率的組合。

符號(hào)“< >”表示內(nèi)積，和稱為小波系數(shù)。

2.2 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及算法

本文采用小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示

該網(wǎng)絡(luò)輸入神經(jīng)元代表的是不同溫度下測(cè)量節(jié)點(diǎn)的采樣數(shù)值，將此學(xué)習(xí)樣本輸入到神經(jīng)網(wǎng)絡(luò)，隱層的激勵(lì)函數(shù)采用的是Morlet小波，選用的依據(jù)是其對(duì)隱層基函數(shù)的正交性要求較低，具有較高的時(shí)頻域分辨能力，同時(shí)滿足相容性條件，能有效地提高學(xué)習(xí)逼近的速度和準(zhǔn)確性。

小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法流程圖如圖3所示：開(kāi)始網(wǎng)絡(luò)化參數(shù)初始輸入學(xué)習(xí)樣本和期望輸出小波網(wǎng)絡(luò)學(xué)習(xí)，計(jì)算網(wǎng)絡(luò)實(shí)際輸出網(wǎng)絡(luò)誤差學(xué)習(xí)次數(shù)T

三、儀器溫度補(bǔ)償實(shí)例

儀器發(fā)射線圈流過(guò)的電流產(chǎn)生磁場(chǎng)，通過(guò)井眼和周圍的底層傳播到兩個(gè)接受線圈，采集其測(cè)量時(shí)序和信號(hào)幅度，從而來(lái)計(jì)算此地層的電阻率值。在實(shí)際的測(cè)量計(jì)算中，選用相位差和幅度比來(lái)實(shí)現(xiàn)。設(shè)定常溫到120度之間的試驗(yàn)需求樣本數(shù)據(jù)，通過(guò)網(wǎng)絡(luò)學(xué)習(xí)所達(dá)到的實(shí)測(cè)數(shù)據(jù)。網(wǎng)絡(luò)學(xué)習(xí)的收斂速度也滿足了預(yù)期的效果，同時(shí)滿足了設(shè)定的誤差范圍。在儀器測(cè)量的實(shí)際運(yùn)行中提高了測(cè)量穩(wěn)定性和容錯(cuò)性。

參考文獻(xiàn)

[1] 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安電子科技大學(xué)出版社，1990.

第8篇

關(guān)鍵詞：樹(shù)葉識(shí)別；支持向量機(jī)；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào) TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）10-0194-03

Abstract： In this paper， the convolution neural network recognition in the leaves， and the process by convolution of image visualization. Experiments show that the neural network application identification convolution leaves a 92% recognition rate. In addition ， this neural network and support vector machine comparative study can be drawn from the study ， convolutional neural network in either speed or accuracy better than support vector machines， visible， convolution neural network in the leaves aspect has good application prospects.

Key words recognition leaves； SVM； convolutional neural network

1 概述

樹(shù)葉識(shí)別與分類在對(duì)于區(qū)分樹(shù)葉的種類，探索樹(shù)葉的起源，對(duì)于人類自身發(fā)展、科普具有特別重要的意義。目前的樹(shù)葉識(shí)別與分類主要由人完成，但，樹(shù)葉種類成千上萬(wàn)種，面對(duì)如此龐大的樹(shù)葉世界，任何一個(gè)植物學(xué)家都不可能知道所有，樹(shù)葉的種類，這給進(jìn)一步研究樹(shù)葉帶來(lái)了困難。為了解決這一問(wèn)題，一些模式識(shí)別方法諸如支持向量機(jī)（Support Vector Machine，SVM）[1]，K最近鄰（k-NearestNeighbor， KNN）[2]等被引入，然而，隨著大數(shù)據(jù)時(shí)代的到來(lái)，這些傳統(tǒng)分類算法暴露出越來(lái)越多的不足，如訓(xùn)練時(shí)間過(guò)長(zhǎng)、特征不易提取等不足。

上世紀(jì)60年代開(kāi)始，學(xué)者們相繼提出了各種人工神經(jīng)網(wǎng)絡(luò)[3]模型，其中卷積神經(jīng)網(wǎng)絡(luò)由于其對(duì)幾何、形變、光照具有一定程度的不變形，因此被廣泛應(yīng)用于圖像領(lǐng)域。其主要特點(diǎn)有：1）輸入圖像不需要預(yù)處理；2）特征提取和識(shí)別可以同時(shí)進(jìn)行；3）權(quán)值共享，大大減少了需要訓(xùn)練的參數(shù)數(shù)目，是訓(xùn)練變得更快，適應(yīng)性更強(qiáng)。

卷積神經(jīng)網(wǎng)絡(luò)在國(guó)內(nèi)研究才剛剛起步。LeNet-5[4]就是一種卷積神經(jīng)網(wǎng)絡(luò)，最初用于手寫(xiě)數(shù)字識(shí)別，本文研究將卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型改進(jìn)并應(yīng)用于樹(shù)葉識(shí)別中。本文首先介紹一下卷積神經(jīng)網(wǎng)絡(luò)和LeNet-5的結(jié)構(gòu)，進(jìn)而將其應(yīng)用于樹(shù)葉識(shí)別，設(shè)計(jì)了實(shí)驗(yàn)方案，用卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的模式識(shí)別算法支持向量機(jī)（SVM）進(jìn)行比較，得出了相關(guān)結(jié)論，并對(duì)進(jìn)一步研究工作進(jìn)行了展望。

2人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)方面的研究很早就已開(kāi)展，現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成了多領(lǐng)域、多學(xué)科交叉的獨(dú)立的研究領(lǐng)域。神經(jīng)網(wǎng)絡(luò)中最基本的單元是神經(jīng)元模型。類比生物神經(jīng)元，當(dāng)它“興奮”時(shí)，就會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元的狀態(tài)。人工神經(jīng)元模型如圖1所示：

上述就是一個(gè)簡(jiǎn)單的神經(jīng)元模型。在這個(gè)模型中，神經(jīng)元接收來(lái)自n個(gè)其他神經(jīng)元傳遞過(guò)來(lái)的輸入信號(hào)，這些信號(hào)通過(guò)帶權(quán)重的w進(jìn)行傳遞，神經(jīng)元接收到的總輸入值將與神經(jīng)元的閾值進(jìn)行比較，然后通過(guò)“激活函數(shù)”來(lái)產(chǎn)生輸出。

一般采用的激活函數(shù)是Sigmoid函數(shù)，如式1所示：

[σz=11+e-z] （1）

該函數(shù)圖像圖2所示：

2.1多層神經(jīng)網(wǎng)絡(luò)

將上述的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來(lái)，就得到了如圖3所示的多層神經(jīng)網(wǎng)絡(luò)：

多層神經(jīng)網(wǎng)絡(luò)具有輸入層，隱藏層和輸出層。由于每一層之間都是全連接，因此每一層的權(quán)重對(duì)整個(gè)網(wǎng)絡(luò)的影響都是特別重要的。在這個(gè)網(wǎng)絡(luò)中，采用的訓(xùn)練算法是隨機(jī)梯度下降算法[5]，由于每一層之間都是全連接，當(dāng)訓(xùn)練樣本特別大的時(shí)候，訓(xùn)練需要的時(shí)間就會(huì)大大增加，由此提出了另一種神經(jīng)網(wǎng)絡(luò)―卷積神經(jīng)網(wǎng)絡(luò)。

2.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）由于在圖像分類任務(wù)上取得了非常好的表現(xiàn)而備受人們關(guān)注。發(fā)展到今天，CNN在深度學(xué)習(xí)領(lǐng)域已經(jīng)成為了一種非常重要的人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的核心在于通過(guò)建立很多的特征提取層一層一層地從圖片像素中找出關(guān)系并抽象出來(lái)，從而達(dá)到分類的目的，CNN方面比較成熟的是LeNet-5模型，如圖4所示：

在該LeNet-5模型中，一共有6層。如上圖所示，網(wǎng)絡(luò)輸入是一個(gè)28x28的圖像，輸出的是其識(shí)別的結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)“卷積層”和“采樣層”對(duì)輸入信號(hào)進(jìn)行處理，然后在連接層中實(shí)現(xiàn)與輸出目標(biāo)之間的映射，通過(guò)每一層卷積濾波器提取輸入的特征。例如，LeNet-5中第一個(gè)卷積層由4個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)24x24的神經(jīng)元陣列。采樣層是基于對(duì)卷積后的“平面”進(jìn)行采樣，如圖所示，在第一個(gè)采樣層中又4的12x12的特征映射，其中每個(gè)神經(jīng)元與上一層中對(duì)應(yīng)的特征映射的2x2鄰域相連接，并計(jì)算輸出。可見(jiàn)，這種局部相關(guān)性的特征提取，由于都是連接著相同的連接權(quán)，從而大幅度減少了需要訓(xùn)練的參數(shù)數(shù)目[6]。

3實(shí)驗(yàn)研究

為了將LeNet-5卷積網(wǎng)絡(luò)用于樹(shù)葉識(shí)別并檢驗(yàn)其性能，本文收集了8類樹(shù)葉的圖片，每一類有40張照片，如圖5所示的一張樹(shù)葉樣本：

本文在此基礎(chǔ)上改進(jìn)了模型，使用了如圖6卷積神經(jīng)網(wǎng)絡(luò)模型：

在此模型中，第一個(gè)卷積層是由6個(gè)特征映射構(gòu)成，每個(gè)特征映射是一個(gè)28*28的神經(jīng)元陣列，其中每個(gè)神經(jīng)元負(fù)責(zé)從5*5的區(qū)域通過(guò)卷積濾波器提取局部特征，在這里我們進(jìn)行了可視化分析，如圖7所示：

從圖中可以明顯地看出，卷積網(wǎng)絡(luò)可以很好地提取樹(shù)葉的特征。為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)分類算法之間的性能，本文基于Python語(yǔ)言，CUDA并行計(jì)算平臺(tái)，訓(xùn)練同樣大小8類，一共320張的一批訓(xùn)練樣本，采用交叉驗(yàn)證的方法，得到了如表1所示的結(jié)論。

可見(jiàn)，無(wú)論是識(shí)別率上，還是訓(xùn)練時(shí)間上，卷積網(wǎng)絡(luò)較傳統(tǒng)的支持向量機(jī)算法體現(xiàn)出更好地分類性能。

4 總結(jié)

本文從人工神經(jīng)網(wǎng)絡(luò)出發(fā)，重點(diǎn)介紹了卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5在樹(shù)葉識(shí)別上的各種研究并提取了特征且進(jìn)行了可視化，并與傳統(tǒng)分類算法SVM進(jìn)行比較。研究表明，該模型應(yīng)用在樹(shù)葉識(shí)別上較傳統(tǒng)分類算法取得了較好的結(jié)果，對(duì)收集的樹(shù)葉達(dá)到了92%的準(zhǔn)確率，并大大減少了訓(xùn)練所需要的時(shí)間。由于卷積神經(jīng)網(wǎng)絡(luò)有如此的優(yōu)點(diǎn)，因此在人臉識(shí)別、語(yǔ)音識(shí)別、醫(yī)療識(shí)別、犯罪識(shí)別方面具有很廣泛的應(yīng)用前景。

本文的研究可以歸納為探討了卷積神經(jīng)網(wǎng)絡(luò)在樹(shù)葉識(shí)別上的效果，并對(duì)比了傳統(tǒng)經(jīng)典圖像分類算法，取得了較好的分類精度。

然而，本文進(jìn)行實(shí)驗(yàn)的樣本過(guò)少，當(dāng)數(shù)據(jù)集過(guò)多的時(shí)候，這個(gè)卷積神經(jīng)網(wǎng)絡(luò)算法的可行性有待我們進(jìn)一步的研究；另外，最近這幾年，又有很多不同的卷積神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)，我們會(huì)繼續(xù)試驗(yàn)其他的神經(jīng)網(wǎng)絡(luò)模型，力求找到更好的分類算法來(lái)解決樹(shù)葉識(shí)別的問(wèn)題。

參考文獻(xiàn)：

[1]Bell A， Sejnowski T. An Information-Maximization Approach to Blind Separation and Blind Deconvolution[J]. Neural Computation， 1995， 7（6）：1129-59.

[2]Altman N S. An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression[J]. American Statistician， 1992， 46（3）：175-185.

[3]Ripley B D， Hjort N L. Pattern Recognition and Neural Networks[M]. Pattern recognition and neural networks. Cambridge University Press，， 1996：233-234.

[4]Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

第9篇

關(guān)鍵字：神經(jīng)網(wǎng)絡(luò)；粒子群；信息共享；全局搜索；尋優(yōu)

中圖法分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

從20 世紀(jì) 80 年代中期以來(lái)，神經(jīng)網(wǎng)絡(luò)以其好的自組織與自學(xué)習(xí)的獨(dú)特優(yōu)勢(shì)，現(xiàn)已廣泛地應(yīng)用于通信領(lǐng)域[1-3]。但通過(guò)研究現(xiàn)有的神經(jīng)網(wǎng)絡(luò)則不難發(fā)現(xiàn)，該系統(tǒng)在實(shí)際運(yùn)用中過(guò)度依賴于訓(xùn)練算法與初始權(quán)值，從而導(dǎo)致算法陷入了局部的最優(yōu)化；為此，人們提出了許多解決方案[4-7]。其中，基于粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)算法尤為突出；算法通過(guò)結(jié)合群體中粒子間的合作與競(jìng)爭(zhēng)關(guān)系，來(lái)促使網(wǎng)絡(luò)群體的智能尋優(yōu)；這在很大程度上解決了算法的局部最優(yōu)化問(wèn)題[8-9]。但在實(shí)際的運(yùn)用過(guò)程中，又進(jìn)一步發(fā)現(xiàn)，算法依然存在需要改進(jìn)的地方，即網(wǎng)絡(luò)的適用性較小且精度不高等問(wèn)題。

為此，本文提出了一種具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法。算法依據(jù)神經(jīng)網(wǎng)絡(luò)與粒子群算法的特點(diǎn)[10]，將神經(jīng)網(wǎng)絡(luò)算法與粒子群算法有機(jī)地結(jié)合在一起，并通過(guò)兩者間的互補(bǔ)，來(lái)提高網(wǎng)絡(luò)的整體效率。研究中為了避免算法出現(xiàn)局部最優(yōu)化問(wèn)題，本文對(duì)網(wǎng)絡(luò)中的搜索粒子進(jìn)行了速度的約束；而后，為保證算法的穩(wěn)定性與精確性，又對(duì)網(wǎng)絡(luò)的搜索進(jìn)行了約束，由此而保障每一網(wǎng)絡(luò)路徑的有效暢通。經(jīng)由仿真實(shí)驗(yàn)，該算法能夠獲得相比其他算法更高的精度，且其實(shí)際應(yīng)用性也更強(qiáng)。

1. 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過(guò)模仿動(dòng)物的行為特征，進(jìn)而實(shí)現(xiàn)分布式并行信息處理；這一方法有效地解決了網(wǎng)絡(luò)的信息傳輸問(wèn)題，通過(guò)依靠網(wǎng)絡(luò)系統(tǒng)的復(fù)雜程度與各節(jié)點(diǎn)的連通性，實(shí)現(xiàn)了大量數(shù)據(jù)的傳輸問(wèn)題[11]。其中，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大致可以分為三層，即輸入層，隱含層以及輸出層。

假設(shè) 為輸入層到隱層的連接權(quán)重， 為隱層到輸出層的連接權(quán)重，其中 ， 。其數(shù)據(jù)傳輸原理與結(jié)構(gòu)圖如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Neural network structure diagram

在圖1的神經(jīng)網(wǎng)絡(luò)中，隱層函數(shù)如式（1）所示：

（1）

輸出層函數(shù)如式（2）所示：

（2）

其中， 為隱層的輸入，而 為隱層的輸出； 為輸出層的輸入，而 為輸出層的輸出。 表示輸出層的輸入與輸出間的傳遞函數(shù)，而 表示隱層的輸入信號(hào)進(jìn)行的小波變換。

2粒子群優(yōu)化的網(wǎng)絡(luò)均衡處理

2.1 初始化

初始化粒子在當(dāng)前網(wǎng)絡(luò)中的所在位置，令其在最初就以隨機(jī)分布的方向進(jìn)行定義，即 ，其中每個(gè)隨機(jī)產(chǎn)生的粒子 都代表一個(gè)均衡器的一個(gè)權(quán)向量。同時(shí)再令初始位置為 ，初始速度為 ；為了便于后文的計(jì)算，在此，定義 為當(dāng)前網(wǎng)絡(luò)中的局部極值；而 則是代表當(dāng)前網(wǎng)絡(luò)中的全局極值。

2.2 速度和位置更新

速度與位置的更新在粒子群優(yōu)化（PSO）算法中是至重要的參數(shù)指標(biāo)項(xiàng)。為此，本文提出一個(gè)局部與全局的最佳粒子的搜索信息傳遞速度與位置更新函數(shù)，如式（3）所示。

（3）

其中， 為粒子速度的n個(gè)維度， 為0到1之間的隨機(jī)數(shù)， 為比例因子，而 、 為局部最佳粒子 與全局最佳粒子 的擴(kuò)展因數(shù)。基于此，為了保證其搜索的準(zhǔn)度，對(duì)粒子的速度進(jìn)行了限制，即當(dāng)搜索的粒子速度超過(guò)設(shè)計(jì)的限定速度時(shí)，將對(duì)速度進(jìn)行抑制，其方法的表達(dá)函數(shù)為：

（4）

2.3 網(wǎng)絡(luò)的約束

本文采用網(wǎng)絡(luò)的覆蓋概率和寬度間隔對(duì)當(dāng)前網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)，具體求取方式論述如下。

2.3.1區(qū)間的覆蓋概率

網(wǎng)絡(luò)的覆蓋概率（ ）是衡量網(wǎng)絡(luò)適應(yīng)與否的指標(biāo)， 可做如下定義：

（5）

其中，m×n是樣品數(shù)量；當(dāng) ，目標(biāo) ；其他的情況下， ，而 、 則為目標(biāo)的最小值與最大值。

2.3.2 區(qū)間的寬度間隔

在時(shí)間間隔寬度足夠長(zhǎng)的情況下，網(wǎng)絡(luò)的覆蓋概率會(huì)較少。但如果其間隔過(guò)寬，卻又會(huì)導(dǎo)致資源的浪費(fèi)，為此，本文對(duì)預(yù)測(cè)區(qū)間內(nèi)的寬度間隔進(jìn)行定義，計(jì)算公式如下：

（6）

其中，R為潛在目標(biāo)的范圍。

而對(duì)于方根誤差，本文則是用于評(píng)價(jià)器成功演繹訓(xùn)練來(lái)的指標(biāo)，通過(guò)對(duì)預(yù)測(cè)區(qū)間內(nèi)歸一化的方根寬度進(jìn)行定義，來(lái)提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練的效果，其定義函數(shù)如下。

（7）

2.3.3 約束條件

在實(shí)際的運(yùn)用中，上述提及的覆蓋概率與寬度間隔存在一定的矛盾關(guān)聯(lián)，為此需要進(jìn)行制衡匹配，來(lái)提高網(wǎng)絡(luò)的整體處理效果。本文中，使用的寬度標(biāo)準(zhǔn)如下所示。

（8）

其中，訓(xùn)練滿足 ；但作為測(cè)試樣品時(shí)， 為階躍函數(shù)，并需滿足如下條件。

其中， 、 皆為常數(shù)，用于懲罰網(wǎng)絡(luò)覆蓋現(xiàn)象的發(fā)生。

3仿真算法

為驗(yàn)證算法的可行性，本文在Matlab 2014a 軟件環(huán)境下進(jìn)行測(cè)試，并進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)中選用的對(duì)比算法有傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法與文獻(xiàn)[12]中的算法；同時(shí)又選用兩種不同的信道進(jìn)行測(cè)試，具體傳輸函數(shù)如下所示。

電話信道：

普通信道：

為檢驗(yàn)算法的精度，本文選用誤碼率進(jìn)行算法的評(píng)價(jià)，通過(guò)采用上述指定的算法進(jìn)行測(cè)試，測(cè)試中以正方形曲線代表傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，圓形曲線代表文獻(xiàn)算法，而三角形圖像代表本文算法。實(shí)驗(yàn)仿真結(jié)果如圖2、圖3所示。

圖2電話信道下的誤碼率

Fig.2 Bit error rate in telephone channel

圖3 普通信道下的誤碼率

Fig.3 Bit error rate under common channel

由圖2、圖3可看到，在兩種不同的信道下，本文算法的誤碼率曲線始終保持在另外兩種算法的下方；其中在電話信道下，本文算法隨著信噪比的不斷增強(qiáng)的影響，其誤碼率減少為了、最大；而在普通信道下，本文算法與文獻(xiàn)算法所測(cè)誤碼率相接近，但本文算法始終保持在其下方。由仿真測(cè)試可知，測(cè)試過(guò)程有效證明了算法精度，且與其他算法相比更加適用于信道較復(fù)雜的網(wǎng)絡(luò)。

4 結(jié)束語(yǔ)

提出了一種提升網(wǎng)絡(luò)精度的神經(jīng)網(wǎng)絡(luò)均衡算法，該算法通過(guò)結(jié)合粒子群的特性，利用粒子的速度來(lái)避免粒子速度過(guò)大的造成的數(shù)據(jù)丟失現(xiàn)象；最后，根據(jù)網(wǎng)絡(luò)的區(qū)間覆蓋率與間隔寬度等條件對(duì)網(wǎng)絡(luò)進(jìn)行尋優(yōu)約束；經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法具有較好的搜索精度，但在算法的搜索效率方面仍有較大的提升空間，這將作為下一步的研究方向，用于開(kāi)展深入研究。

參考文獻(xiàn)

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

第10篇

關(guān)鍵詞：全卷積神經(jīng)網(wǎng)絡(luò)；顯著性預(yù)測(cè)；縮略圖生成

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）14-0149-02

1概述

縮略圖是一種經(jīng)壓縮方式處理后的圖片，在小尺度下包含了原圖像大部分有效信息，可廣泛應(yīng)用于圖像快速索引、網(wǎng)頁(yè)超鏈接等多個(gè)領(lǐng)域。目前相關(guān)算法多采用固定分辨率縮放及中央裁剪等固定規(guī)則進(jìn)行縮略圖生成，而忽視圖像自身具有的內(nèi)容信息。為提高縮略圖攜帶的有效信息，該文利提出一種利用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行顯著性預(yù)測(cè)，再由顯著點(diǎn)密度自動(dòng)獲取圖像中包含最有意義信息的區(qū)域進(jìn)行截取，進(jìn)而生成圖像內(nèi)容相關(guān)縮略圖的算法。

2算法設(shè)計(jì)

為生成面向圖像信息的自適應(yīng)縮略圖，該方法由兩部分組成。第一部分為圖像識(shí)別模塊，主要工作是得到圖像的顯著性圖；第二部分為自適應(yīng)滑動(dòng)窗口模塊，主要工作是得到窗口內(nèi)平均顯著度最強(qiáng)的窗口坐標(biāo)。

2.1顯著性A測(cè)

該文在縮略圖截取區(qū)域識(shí)別階段采用顯著性預(yù)測(cè)算法作為識(shí)別手段。顯著性預(yù)測(cè)是目前非常活躍并正在不斷取得突破性進(jìn)展的機(jī)器視覺(jué)領(lǐng)域下的一個(gè)子領(lǐng)域，是一種模擬人類注意力機(jī)制的算法。其主要目標(biāo)是對(duì)圖像（畫(huà)面）中吸引人注意的地方（顯著性區(qū)域）進(jìn)行自動(dòng)的識(shí)別與提取，并生成與輸入圖像尺度對(duì)應(yīng)的一張灰度圖。其生成的灰度圖中的高亮度區(qū)域代表具有顯著性物體，如汽車、人臉、字母等，并且服從高斯分布。根據(jù)特征融合理論（Feature Integration Theory），目前已有多種基于卷積神經(jīng)網(wǎng)絡(luò)的顯著性預(yù)測(cè)算法被提出（如DeepFix、SALICON等），并極大的提高了顯著性識(shí)別的精度。

2.2卷積神經(jīng)網(wǎng)絡(luò)概述

為生得到面向內(nèi)容的縮略圖截取坐標(biāo)，首先需要對(duì)圖像內(nèi)容進(jìn)行識(shí)別，并對(duì)圖像每個(gè)區(qū)域的重要程度進(jìn)行分類。近年來(lái)由于GPU并行運(yùn)算性能的突破性進(jìn)步以及基于大數(shù)據(jù)技術(shù)的訓(xùn)練數(shù)據(jù)集擴(kuò)充，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neu-ral Networks，DCNNs）在包括圖像識(shí)別、目標(biāo)跟蹤及顯著性預(yù)測(cè)等多個(gè)圖像處理領(lǐng)域上的任務(wù)都取得了極大的提升。而預(yù)訓(xùn)練參數(shù)（Pretraining）與轉(zhuǎn)移學(xué)習(xí)（Transfer Learning）等技術(shù)進(jìn)一步提升了CNNs在多項(xiàng)圖像處理任務(wù)中的泛化能力及可用性，因此該文采用截?cái)郪GG19模型為預(yù)訓(xùn)練網(wǎng)絡(luò)，進(jìn)行顯著點(diǎn)識(shí)別及縮略圖。全卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)類似，均采用梯度下降算法對(duì)權(quán)值進(jìn)行更新。不同點(diǎn)在于，全卷積神經(jīng)網(wǎng)絡(luò)每次更新的值包括卷積核的值以及該卷積核的權(quán)值。

2.3網(wǎng)絡(luò)結(jié)構(gòu)

該文所采用的全卷積神經(jīng)網(wǎng)絡(luò)采用截?cái)嗟腣GGl9預(yù)訓(xùn)練模型的前10層組成。VGGl9由進(jìn)行圖像識(shí)別（物體分類）的ImageNet數(shù)據(jù)集訓(xùn)練而成，可精確識(shí)別數(shù)據(jù)集中1000中物體分類，故其所學(xué)習(xí)的卷積核參數(shù)包含有豐富的物體信息。

其中網(wǎng)絡(luò)的具體成分主要由10層卷積模塊及3層最大池化層組成，而卷積模塊依次由一層卷積層，一層批量歸一化層以及一層ReLU（Rectified Linear Unit）激活函數(shù)層組成。其中前8層卷積層由普通3×3大小，1×1步長(zhǎng)的卷積核組成，后兩層卷積層由帶2×2洞的3×3大小（故實(shí)際感受野為5×5），步長(zhǎng)1×1的卷積核組成。

網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.4縮略圖生成

由全卷積神經(jīng)網(wǎng)絡(luò)識(shí)別并得到的顯著性圖為灰度值為0-255的灰度圖，大的灰度值代表高顯著性激活度。在得到對(duì)應(yīng)圖像的顯著性圖之后，方法采用步長(zhǎng)為10像素的滑動(dòng)窗口對(duì)顯著性圖進(jìn)行遍歷，并選擇所窗口內(nèi)激活程度最高的區(qū)域所處坐標(biāo)作為縮略圖截取坐標(biāo)。對(duì)于有多個(gè)相同激活值的區(qū)域則選取距離圖像中心最近的區(qū)域所處坐標(biāo)為縮略圖截取坐標(biāo)。最后通過(guò)對(duì)原始輸入圖像中對(duì)應(yīng)縮略圖截取坐標(biāo)進(jìn)行截取，得到最終縮略圖。

3實(shí)驗(yàn)設(shè)計(jì)

根據(jù)算法流程，該方法中實(shí)驗(yàn)設(shè)計(jì)也可分為兩部分：第一部分為訓(xùn)練用于得到顯著點(diǎn)坐標(biāo)的全卷積神經(jīng)網(wǎng)絡(luò)，第二部分為設(shè)計(jì)并實(shí)現(xiàn)基于顯著性圖的動(dòng)態(tài)步長(zhǎng)滑動(dòng)窗口方法。

3.1網(wǎng)絡(luò)參數(shù)及訓(xùn)練數(shù)據(jù)設(shè)置

該方法訓(xùn)練數(shù)據(jù)選自開(kāi)放數(shù)據(jù)集MIT1003及SALI-CONt31。實(shí)驗(yàn)采用批量訓(xùn)練方法，每批數(shù)據(jù)由128個(gè)樣本組成，共訓(xùn)練2000個(gè)批次。網(wǎng)絡(luò)采用絕對(duì)平均誤差（Mean AbsoluteError，MAE）為損失函數(shù)（如公式1所示），并采用改進(jìn)的梯度下降算法Adam算法進(jìn)行權(quán)值更新，以提高網(wǎng)絡(luò)魯棒性及收斂性。網(wǎng)絡(luò)收斂曲線如圖2所示。

3.2滑動(dòng)窗口設(shè)計(jì)

在得到輸入圖像的顯著性圖之后，所提方法通過(guò)滑動(dòng)窗口截取縮略圖，并通過(guò)自適應(yīng)步長(zhǎng)降低算法的時(shí)間復(fù)雜度。自適應(yīng)步長(zhǎng)通過(guò)由當(dāng)前窗口內(nèi)顯著性圖的平均激活值得到。步長(zhǎng)的最大分辨率為40像素，最小分辨率為5像素，當(dāng)當(dāng)前窗口內(nèi)平均激活值小于預(yù)設(shè)閾值時(shí)，下一次窗口的滑動(dòng)步長(zhǎng)增加為當(dāng)前步長(zhǎng)2倍，直至增大到最大分辨率步長(zhǎng)。當(dāng)當(dāng)前窗口呢平均激活值大于預(yù)設(shè)閾值時(shí)，則每一次滑動(dòng)減小位原步長(zhǎng)的1/2，直至衰減到最小分辨率步長(zhǎng)。

3.3實(shí)驗(yàn)結(jié)果

在驗(yàn)證及測(cè)試階段，采用的測(cè)量標(biāo)準(zhǔn)為AUC-Judd，相關(guān)系數(shù)（Correlation Coefficient）以及KL散度（Kullback-Leibler Diver-gence）。其中AUC-Judd越大越好，KL散度越小越好。訓(xùn)練收斂后以以上測(cè)量標(biāo)準(zhǔn)在MIT1003數(shù)據(jù)集上進(jìn)行了驗(yàn)證測(cè)試，所得結(jié)果如表一所示。表一表面該方法在顯著性預(yù)測(cè)上超過(guò)了傳統(tǒng)方法，取得了較好的結(jié)果。

圖3對(duì)所提方法得到的縮略圖進(jìn)行了直觀展示。從中可知所提方法在縮略圖生成的過(guò)程中對(duì)圖像本身信息進(jìn)行了有效提取且得到了有效的顯著性圖，并由該顯著性圖通過(guò)滑動(dòng)窗口得到了縮略圖所需的正確截取坐標(biāo)。最后得到的縮略圖對(duì)于原圖像本身信息具有高代表性，且并未損失分辨率信息。

第11篇

Abstract： By modeling and neural network， we built the prediction system of genetic neural network. Through a comprehensive analysis of various factors of vibrator and fusion， genetic algorithm is used to copy， exchange， so the prediction system can greatly improve the convergence speed， its use and practical engineering using strong.

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)；振沖器；預(yù)測(cè)；算法

Key words： nerve net；vibrating equipment；forecast；arithmetic

中圖分類號(hào)：TU473.1 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2013）23-0047-02

1 振沖器性能預(yù)測(cè)原理

振沖器原理；振沖器是借助于偏心塊在定軸旋轉(zhuǎn)時(shí)的離心力，使整個(gè)振沖器產(chǎn)生具有一定頻率和振幅的激振力，對(duì)軟弱地基進(jìn)行加固處理。用振動(dòng)輔以壓力水加密砂土的概念，最早是由德國(guó)的斯徒門(mén)在1936年提出的。1937年德國(guó)凱勒（J·Keller）公司研制成功第一臺(tái)振沖器如圖1和圖2。在三十年代和四十年代初，就開(kāi)始用這種機(jī)具加固砂性地基。六十年代，德國(guó)和英國(guó)相繼有人將這一加固技術(shù)應(yīng)用到粘性土地基的加固中。隨后，在美國(guó)成立了振沖工程技術(shù)公司，承包一些工程。同時(shí)日本和蘇聯(lián)也引進(jìn)了這一技術(shù)，如蘇聯(lián)在埃及尼羅河上修建的阿斯旺水壩就采用了振沖法加固壩基。七十年代，我國(guó)也引進(jìn)了該項(xiàng)技術(shù)，并在許多軟基加固工程中得到應(yīng)用[1-3]。

大量工程實(shí)踐表明，振沖器的性能參數(shù)（振頻、振幅和激振力等）對(duì)加固的效果影響較大。但怎樣恰當(dāng)?shù)倪x擇最優(yōu)參數(shù)，以獲得最佳的加固效果，是振沖器設(shè)計(jì)的關(guān)鍵。因此將這些影響因素融合分析，在不同的工況下，會(huì)使得振沖器產(chǎn)生不同的工作性能。并且振密電流，振沖水壓，留振時(shí)間等也反映出振沖器的優(yōu)劣性質(zhì)。所以我們應(yīng)用遺傳神經(jīng)網(wǎng)絡(luò)方法完成振沖器性能的預(yù)測(cè)顯得比較關(guān)鍵和重要。

振沖器一般由激振器、減震器和潛水電機(jī)組成[4]。

偏心塊以等角速度？棕旋轉(zhuǎn)，其質(zhì)心O'與轉(zhuǎn)軸軸心O存在偏心距e。旋轉(zhuǎn)時(shí)，激振力使得振沖器產(chǎn)生間歇振動(dòng)。[4]

OC是激振器的振幅，其質(zhì)心C的運(yùn)動(dòng)方程為：

Xc=OC·cos？棕t（1）

Yc=OC·sin？棕t（2）

由于激振器做等角速度轉(zhuǎn)動(dòng)，根據(jù)平衡方程，振幅A應(yīng)該是：

A=OC=■·e（cm）（3）

公式中e為偏塊質(zhì)心的偏心距，W為偏心塊的重量，Q為激振器殼體部分總重量

如果將振沖器在土體的振動(dòng)視為有粘性阻尼的單自由度的強(qiáng)迫振動(dòng)，其振幅為：

A=■（m）（4）

其中？棕Z為土體自轉(zhuǎn)原頻率；DZ為土體阻尼比。

2 神經(jīng)網(wǎng)絡(luò)算法[1]

2.1 神經(jīng)網(wǎng)絡(luò)基本原理 BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱層和輸出層組成。對(duì)于N各集合{（x（t），y（t））|x∈RM，y∈RN，t=1，2，…N}的離散時(shí)間序列，BP網(wǎng)絡(luò)可以完成從輸入到輸出的非線性映射，使得F：RMRN[1]。其中，隱含層可以是一層也可以是多層。

從結(jié)構(gòu)講，三層BP網(wǎng)絡(luò)是一個(gè)典型的半線性層次網(wǎng)絡(luò)。此法的思路：先通過(guò)神經(jīng)元向前發(fā)送輸入模式，然后計(jì)算理想輸出與實(shí)際輸出的誤差，將其看作連接層各連接點(diǎn)的誤差，通過(guò)輸出反向到輸入層再分?jǐn)偨o各節(jié)點(diǎn)，從而可以算出各個(gè)節(jié)點(diǎn)的參考誤差，并且對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行調(diào)整，使得達(dá)到要求的映射范圍。通過(guò)多次不斷的迭代，使得誤差不斷減小，直到獲得期望的輸出，網(wǎng)絡(luò)訓(xùn)練即為結(jié)束[6-7]。

2.2 振沖器性能指標(biāo)模型建模 神經(jīng)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)為多輸入、多輸出結(jié)構(gòu)[5]。網(wǎng)絡(luò)結(jié)構(gòu)為6-4-5，輸入層單元數(shù)為選擇的參數(shù)單元的個(gè)數(shù)，即為動(dòng)力矩、頻率、電機(jī)功率、偏心距、自由振幅、振動(dòng)加速度；輸出層為振沖作業(yè)的深度、樁徑要求、振沖器的功率、振密電流、留振時(shí)間5個(gè)單元。隱層為1層，經(jīng)驗(yàn)證隱層的單元數(shù)目為4個(gè)。

采用遺產(chǎn)算法的交換、復(fù)制過(guò)程，來(lái)代替BP算法過(guò)程，可以加快了收斂的速度，但也可能是會(huì)造成收斂性過(guò)早，所以我們改進(jìn)一些措施，來(lái)提高算法的指標(biāo)：

（1）將網(wǎng)絡(luò)中的輸入層與隱含層、隱含層與輸出層之間的權(quán)值以及節(jié)點(diǎn)處閾值按權(quán)值優(yōu)先的原則進(jìn)行排列成網(wǎng)絡(luò)。

（2）BP網(wǎng)絡(luò)中權(quán)重參數(shù)的調(diào)整是沿著誤差函數(shù)的梯度方向下降，但由于此種方法偏離的誤差的最小點(diǎn)方向，采取變梯度算法的第一次迭代都是沿著最陡梯度下降方向開(kāi)始進(jìn)行搜索的。采用最佳距離的線性搜索是沿著當(dāng)前搜索的方向進(jìn)行。

（3）神經(jīng)網(wǎng)絡(luò)遺傳算法中個(gè)體復(fù)制是依據(jù)適應(yīng)性的原則，適應(yīng)性大的進(jìn)行復(fù)制，小的剔除。

復(fù)制的概率公式：

Pr=Ar1-1/■+■[3]（5）

（4）交換是產(chǎn)生新個(gè)體的主要手段。但是隨機(jī)選擇會(huì)產(chǎn)生操作結(jié)果的隨機(jī)性，可能使得有效因子缺失，從而使得搜索最優(yōu)解的時(shí)間延長(zhǎng)。所以，系統(tǒng)的交換概率根據(jù)遺傳過(guò)程中每二代差異及每代內(nèi)各個(gè)連接單元的相似程度動(dòng)態(tài)調(diào)整交換率，調(diào)整公式為：

Pc=Ac1■+Ac2（1.2-Bk/Ba）（6）

在公式（5）和公式（6）中AK為計(jì)算的單元個(gè)體適應(yīng)度，Ba為整體中適應(yīng)度相對(duì)較好的前一半的個(gè)體適應(yīng)度，Ac1和Ac2是交換系數(shù)，Ar1和Ar2是復(fù)制系數(shù)。

3 算例

檢測(cè)50組數(shù)據(jù)作為訓(xùn)練樣本及10組數(shù)據(jù)用于網(wǎng)絡(luò)性能測(cè)試。每組數(shù)據(jù)由動(dòng)力矩、激振力、電機(jī)功率、頻率四個(gè)參數(shù)組成，作為神經(jīng)網(wǎng)絡(luò)的輸入；神經(jīng)網(wǎng)絡(luò)的輸出為振沖器及施工做出的樁體的預(yù)測(cè)結(jié)果，分別為短路、串樁、堵孔、正常、填料量少等5個(gè)單元。

試驗(yàn)結(jié)果和預(yù)測(cè)如表2，系統(tǒng)經(jīng)356次迭代，代入試驗(yàn)樣本檢驗(yàn)，正確率為90%；未修正的方法需迭代740次，正確率為85%，所以此方法迭代快，準(zhǔn)確率高。

4 結(jié)論

①通過(guò)不同的影響因素綜合分析，可以有效的預(yù)測(cè)振沖器的工作性能。②此方法的預(yù)測(cè)系統(tǒng)，使得預(yù)測(cè)時(shí)間縮短，節(jié)約時(shí)間，有一定的實(shí)際意義和利用價(jià)值。③應(yīng)用改進(jìn)的方法后，預(yù)測(cè)結(jié)果成功率在一定程度上有所提高。

參考文獻(xiàn)：

[1]Martin T Hagan ，Howard B Demuth ，Mark H Beale.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M].戴葵，伯民，譯.北京：機(jī)械工業(yè)出版社，2002：214.

[2]董恩國(guó). 基于遺傳神經(jīng)網(wǎng)絡(luò)算法的發(fā)動(dòng)機(jī)性能預(yù)測(cè)[J]. 起重運(yùn)輸機(jī)械，2005（9）.

[3]楊振強(qiáng)，王常虹.自適應(yīng)復(fù)制、交叉和突變的遺傳算法[J].電子科學(xué)學(xué)刊，2000（1）：112-117.

[4]孫述祖.振沖器參數(shù)的研究分析[J].建筑機(jī)械，1987（07）.

[5]施鴻寶.神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1西安：西安交通大學(xué)出版社， 1993.

第12篇

關(guān)鍵詞:模糊神經(jīng)網(wǎng)絡(luò);擴(kuò)展卡爾曼濾波;自組織學(xué)習(xí)

Fast self-organizing learning algorithm based on EKF for fuzzy neural network

ZHOU Shang-bo，LIU Yu-jiong

(College of Computer Science， Chongqing University， Chongqing 400044， China)

Abstract:To construct an effective fuzzy neural network， this paper presented a self-organizing learning algorithm based on extended Kalman filter for fuzzy neural network. In the algorithm， the network grew rules according to the proposed growing criteria without pruning， speeding up the online learning process.All the free parameters were updated by the extended Kalman filter approach and the robustness of the network was obviously enhanced. The simulation results show that the proposed algorithm can achieve fast learning speed， high approximation precision and generation capability.

Key words:fuzzy neural network; extended Kalman filter(EKF); self-organizing learning

模糊神經(jīng)網(wǎng)絡(luò)起源于20世紀(jì)80年代后期的日本，由于其簡(jiǎn)單、實(shí)用，已經(jīng)被廣泛應(yīng)用在工業(yè)控制、系統(tǒng)辨識(shí)、模式識(shí)別、數(shù)據(jù)挖掘等許多領(lǐng)域[1~4]。然而，如何從可用的數(shù)據(jù)集和專家知識(shí)中獲取合適的規(guī)則數(shù)仍然是一個(gè)尚未解決的問(wèn)題。為了獲取模糊規(guī)則，研究人員提出了不同的算法，如文獻(xiàn)[5]利用正交最小二乘算法確定徑向基函數(shù)的中心，但是該算法訓(xùn)練速度比較慢;文獻(xiàn)[6]提出了基于徑向基函數(shù)的自適應(yīng)模糊系統(tǒng)，其算法使用了分層自組織學(xué)習(xí)策略，但是逼近精度低。擴(kuò)展卡爾曼濾波(EKF)算法作為一種非線性更新算法，在神經(jīng)網(wǎng)絡(luò)中得到了廣泛應(yīng)用。文獻(xiàn)[7]利用擴(kuò)展卡爾曼濾波算法調(diào)整多層感知器的權(quán)值，文獻(xiàn)[8]利用擴(kuò)展卡爾曼濾波算法調(diào)整徑向基函數(shù)網(wǎng)絡(luò)的權(quán)值。

本文提出了一種模糊神經(jīng)網(wǎng)絡(luò)的快速自組織學(xué)習(xí)算法(SFNN)。該算法基于無(wú)須修剪過(guò)程的生長(zhǎng)準(zhǔn)則增加模糊規(guī)則，加速了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，同時(shí)使用EKF調(diào)整網(wǎng)絡(luò)的參數(shù)。在該算法中，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不是預(yù)先設(shè)定的，而是在學(xué)習(xí)過(guò)程中動(dòng)態(tài)變化的，即在學(xué)習(xí)開(kāi)始前沒(méi)有一條模糊規(guī)則，在學(xué)習(xí)過(guò)程中逐漸增加模糊規(guī)則。與傳統(tǒng)的模糊神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法相比，本算法所得到的模糊規(guī)則數(shù)并不會(huì)隨著輸入變量的增加而呈指數(shù)增長(zhǎng)，特別是本算法無(wú)須領(lǐng)域的專家知識(shí)就可以實(shí)現(xiàn)對(duì)系統(tǒng)的自動(dòng)建模及抽取模糊規(guī)則。當(dāng)然，如果設(shè)計(jì)者是領(lǐng)域?qū)＜遥渲R(shí)也可以直接用于系統(tǒng)設(shè)計(jì)。本算法所得到的模糊神經(jīng)網(wǎng)絡(luò)具有結(jié)構(gòu)小、避免出現(xiàn)過(guò)擬合現(xiàn)象等特點(diǎn)。

1 SFNN的結(jié)構(gòu)

本文采用與文獻(xiàn)[9]相似的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。其中，r是輸入變量個(gè)數(shù);?x?i(i=1，2，…，r)是輸入語(yǔ)言變量;y是系統(tǒng)的輸出;MFij是第i個(gè)輸入變量的第j個(gè)隸屬函數(shù);R?j表示第j條模糊規(guī)則;w?j是第j條規(guī)則的結(jié)果參數(shù);u是系統(tǒng)總的規(guī)則數(shù)。

下面是對(duì)該網(wǎng)絡(luò)各層含義的詳細(xì)描述。

第一層:輸入層。每個(gè)節(jié)點(diǎn)代表一個(gè)輸入語(yǔ)言變量。

第二層:隸屬函數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬函數(shù)，隸屬函數(shù)采用如下的高斯函數(shù):

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r; j=1，2，…，u(1)

其中:r是輸入變量數(shù);u是隸屬函數(shù)個(gè)數(shù)，也代表系統(tǒng)的總規(guī)則數(shù);μij是x?i的第j個(gè)高斯隸屬函數(shù);cij是x?i的第j個(gè)高斯隸屬函數(shù)的中心;σij是x?i的第j個(gè)高斯隸屬函數(shù)的寬度。

第三層:T-范數(shù)層。每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分，也代表一個(gè)RBF單元，該層節(jié)點(diǎn)個(gè)數(shù)反映了模糊規(guī)則數(shù)。如果計(jì)算每個(gè)規(guī)則觸發(fā)權(quán)的T-范數(shù)算子是乘法，則在第三層中第j條規(guī)則R?j的輸出為

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四層:輸出層。該層每個(gè)節(jié)點(diǎn)代表一個(gè)輸出變量，該輸出是所有輸入變量的疊加。

y(X)=?uj=1w?jφ?j(3)

其中:y是網(wǎng)絡(luò)的輸出;w?j是Then-部分。

2 SFNN的學(xué)習(xí)算法

如前文所述，第三層的每個(gè)節(jié)點(diǎn)代表一個(gè)可能的模糊規(guī)則的IF-部分或者一個(gè)RBF單元。如果需要辨識(shí)系統(tǒng)的模糊規(guī)則數(shù)，則不能預(yù)先選擇模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。于是，本文提出一種新的學(xué)習(xí)算法，該算法可以自動(dòng)確定系統(tǒng)的模糊規(guī)則并能達(dá)到系統(tǒng)的特定性能。

2.1 模糊規(guī)則的產(chǎn)生準(zhǔn)則

在模糊神經(jīng)網(wǎng)絡(luò)中，如果模糊規(guī)則數(shù)太多，不僅增加系統(tǒng)的復(fù)雜性，而且增加計(jì)算負(fù)擔(dān)和降低網(wǎng)絡(luò)的泛化能力;如果規(guī)則數(shù)太少，系統(tǒng)將不能完全包含輸入/輸出狀態(tài)空間，將降低網(wǎng)絡(luò)的性能。是否加入新的模糊規(guī)則取決于系統(tǒng)誤差、可容納邊界和誤差下降率三個(gè)重要因素。

2.1.1 系統(tǒng)誤差

誤差判據(jù):對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(x?i，t?i)，其中x?i是輸入向量，t?i是期望輸出，由式(3)計(jì)算網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的全部輸出y?i。

定義:e?i=t?i-y?i;i=1，2，…，n(4)

如果e?i>k?e k?e=max[emax×β?i，emin](5)

則說(shuō)明網(wǎng)絡(luò)現(xiàn)有結(jié)構(gòu)的性能比較差，要考慮增加一條新的規(guī)則;否則，不生成新規(guī)則。其中:k?e是根據(jù)網(wǎng)絡(luò)期望的精度預(yù)先選擇的值;emax是預(yù)定義的最大誤差;emin是期望的輸出精度;β(0

2.1.2 可容納邊界

從某種意義上來(lái)講，模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)是對(duì)輸入空間的高效劃分。模糊神經(jīng)網(wǎng)絡(luò)的性能和結(jié)構(gòu)與輸入隸屬函數(shù)緊密相關(guān)。本文使用的是高斯隸屬函數(shù)，高斯函數(shù)輸出隨著與中心距離的增加而單調(diào)遞減。當(dāng)輸入變量采用高斯隸屬函數(shù)時(shí)，則認(rèn)為整個(gè)輸入空間由一系列高斯隸屬函數(shù)所劃分。如果某個(gè)新樣本位于某個(gè)已存在的高斯隸屬函數(shù)覆蓋范圍內(nèi)，則該新樣本可以用已存在的高斯隸屬函數(shù)表示，不需要網(wǎng)絡(luò)生成新的高斯單元。

可容納邊界:對(duì)于第i個(gè)觀測(cè)數(shù)據(jù)(x?i，t?i)，計(jì)算第i個(gè)輸入值x?i與已有RBF單元的中心c?j之間的距離d?i(j)，即

d?i(j)=x?i-c?j;i=1，2，…，n; j=1，2，…，u(6)

其中:u是現(xiàn)有的模糊規(guī)則或RBF單元的數(shù)量。令

di，min=arg min(d?i(j))(7)

如果di，min>k?d，k?d=max[dmax×γ?i，dmin](8)

則說(shuō)明已存在的輸入隸屬函數(shù)不能有效地劃分輸入空間。因此，需要增加一條新的模糊規(guī)則，否則，觀測(cè)數(shù)據(jù)可以由已存在的距離它最近的RBF單元表示。其中:k?d是可容納邊界的有效半徑;dmax是輸入空間的最大長(zhǎng)度;dmin是所關(guān)心的最小長(zhǎng)度;γ(0

2.1.3 誤差下降率

傳統(tǒng)的學(xué)習(xí)算法把誤差減少率(ERR)[5]用于網(wǎng)絡(luò)生長(zhǎng)后的修剪過(guò)程，算法會(huì)因?yàn)樾藜暨^(guò)程而增加計(jì)算負(fù)擔(dān)，降低學(xué)習(xí)速度。本文把誤差減少率用于生長(zhǎng)過(guò)程形成一種新的生長(zhǎng)準(zhǔn)則，算法無(wú)須經(jīng)過(guò)修剪過(guò)程，從而加速網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。

給定n個(gè)輸入/輸出數(shù)據(jù)對(duì)(x?i，t?i)，t=1，2，…，n，把式(3)看做線性回歸模型的一種特殊情況，該線性回歸模型為

t(i)=?uj=1h?j(i)θ?j+ε(i)(9)

式(9)可簡(jiǎn)寫(xiě)為

D=HΘ+E(10)

D=T?T∈R?n是期望輸出，H=φ?T∈R??n×u是回歸量，Θ=?W?T∈R?u是權(quán)值向量，并且假設(shè)E∈R?n是與回歸量不相關(guān)的誤差向量。

對(duì)于矩陣φ，如果它的行數(shù)大于列數(shù)，通過(guò)QR分解:

H=PQ(11)

可把H變換成一組正交基向量集P=[p?1，p?2，…，p?u]∈R??n×u，其維數(shù)與H的維數(shù)相同，各列向量構(gòu)成正交基，Q∈R??u×u是一個(gè)上三角矩陣。通過(guò)這一變換，有可能從每一基向量計(jì)算每一個(gè)分量對(duì)期望輸出能量的貢獻(xiàn)。把式(11)代入式(10)?可得

D=PQΘ+E=PG+E(12)

G的線性最小二乘解為G=(P?TP)??-1P?TD，或

g?k=p?T?kDp?T?kp?k;k=1，2，…，u(13)

Q和Θ滿足下面的方程:

QΘ=G(14)

當(dāng)k≠l時(shí)，p?k和p?l正交，D的平方和由式(15)給出:

D?TD=?uk=1g?2?kp?T?kp?k+E?TE(15)

去掉均值后，D的方差由式(16)給出:

n??-1D?TD=n??-1?uk=1g?2?kp?T?kp?k+n??-1E?TE(16)

由式(16)可以看到，n??-1?uk=1g?2?kp?T?kp?k是由回歸量p?k所造成的期望輸出方差的一部分。因此，p?k的誤差下降率可以定義如下:

err?k=g?2?kp?T?kp?kD?TD，1≤k≤u(17)

把式(13)代入式(17)可得

err?k=(p?T?kD)?2p?T?kp?kD?TD，1≤k≤u(18)

式(18)為尋找重要回歸量子集提供了一種簡(jiǎn)單而有效的方法，其意義在于err?k揭示了p?k和D的相似性。err?k值越大，表示p?k和D的相似度越大，且p?k對(duì)于輸出影響越顯著。利用ERR定義泛化因子(GF)，GF可以檢驗(yàn)算法的泛化能力，并進(jìn)一步簡(jiǎn)化和加速學(xué)習(xí)過(guò)程。定義:

GF=?uk=1err?k(19)

如果GF

2.2 參數(shù)調(diào)整

需要注意的是，不管是新生成的隱節(jié)點(diǎn)還是已存在的隱節(jié)點(diǎn)，都需要對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。傳統(tǒng)的方法是使用LLS[10]方法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，本文提出使用EKF方法調(diào)節(jié)網(wǎng)絡(luò)的參數(shù)。由于LLS方法在確定最優(yōu)參數(shù)時(shí)計(jì)算簡(jiǎn)單、速度快，但該方法對(duì)噪聲敏感，其學(xué)習(xí)速度隨著信噪比的增加而下降。另外，與LLS方法相關(guān)的問(wèn)題是其求解可能是病態(tài)的，這使得參數(shù)估計(jì)變得很困難。EKF方法由于其自適應(yīng)過(guò)程比較復(fù)雜，計(jì)算速度沒(méi)有LLS方法快，但是EKF方法在噪聲環(huán)境下具有魯棒性，使用EKF方法可以實(shí)現(xiàn)一種健壯的在線學(xué)習(xí)算法。網(wǎng)絡(luò)參數(shù)可以用下面的EKF[11]方法進(jìn)行調(diào)整。事實(shí)上，網(wǎng)絡(luò)的參數(shù)向量θ可以看做一個(gè)非線性系統(tǒng)的狀態(tài)，并用下面的方程描述:

θ?i=θi-1

t?i=h(θi-1，X?i)+e?i(20)

在當(dāng)前的估計(jì)值i-1處將非線性函數(shù)h(θi-1，X?i)展開(kāi)，則狀態(tài)模型可以重寫(xiě)為

θ?i=θi-1

t?i=H?iθi-1+ε?i+e?i(21)

其中:ε?i=h(i-1 ，X?i)-H?ii-1+ρ?i。H?i是如下的梯度向量:

H?i=?h(θ，X?i)?θ|θ=i-1 (22)

參數(shù)向量θ使用下面的擴(kuò)展卡爾曼濾波算法更新:

K?i=Pi-1H?T?i[H?iPi-1H?T?i+R?i]??-1

θ?i=θi-1+K?i(t?i-h(θi-1，X?i))

P?i=Pi-1-K?iH?iPi-1+Q?i(23)

其中:K?i是卡爾曼增益矩陣;P?i是逼近誤差方差陣;R?i是量測(cè)噪聲方差陣;Q?i是過(guò)程噪聲方差陣。

全局?jǐn)U展卡爾曼濾波算法會(huì)涉及大型矩陣運(yùn)算，增加計(jì)算負(fù)擔(dān)，因此可以將全局問(wèn)題劃分為一系列子問(wèn)題從而簡(jiǎn)化全局方法。網(wǎng)絡(luò)的前件部分具有非線性特性，利用擴(kuò)展卡爾曼濾波算法對(duì)其進(jìn)行調(diào)整;網(wǎng)絡(luò)的后件部分具有線性特性，利用卡爾曼濾波算法對(duì)其進(jìn)行調(diào)整，該方法等同于將全局方法簡(jiǎn)化為一系列解耦方法，可以降低計(jì)算負(fù)擔(dān)。由于高斯函數(shù)的中心對(duì)系統(tǒng)的性能影響不明顯，為了簡(jiǎn)化計(jì)算，只對(duì)高斯隸屬函數(shù)的寬度進(jìn)行調(diào)整。

前件參數(shù)使用如下的擴(kuò)展卡爾曼濾波算法更新:

K?δ?i=P?δi-1G?T?i[R?i+G?iP?δi-1G?T?i]??-1

δ?i=δi-1+K?δ?i(T?i-wi-1φ?i)

P?δ?i=P?δi-1-K?δ?iG?iP?δi-1+Q?i(24)

后件參數(shù)使用如下的卡爾曼濾波算法更新:

K?w?i=P?wi-1φ?T?i[R?i+φ?iP?wi-1φ?T?i]??-1

w?i=wi-1+K?w?i(T?i-wi-1φ?i)

P?w?i=P?wi-1-K?w?iφ?iP?wi-1+Q?i(25)

2.3 模糊規(guī)則的增加過(guò)程

在SFNN學(xué)習(xí)算法中，模糊規(guī)則增加過(guò)程如下:

a)初始參數(shù)分配。當(dāng)?shù)玫降谝粋€(gè)觀測(cè)數(shù)據(jù)(X?1，t?1) 時(shí)，此時(shí)的網(wǎng)絡(luò)還沒(méi)有建立起來(lái)，因此這個(gè)數(shù)據(jù)將被選為第一條模糊規(guī)則:c?0=X?0，δ?1=δ?0，w?1=t?1。其中δ?0是預(yù)先設(shè)定的常數(shù)。

b)生長(zhǎng)過(guò)程。當(dāng)?shù)玫降趇個(gè)觀測(cè)數(shù)據(jù)(X?i，t?i)時(shí)，假設(shè)在第三層中已存在u個(gè)隱含神經(jīng)元，根據(jù)式(4)(7)和(19)，分別計(jì)算e?i、di，min、GF。如果

e?i>k?e，di，min>k?d，且GF

則增加一個(gè)新的隱含神經(jīng)元。其中k?e、k?d分別在式(5)和(8)中給出。新增加的隱含神經(jīng)元的中心、寬度和權(quán)值賦值為:Cu+1=X?i，δu+1=k?0di，min，wu+1=e?i，其中k?0(k?0>1)是重疊?因子。

c)參數(shù)調(diào)整。當(dāng)增加新神經(jīng)元后，所有已有神經(jīng)元的參數(shù)通過(guò)式(24)(25)描述的算法調(diào)整。

3 仿真研究

時(shí)間序列預(yù)測(cè)在解決許多實(shí)際問(wèn)題中是非常重要的。它在經(jīng)濟(jì)預(yù)測(cè)、信號(hào)處理等很多領(lǐng)域都得到了廣泛應(yīng)用。

本文采用的時(shí)間序列由Mackey-Glass差分延遲方程產(chǎn)生，其方程定義為[5]

x(t+1)=(1-a)x(t)+bx(t-τ)1+x??10(t-τ)(27)

為了能夠與文獻(xiàn)[5，6]在相同的基礎(chǔ)上進(jìn)行比較，取值?Δt=P=6，式(27)中的參數(shù)選擇為:a=0.1，b=0.2，τ=17。預(yù)測(cè)模型表示為

x(t+6)=f[x(t)，x(t-6)，x(t-12)，x(t-18)](28)

為了獲得時(shí)間序列，利用式(27)生成2 000個(gè)數(shù)據(jù)，式(27)的初始條件為:x(0)=1.2。為了訓(xùn)練和測(cè)試，在t=124和t=?1 123之間選擇1 000個(gè)樣本作為式(28)的輸入/輸出樣本數(shù)據(jù)。使用前500個(gè)數(shù)據(jù)對(duì)作為訓(xùn)練數(shù)據(jù)集，后面的500個(gè)數(shù)據(jù)對(duì)驗(yàn)證該模型的預(yù)測(cè)性能。圖2顯示了SFNN生成的模糊規(guī)則數(shù);圖3顯示了從t=124到t=623的訓(xùn)練結(jié)果;圖4顯示了SFNN良好的預(yù)測(cè)性能。表1列出了SFNN與其他算法的比較結(jié)果。表1顯示，與OLS、RBF-AFS算法相比，SFNN具有最少的規(guī)則數(shù)、最小的誤差和良好的泛化能力，同時(shí)具有快速的學(xué)習(xí)速度。SFNN的快速性就在于:采用無(wú)須修剪過(guò)程的生長(zhǎng)準(zhǔn)則，加速了網(wǎng)絡(luò)學(xué)習(xí)過(guò)程;利用擴(kuò)展卡爾曼濾波調(diào)整網(wǎng)絡(luò)的參數(shù)，可以縮短網(wǎng)絡(luò)的學(xué)習(xí)周期。從上面的分析可以看出，SFNN具有緊湊的結(jié)構(gòu)、快速的學(xué)習(xí)速度、良好的逼近精度和泛化能力。

4 結(jié)束語(yǔ)

SFNN采用在線學(xué)習(xí)方法、參數(shù)估計(jì)和結(jié)構(gòu)辨識(shí)同時(shí)進(jìn)行，提高了網(wǎng)絡(luò)的學(xué)習(xí)速度。基于該方法生成的模糊神經(jīng)網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)不會(huì)持續(xù)增長(zhǎng)，避免了過(guò)擬合及過(guò)訓(xùn)練現(xiàn)象，確保了系統(tǒng)的泛化能力。

參考文獻(xiàn)

[1]

HUANG Huan，WU Cong-xin.Approximation capabilities of multilayer fuzzy neural networks on the set of fuzzy-valued functions[J].Information Sciences，2009，179(16):2762-2773.

[2]DENG Xing-sheng，WANG Xin-zhou.Incremental learning of dynamic fuzzy neural networks for accurate system modeling[J].Fuzzy Sets and Systems，2009，160(7):972-987.

[3]韋玉科，汪仁煌，李江平，等.一種新的數(shù)據(jù)智能化處理算法[J].計(jì)算機(jī)應(yīng)用研究，2008，25(5):1328-1329.

[4]CHEN Sheng，HONG Xia，LUK B L，et al.Orthogonal-least-squares regression:a unified approach for data modeling[J].Neurocompu-?ting，2009，72(10-12):2670-2681.

?[5]CHEN S，COWAN C F N，GRANT P M.Orthogonal least squares learning algorithm for radial basis function networks[J].IEEE Trans on Neural Networks，1991，2(2):302-309.

[6]CHO K B，WANG B H.Radial basis function based adaptive fuzzy systems and their applications to system identification and prediction[J].Fuzzy Sets and Systems，1996，83(3):325-339.

[7]RIVALS I，PERSONNAZ L.A recursive algorithm based on the extended Kalman filter for the training of feedforward neural models[J].Neurocomputing，1998，20(1):279-294.

[8]SIMON D.Training radial basis neural networks with the extended Kalman filter[J].Neurocomputing，2002，48(1):455-475.

[9]WU Shi-qian，ER M J，GAO Yang.A fast approach for automatic ?generation of fuzzy rules by generalized dynamic fuzzy neural networks[J].IEEE Trans on Fuzzy Systems，2001，9(4):578-594.