神經網(wǎng)絡訓練方法(Hopfield神經網(wǎng)絡有哪幾種訓練方法)

1.Hopfield 神經網(wǎng)絡有哪幾種訓練方法

人工神經網(wǎng)絡模型主要考慮網(wǎng)絡連接的拓撲結構、神經元的特征、學習規(guī)則等。目前，已有近40種神經網(wǎng)絡模型，其中有反傳網(wǎng)絡、感知器、自組織映射、Hopfield網(wǎng)絡、波耳茲曼機、適應諧振理論等。根據(jù)連接的拓撲結構，神經網(wǎng)絡模型可以分為：

(1)前向網(wǎng)絡 網(wǎng)絡中各個神經元接受前一級的輸入，并輸出到下一級，網(wǎng)絡中沒有反饋，可以用一個有向無環(huán)路圖表示。這種網(wǎng)絡實現(xiàn)信號從輸入空間到輸出空間的變換，它的信息處理能力來自于簡單非線性函數(shù)的多次復合。網(wǎng)絡結構簡單，易于實現(xiàn)。反傳網(wǎng)絡是一種典型的前向網(wǎng)絡。

(2)反饋網(wǎng)絡 網(wǎng)絡內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網(wǎng)絡的信息處理是狀態(tài)的變換，可以用動力學系統(tǒng)理論處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關系。Hopfield網(wǎng)絡、波耳茲曼機均屬于這種類型。

學習是神經網(wǎng)絡研究的一個重要內容，它的適應性是通過學習實現(xiàn)的。根據(jù)環(huán)境的變化，對權值進行調整，改善系統(tǒng)的行為。由Hebb提出的Hebb學習規(guī)則為神經網(wǎng)絡的學習算法奠定了基礎。Hebb規(guī)則認為學習過程最終發(fā)生在神經元之間的突觸部位，突觸的聯(lián)系強度隨著突觸前后神經元的活動而變化。在此基礎上，人們提出了各種學習規(guī)則和算法，以適應不同網(wǎng)絡模型的需要。有效的學習算法，使得神經網(wǎng)絡能夠通過連接權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現(xiàn)在網(wǎng)絡的連接中。

根據(jù)學習環(huán)境不同，神經網(wǎng)絡的學習方式可分為監(jiān)督學習和非監(jiān)督學習。在監(jiān)督學習中，將訓練樣本的數(shù)據(jù)加到網(wǎng)絡輸入端，同時將相應的期望輸出與網(wǎng)絡輸出相比較，得到誤差信號，以此控制權值連接強度的調整，經多次訓練后收斂到一個確定的權值。當樣本情況發(fā)生變化時，經學習可以修改權值以適應新的環(huán)境。使用監(jiān)督學習的神經網(wǎng)絡模型有反傳網(wǎng)絡、感知器等。非監(jiān)督學習時，事先不給定標準樣本，直接將網(wǎng)絡置于環(huán)境之中，學習階段與工作階段成為一體。此時，學習規(guī)律的變化服從連接權值的演變方程。非監(jiān)督學習最簡單的例子是Hebb學習規(guī)則。競爭學習規(guī)則是一個更復雜的非監(jiān)督學習的例子，它是根據(jù)已建立的聚類進行權值調整。自組織映射、適應諧振理論網(wǎng)絡等都是與競爭學習有關的典型模型。

研究神經網(wǎng)絡的非線性動力學性質，主要采用動力學系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計理論，來分析神經網(wǎng)絡的演化過程和吸引子的性質，探索神經網(wǎng)絡的協(xié)同行為和集體計算功能，了解神經信息處理機制。為了探討神經網(wǎng)絡在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發(fā)揮作用。混沌是一個相當難以精確定義的數(shù)學概念。一般而言，“混沌”是指由確定性方程描述的動力學系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機性?！按_定性”是因為它由內在的原因而不是外來的噪聲或干擾所產生，而“隨機性”是指其不規(guī)則的、不能預測的行為，只可能用統(tǒng)計的方法描述?；煦鐒恿W系統(tǒng)的主要特征是其狀態(tài)對初始條件的靈敏依賴性，混沌反映其內在的隨機性。混沌理論是指描述具有混沌行為的非線性動力學系統(tǒng)的基本理論、概念、方法，它把動力學系統(tǒng)的復雜行為理解為其自身與其在同外界進行物質、能量和信息交換過程中內在的有結構的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)?；煦鐒恿W系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準同期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結合的結果，稱之為奇異吸引子。

2.神經網(wǎng)絡的學習方式

神經網(wǎng)絡的學習過程是指網(wǎng)絡權值的調整。主要的學習方式如下： 1.死記式學習 網(wǎng)絡連接權值根據(jù)特殊記憶模式設計而成，其值不變。在網(wǎng)絡輸入相關模式時，喚起對記憶模式的回憶，對輸入模式進行相應處理。Hnp}eld網(wǎng)絡在作聯(lián)想記憶和優(yōu)化計算時采用了死記式學習。 2.有監(jiān)督學習 有監(jiān)督學習又稱為有教師學習。網(wǎng)絡將實際輸出和教師指定的輸出加以比較，得到在一定范數(shù)意義下的誤差，由誤差函數(shù)決定連接權值的調整，目的是使誤差函數(shù)達到最小值口一般根據(jù)占規(guī)則對連接權值進行調整。前向神經網(wǎng)絡BP算法采用了監(jiān)督學習方式。 3.無監(jiān)督學習 無監(jiān)督學習又稱為無教師學習。網(wǎng)絡的學習是自我調整的過程，不存在教師示教來指示網(wǎng)絡輸出是否正確。自組織學習根據(jù)某種規(guī)則，反復調整連接權值，以便適應輸入模式的激勵，指導網(wǎng)絡形成某種有序狀態(tài)。竟爭學習是一種無監(jiān)督學習，網(wǎng)絡以某種內部規(guī)則確定競爭層“獲勝”神經元。自組織特征映射網(wǎng)絡采用了無監(jiān)督學習方式。 4.有監(jiān)督與無監(jiān)督的混合學習 混合學習過程首先采用無監(jiān)督學習抽取輸入模式的特征，然后利用有監(jiān)督學習方式對其進行處理，形成輸入輸出的某種映射。

3.如何訓練深度神經網(wǎng)絡

deeplearinig就是神經網(wǎng)絡的一類，就是解決的訓練問題的深層神經網(wǎng)絡，所以你這問題“深度學習會代替神經網(wǎng)絡‘就不對，BP么，BP有自己的優(yōu)勢，也是很成熟的算法，做手寫識別等等效果已經商用化了，不會被輕易替代。deeplearning遠比BP要復雜，用來解決的問題也不是一個層面，所以也沒有替代的必要。Deeplearning所涉及的問題大多數(shù)BP都沒法解決的。

度學習的概念源于人工神經網(wǎng)絡的研究。含多隱層的多層感知器就是一種深度學習結構，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學習的概念由Hinton等人于2006年提出，基于深信度網(wǎng)（DBN）提出非監(jiān)督貪心逐層訓練算法，為解決深層結構相關的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結構。深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。

系統(tǒng)地論述了神經網(wǎng)絡的基本原理、方法、技術和應用，主要內容包括：神經信息處理的基本原理、感知器、反向傳播網(wǎng)絡、自組織網(wǎng)絡、遞歸網(wǎng)絡、徑向基函數(shù)網(wǎng)絡、核函數(shù)方法、神經網(wǎng)絡集成、模糊神經網(wǎng)絡、概率神經網(wǎng)絡、脈沖耦合神經網(wǎng)絡、神經場理論、神經元集群以及神經計算機。每章末附有習題，書末附有詳細的參考文獻。神經網(wǎng)絡是通過對人腦或生物神經網(wǎng)絡的抽象和建模，研究非程序的、適應性的、大腦風格的信息處理的本質和能力。它以腦科學和認知神經科學的研究成果為基礎，拓展智能信息處理的方法，為解決復雜問題和智能控制提供有效的途徑，是智能科學和計算智能的重要部分。

4.如何訓練深度神經網(wǎng)絡

深度學習的概念源于人工神經網(wǎng)絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。 多層神經網(wǎng)絡是指單計算層感知器只能解決線性可分問題，而大量的分類問題是線性不可分的。克服單計算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入。 深度學習的概念源于人工神經網(wǎng)絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

多層神經網(wǎng)絡是指單計算層感知器只能解決線性可分問題，而大量的分類問題是線性不可分的。克服單計算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入隱層（隱層個數(shù)可以大于或等于1）作為輸入模式“的內部表示” ，單計算層感知器變成多（計算）層感知器。

補充：

深度學習的概念由Hinton等人于2006年提出?；谏钚哦染W(wǎng)（DBN）提出非監(jiān)督貪心逐層訓練算法，為解決深層結構相關的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網(wǎng)絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數(shù)數(shù)目以提高訓練性能。

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網(wǎng)絡，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。 全部