-
當前位置:首頁 > 創(chuàng)意學院 > 技術 > 專題列表 > 正文
人工神經網絡反向傳播算法(人工神經網絡反向傳播算法是什么)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關于人工神經網絡反向傳播算法的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關鍵詞,就能返回你想要的內容,越精準,寫出的就越詳細,有微信小程序端、在線網頁版、PC客戶端
創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè),服務客戶遍布全球各地,如需了解SEO相關業(yè)務請撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、BP人工神經網絡方法
(一)方法原理
人工神經網絡是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網絡系統(tǒng)。理論和實踐表明,在信息處理方面,神經網絡方法比傳統(tǒng)模式識別方法更具有優(yōu)勢。人工神經元是神經網絡的基本處理單元,其接收的信息為x1,x2,…,xn,而ωij表示第i個神經元到第j個神經元的連接強度或稱權重。神經元的輸入是接收信息X=(x1,x2,…,xn)與權重W={ωij}的點積,將輸入與設定的某一閾值作比較,再經過某種神經元激活函數f的作用,便得到該神經元的輸出Oi。常見的激活函數為Sigmoid型。人工神經元的輸入與輸出的關系為
地球物理勘探概論
式中:xi為第i個輸入元素,即n維輸入矢量X的第i個分量;ωi為第i個輸入與處理單元間的互聯權重;θ為處理單元的內部閾值;y為處理單元的輸出。
常用的人工神經網絡是BP網絡,它由輸入層、隱含層和輸出層三部分組成。BP算法是一種有監(jiān)督的模式識別方法,包括學習和識別兩部分,其中學習過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時,對所有的連接權值置隨機數作為初值,選取模式集的任一模式作為輸入,轉向隱含層處理,并在輸出層得到該模式對應的輸出值。每一層神經元狀態(tài)只影響下一層神經元狀態(tài)。此時,輸出值一般與期望值存在較大的誤差,需要通過誤差反向傳遞過程,計算模式的各層神經元權值的變化量
(二)BP神經網絡計算步驟
(1)初始化連接權值和閾值為一小的隨機值,即W(0)=任意值,θ(0)=任意值。
(2)輸入一個樣本X。
(3)正向傳播,計算實際輸出,即根據輸入樣本值、互聯權值和閾值,計算樣本的實際輸出。其中輸入層的輸出等于輸入樣本值,隱含層和輸出層的輸入為
地球物理勘探概論
輸出為
地球物理勘探概論
式中:f為閾值邏輯函數,一般取Sigmoid函數,即
地球物理勘探概論
式中:θj表示閾值或偏置;θ0的作用是調節(jié)Sigmoid函數的形狀。較小的θ0將使Sigmoid函數逼近于閾值邏輯單元的特征,較大的θ0將導致Sigmoid函數變平緩,一般取θ0=1。
(4)計算實際輸出與理想輸出的誤差
地球物理勘探概論
式中:tpk為理想輸出;Opk為實際輸出;p為樣本號;k為輸出節(jié)點號。
(5)誤差反向傳播,修改權值
地球物理勘探概論
式中:
地球物理勘探概論
地球物理勘探概論
(6)判斷收斂。若誤差小于給定值,則結束,否則轉向步驟(2)。
(三)塔北雅克拉地區(qū)BP神經網絡預測實例
以塔北雅克拉地區(qū)S4井為已知樣本,取氧化還原電位,放射性元素Rn、Th、Tc、U、K和地震反射
S4井位于測區(qū)西南部5線25點,是區(qū)內唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層,在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點,即4~6線的23~25 點作為已知油氣的訓練樣本;由于區(qū)內沒有未見油的鉆井,只好根據地質資料分析,選取14~16線的55~57點作為非油氣的訓練樣本。BP網絡學習迭代17174次,總誤差為0.0001,學習效果相當滿意。以學習后的網絡進行識別,得出結果如圖6-2-4所示。
圖6-2-4 塔北雅克拉地區(qū)BP神經網絡聚類結果
(據劉天佑等,1997)
由圖6-2-4可見,由預測值大于0.9可得5個大封閉圈遠景區(qū),其中測區(qū)南部①號遠景區(qū)對應著已知油井S4井;②、③號油氣遠景區(qū)位于地震勘探所查明的托庫1、2號構造,該兩個構造位于沙雅隆起的東段,其西段即為1984年鉆遇高產油氣流的Sch4井,應是含油氣性好的遠景區(qū);④、⑤號遠景區(qū)位于大澇壩構造,是yh油田的組成部分。
二、因為反向傳播算法人工智能進入第二個高潮具體是在哪一年
人工智能的第二次高潮始于上世紀80年代。
人工智能是在1956年達特茅斯會議上首先提出的。該會議確定了人工智能的目標是“實現能夠像人類一樣利用知識去解決問題的機器”。雖然,這個夢想很快被一系列未果的嘗試所擊碎,但卻開啟了人工智能漫長而曲折的研究歷程。
人工智能的第一次高潮始于上世紀50年代。在算法方面,感知器數學模型被提出用于模擬人的神經元反應過程,并能夠使用梯度下降法從訓練樣本中自動學習,完成分類任務。另外,由于計算機應用的發(fā)展,利用計算機實現邏輯推理的一些嘗試取得成功。
理論與實踐效果帶來第一次神經網絡的浪潮。然而,感知器模型的缺陷之后被發(fā)現,即它本質上只能處理線性分類問題,就連最簡單的異或題都無法正確分類。許多應用難題并沒有隨著時間推移而被解決,神經網絡的研究也陷入停滯。
人工智能的第二次高潮始于上世紀80年代。BP(Back Propagation)算法被提出,用于多層神經網絡的參數計算,以解決非線性分類和學習的問題。另外,針對特定領域的專家系統(tǒng)也在商業(yè)上獲得成功應用,人工智能迎來了又一輪高潮。
然而,人工神經網絡的設計一直缺少相應的嚴格的數學理論支持,之后BP算法更被指出存在梯度消失問題,因此無法對前層進行有效的學習。專家系統(tǒng)也暴露出應用領域狹窄、知識獲取困難等問題。人工智能的研究進入第二次低谷。
人工智能的第三次高潮始于2010年代。深度學習的出現引起了廣泛的關注,多層神經網絡學習過程中的梯度消失問題被有效地抑制,網絡的深層結構也能夠自動提取并表征復雜的特征。
避免傳統(tǒng)方法中通過人工提取特征的問題。深度學習被應用到語音識別以及圖像識別中,取得了非常好的效果。人工智能在大數據時代進入了第三次發(fā)展高潮。
三、如何理解神經網絡里面的反向傳播算法
類比來說類似于
幾個人站成一排
第一個人看一幅畫(輸入數據),描述給第二個人(隱層)……依此類推,到最后一個人(輸出)的時候,畫出來的畫肯定不能看了(誤差較大)。
反向傳播就是,把畫拿給最后一個人看(求取誤差),然后最后一個人就會告訴前面的人下次描述時需要注意哪里(權值修正)。
四、如何理解神經網絡里面的反向傳播算法
就是利用了鏈式求導法則,從后往前,逐層計算cost關于該層參數的梯度。詳細的退到可參見:
以上就是關于人工神經網絡反向傳播算法相關問題的回答。希望能幫到你,如有更多相關問題,您也可以聯系我們的客服進行咨詢,客服也會為您講解更多精彩的知識和內容。
推薦閱讀:
網站代發(fā)排名首頁(網站代發(fā)排名首頁怎么設置)