神經(jīng)網(wǎng)絡(luò)的設(shè)計（神經(jīng)網(wǎng)絡(luò)的設(shè)計時需注意）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)的設(shè)計的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、神經(jīng)網(wǎng)絡(luò)設(shè)計的基本信息

• 2、建立BP神經(jīng)網(wǎng)絡(luò)地面沉降預測模型

• 3、如何設(shè)計神經(jīng)網(wǎng)絡(luò)實現(xiàn)一對數(shù)組的函數(shù)關(guān)系

• 4、BP神經(jīng)網(wǎng)絡(luò)的梳理

一、神經(jīng)網(wǎng)絡(luò)設(shè)計的基本信息

英文名: Neural Network Design

作者: [美] 哈根等

譯者: 戴葵等

定價: 49.00

二、建立BP神經(jīng)網(wǎng)絡(luò)地面沉降預測模型

基坑降水引起地面沉降的BP神經(jīng)網(wǎng)絡(luò)預測模型建模過程如下：

（1）樣本選擇

因基坑降水引起的地面沉降量和距離基坑的距離關(guān)系密切，因此建模選用“基坑降水引起沉降工程數(shù)據(jù)（第二類）”（見表4.1）中的相關(guān)數(shù)據(jù)作為樣本進行學習訓練和檢驗。

（2）BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

對于BP網(wǎng)絡(luò)，對于任何在閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用單隱層的BP網(wǎng)絡(luò)逼近，因而一個三層BP網(wǎng)絡(luò)就可以完成任意的n維到m維的映射。根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)簡單化的原則，確定采用三層BP網(wǎng)絡(luò)結(jié)構(gòu)，即輸入層為沉降點距基坑的距離L（m）、等效壓縮模量E（MPa）、水位降深H（m）和支護剛度n四個參數(shù)，輸出層為地面累積沉降量（mm），隱層層數(shù)為1層。隱層的神經(jīng)元數(shù)目選擇是一個十分復雜的問題，往往需要根據(jù)設(shè)計者的經(jīng)驗和多次實驗來確定，因而不存在一個理想的解析式來表示。隱單元的數(shù)目與問題的要求，與輸入、輸出單元的數(shù)目有直接的關(guān)系。隱單元數(shù)目太多會導致學習時間過長，誤差不一定最佳，也會導致容錯性差、不能識別以前沒有看到的樣本，因此一定存在一個最佳的隱單元數(shù)。研究通過一次編程比較了隱層神經(jīng)元個數(shù)分別為5、10、15、20、25、30、40時訓練速度及檢驗精度。

圖4.2 BP神經(jīng)網(wǎng)絡(luò)程序框圖

（3）網(wǎng)絡(luò)訓練及檢驗

BP網(wǎng)絡(luò)采用梯度下降法來降低網(wǎng)絡(luò)的訓練誤差，考慮到基坑降水地面沉降范圍內(nèi)沉降量變化幅度較小的特點，訓練時以訓練目標取0.001為控制條件，考慮到網(wǎng)絡(luò)的結(jié)構(gòu)比較復雜，神經(jīng)元個數(shù)比較多，需要適當增加訓練次數(shù)和學習速率，因此初始訓練次數(shù)設(shè)為10000次，學習速率取0.1，中間層的神經(jīng)元傳遞函數(shù)采用S型正切函數(shù)tansig，傳輸函數(shù)采用logsig，訓練函數(shù)采用trainlm，選用38組數(shù)據(jù)中的33組作為訓練樣本，5組作為檢驗樣本。

（4）網(wǎng)絡(luò)實現(xiàn)及檢驗效果

使用MATLAB6.0編程建立基于BP神經(jīng)網(wǎng)絡(luò)的基坑降水地面沉降預測模型（程序代碼見附件1），其訓練誤差及檢驗效果如下：

圖4.3 訓練誤差曲線

圖4.4 預測誤差曲線

由圖4.3、圖4.4可見：樣本數(shù)據(jù)收斂，訓練誤差較小，中間層神經(jīng)單元個數(shù)為10時預測精度較好，誤差小于20%，誤差滿足工程需求。

三、如何設(shè)計神經(jīng)網(wǎng)絡(luò)實現(xiàn)一對數(shù)組的函數(shù)關(guān)系

測試BP神經(jīng)網(wǎng)絡(luò)的擬合能力和泛化能力，按這種說法是同一概念，但是擬合和泛化在其它領(lǐng)域是完全不同的，這個要區(qū)分清楚。測試一個神經(jīng)網(wǎng)絡(luò)的擬合能力，這種說法很少用，大家經(jīng)常用的是測試神經(jīng)網(wǎng)絡(luò)的泛化能力。

四、BP神經(jīng)網(wǎng)絡(luò)的梳理

BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學習之旅的開端”，是神經(jīng)網(wǎng)絡(luò)的入門算法。

各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來 [1] ，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，算法經(jīng)典， 是神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種。

BP神經(jīng)網(wǎng)絡(luò)（back propagation neural network）全稱是反向傳播神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)發(fā)展部分背景如下 [2] ：

為解決非線性問題，BP神經(jīng)網(wǎng)絡(luò)應(yīng)運而生。

那么什么是BP神經(jīng)網(wǎng)絡(luò)？稍微專業(yè)點的解釋要怎么說呢？

很喜歡 最簡單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò) 一文對算法原理的解釋，語言活潑，案例簡單，由淺入深。

文中提到所謂的 AI 技術(shù)，本質(zhì)上是一種數(shù)據(jù)處理處理技術(shù)，它的強大來自于兩方面：1.互聯(lián)網(wǎng)的發(fā)展帶來的海量數(shù)據(jù)信息；2.計算機深度學習算法的快速發(fā)展。AI 其實并沒有什么神秘，只是在算法上更為復雜 [3] 。

我們從上面的定義出發(fā)來解釋BP神經(jīng)網(wǎng)絡(luò)的原理。

BP神經(jīng)網(wǎng)絡(luò)整個網(wǎng)絡(luò)結(jié)構(gòu)包含了：一層輸入層，一到多層隱藏層，一層輸出層。

一般說L層神經(jīng)網(wǎng)絡(luò)，指的是有L個隱層，輸入層和輸出層都不計算在內(nèi)的 [6] 。

BP神經(jīng)網(wǎng)絡(luò)模型訓練的學習過程由信號的 正向傳播 和誤差的 反向傳播 兩個過程組成。

什么是信號的正向傳播？顧名思義，就是結(jié)構(gòu)圖從左到右的運算過程。

我們來看看結(jié)構(gòu)圖中每個小圓圈是怎么運作的。我們把小圈圈叫做神經(jīng)元，是組成神經(jīng)網(wǎng)絡(luò)的基本單元。

正向傳播就是輸入數(shù)據(jù)經(jīng)過一層一層的神經(jīng)元運算、輸出的過程，最后一層輸出值作為算法預測值y'。

前面正向傳播的時候我們提到權(quán)重w、偏置b，但我們并不知道權(quán)重w、偏置b的值應(yīng)該是什么。關(guān)于最優(yōu)參數(shù)的求解，我們在 線性回歸 、 邏輯回歸 兩章中有了詳細說明。大致來講就是：

BP神經(jīng)網(wǎng)絡(luò)全稱 back propagation neural network，back propagation反向傳播是什么？

反向傳播的建設(shè)本質(zhì)上就是尋找最優(yōu)的參數(shù)組合，和上面的流程差不多，根據(jù)算法預測值和實際值之間的損失函數(shù)L(y',y)，來反方向地計算每一層的z、a、w、b的偏導數(shù)，從而更新參數(shù)。

對反向傳播而言，輸入的內(nèi)容是預測值和實際值的誤差，輸出的內(nèi)容是對參數(shù)的更新，方向是從右往左，一層一層的更新每一層的參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)通過先正向傳播，構(gòu)建參數(shù)和輸入值的關(guān)系，通過預測值和實際值的誤差，反向傳播修復權(quán)重；讀入新數(shù)據(jù)再正向傳播預測，再反向傳播修正，...，通過多次循環(huán)達到最小損失值，此時構(gòu)造的模型擁有最優(yōu)的參數(shù)組合。

以一個簡單的BP神經(jīng)網(wǎng)絡(luò)為例，由3個輸入層，2層隱藏層，每層2個神經(jīng)元，1個輸出層組成。

【輸入層】傳入

【第一層隱藏層】

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置函數(shù)處理后，輸出 ；

輸出：

【第二層隱藏層】

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

對于 神經(jīng)元而言，傳入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ；

輸出：

【輸出層】

對于輸出層神經(jīng)元而言，輸入 ，加權(quán)求和加偏置激活函數(shù)處理后，輸出 ，輸出的是一個值

第一次運行正向傳播這個流程時隨用隨機參數(shù)就好，通過反向傳播不斷優(yōu)化。因此需要在一開始對 設(shè)置一個隨機的初始值。

首先計算正向傳播輸出值 與實際值的損失 ，是一個數(shù)值。所謂反向是從右到左一步步來的，先回到 ，修正參數(shù) 。

以此類推，通過對損失函數(shù)求偏導跟新參數(shù) ，再跟新參數(shù) 。這時又回到了起點，新的數(shù)據(jù)傳入又可以開始正向傳播了。

keras可以快速搭建神經(jīng)網(wǎng)絡(luò)，例如以下為輸入層包含7129個結(jié)點，一層隱藏層，包含128個結(jié)點，一個輸出層，是二分類模型。

神經(jīng)網(wǎng)絡(luò)反向傳播的優(yōu)化目標為loss，可以觀察到loss的值在不斷的優(yōu)化。

可以通過model.get_layer().get_weights()獲得每一層訓練后的參數(shù)結(jié)果。通過model.predict()預測新數(shù)據(jù)。

至此，BP神經(jīng)網(wǎng)絡(luò)的整個運算流程已經(jīng)過了一遍。之前提到BP神經(jīng)網(wǎng)絡(luò)是為解決非線性問題應(yīng)運而生的，那么為什么BP神經(jīng)網(wǎng)絡(luò)可以解決非線性問題呢？

還記得神經(jīng)元里有一個激活函數(shù)的操作嗎？神經(jīng)網(wǎng)絡(luò)通過激活函數(shù)的使用加入非線性因素。

通過使用非線性的激活函數(shù)可以使神經(jīng)網(wǎng)絡(luò)隨意逼近復雜函數(shù)，從而使BP神經(jīng)網(wǎng)絡(luò)既可以處理線性問題，也可以處理非線性問題。

為什么激活函數(shù)的使用可以加入非線性因素 [7] ？

其實邏輯回歸算法可以看作只有一個神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)，只對線性可分的數(shù)據(jù)進行分類。

輸入?yún)?shù)，加權(quán)求和，sigmoid作為激活函數(shù)計算后輸出結(jié)果，模型預測值和實際值計算損失Loss,反向傳播梯度下降求編導，獲得最優(yōu)參數(shù)。

BP神經(jīng)網(wǎng)絡(luò)是比 Logistic Regression 復雜得多的模型，它的擬合能力很強，可以處理很多 Logistic Regression處理不了的數(shù)據(jù)，但是也更容易過擬合。

具體用什么算法還是要看訓練數(shù)據(jù)的情況，沒有一種算法是使用所有情況的。

常見的前饋神經(jīng)網(wǎng)絡(luò)有BP網(wǎng)絡(luò)，RBF網(wǎng)絡(luò)等。

BP神經(jīng)網(wǎng)絡(luò)的一個主要問題是：結(jié)構(gòu)不好設(shè)計。

網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導，一般是根據(jù)經(jīng)驗或者通過反復實驗確定。

但是BP神經(jīng)網(wǎng)絡(luò)簡單、易行、計算量小、并行性強，目前仍是多層前向網(wǎng)絡(luò)的首選算法。

[1] 深度學習開端---BP神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/Chile_Wang/article/details/100557010

[2] BP神經(jīng)網(wǎng)絡(luò)發(fā)展歷史： https://zhuanlan.zhihu.com/p/47998728

[3] 最簡單的神經(jīng)網(wǎng)絡(luò)--Bp神經(jīng)網(wǎng)絡(luò)： https://blog.csdn.net/weixin_40432828/article/details/82192709

[4] 神經(jīng)網(wǎng)絡(luò)的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653

[5] 神經(jīng)網(wǎng)絡(luò)中的 “隱藏層” 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000

[6] AI學習筆記：神經(jīng)元與神經(jīng)網(wǎng)絡(luò)： https://www.jianshu.com/p/65eb2fce0e9e

[7] 線性模型和非線性模型的區(qū)別： https://www.cnblogs.com/toone/p/8574294.html

[8] BP神經(jīng)網(wǎng)絡(luò)是否優(yōu)于logistic回歸： https://www.zhihu.com/question/27823925/answer/38460833

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)的設(shè)計相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

神經(jīng)網(wǎng)絡(luò)分類器（神經(jīng)網(wǎng)絡(luò)分類器原理）

圖神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)的區(qū)別

神經(jīng)網(wǎng)絡(luò)分類器原理（神經(jīng)網(wǎng)絡(luò)分類器原理圖解）

國產(chǎn)唇膏排行榜前十名（國產(chǎn)唇膏排行榜前十名有哪些）

景觀設(shè)計如何考編（景觀設(shè)計如何考編制證書）