正文

dnn深度神經(jīng)網(wǎng)絡(luò)原理（深度神經(jīng)網(wǎng)絡(luò)dnn是誰(shuí)開發(fā)的）

發(fā)布時(shí)間：2023-04-17 18:00:57 稿源：創(chuàng)意嶺閱讀： 50

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于dnn深度神經(jīng)網(wǎng)絡(luò)原理的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、深度神經(jīng)網(wǎng)絡(luò)是什么意思？
2、一文搞懂DNN反向傳播！
3、卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的區(qū)別是什么
4、CNN、RNN、DNN的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)有什么區(qū)別？

dnn深度神經(jīng)網(wǎng)絡(luò)原理（深度神經(jīng)網(wǎng)絡(luò)dnn是誰(shuí)開發(fā)的）

一、深度神經(jīng)網(wǎng)絡(luò)是什么意思？

深度神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)(ML, Machine Learning)領(lǐng)域中一種技術(shù)。

在監(jiān)督學(xué)習(xí)中，以前的多層神經(jīng)網(wǎng)絡(luò)的問題是容易陷入局部極值點(diǎn)。如果訓(xùn)練樣本足夠充分覆蓋未來的樣本，那么學(xué)到的多層權(quán)重可以很好的用來預(yù)測(cè)新的測(cè)試樣本。但是很多任務(wù)難以得到足夠多的標(biāo)記樣本，在這種情況下，簡(jiǎn)單的模型，比如線性回歸或者決策樹往往能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果（更好的泛化性，更差的訓(xùn)練誤差）。

擴(kuò)展資料：

非監(jiān)督學(xué)習(xí)中，以往沒有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特征的高級(jí)表示，比如底層是像素點(diǎn)，上一層的結(jié)點(diǎn)可能表示橫線，三角。

而頂層可能有一個(gè)結(jié)點(diǎn)表示人臉。一個(gè)成功的算法應(yīng)該能讓生成的頂層特征最大化的代表底層的樣例。如果對(duì)所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高；如果每次訓(xùn)練一層，偏差就會(huì)逐層傳遞。這會(huì)面臨跟上面監(jiān)督學(xué)習(xí)中相反的問題，會(huì)嚴(yán)重欠擬合。

二、一文搞懂DNN反向傳播！

本文主要整理自下面的幾篇博客：

1、深度神經(jīng)網(wǎng)絡(luò)（DNN）反向傳播算法(BP)： https://www.cnblogs.com/pinard/p/6422831.html

2、機(jī)器學(xué)習(xí)中的矩陣、向量求導(dǎo)。 https://download.csdn.net/download/weixin_42074867/10405246

1、推導(dǎo)BPNN前需要了解的矩陣求導(dǎo)知識(shí)

1.1 矩陣／向量值函數(shù)對(duì)實(shí)數(shù)的導(dǎo)數(shù)

1.2 實(shí)值函數(shù)對(duì)矩陣／向量的導(dǎo)數(shù)

1.3 向量值函數(shù)對(duì)向量的求導(dǎo)(雅可比矩陣)

1.4 變量多次出現(xiàn)的求導(dǎo)法則

規(guī)則：若在函數(shù)表達(dá)式中，某個(gè)變量出現(xiàn)了多次，可以單獨(dú)計(jì)算函數(shù)對(duì)自變量的每一次出現(xiàn)的導(dǎo)數(shù)，再把結(jié)果加起來。

1.5 向量求導(dǎo)的鏈?zhǔn)椒▌t

1.6 一一對(duì)應(yīng)關(guān)系下的矩陣求導(dǎo)

1.7 幾個(gè)重要的結(jié)論

掌握了上面的一些基本知識(shí)之后，我們就可以順利推導(dǎo)出神經(jīng)網(wǎng)絡(luò)的反向傳播算法。

2、反向傳播的推導(dǎo)

具體的推導(dǎo)過程可以參考文章開頭給出的博客，下圖是我手動(dòng)推導(dǎo)的過程：

贊賞支持

鏈接：https://www.jianshu.com/p/ee08ed75844b

來源：

三、卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)的區(qū)別是什么

沒有卷積神經(jīng)網(wǎng)絡(luò)的說法，只有卷積核的說法。

電腦圖像處理的真正價(jià)值在于：一旦圖像存儲(chǔ)在電腦上，就可以對(duì)圖像進(jìn)行各種有效的處理。如減小像素的顏色值，可以解決曝光過度的問題，模糊的圖像也可以進(jìn)行銳化處理，清晰的圖像可以使用模糊處理模擬攝像機(jī)濾色鏡產(chǎn)生的柔和效果。

用Photoshop等圖像處理軟件，施展的魔法幾乎是無止境的。四種基本圖像處理效果是模糊、銳化、浮雕和水彩。ß這些效果是不難實(shí)現(xiàn)的，它們的奧妙部分是一個(gè)稱為卷積核的小矩陣。這個(gè)3*3的核含有九個(gè)系數(shù)。為了變換圖像中的一個(gè)像素，首先用卷積核中心的系數(shù)乘以這個(gè)像素值，再用卷積核中其它八個(gè)系數(shù)分別乘以像素周圍的八個(gè)像素，最后把這九個(gè)乘積相加，結(jié)果作為這個(gè)像素的值。對(duì)圖像中的每個(gè)像素都重復(fù)這一過程，對(duì)圖像進(jìn)行了過濾。采用不同的卷積核，就可以得到不同的處理效果。ß用PhotoshopCS6，可以很方便地對(duì)圖像進(jìn)行處理。

模糊處理——模糊的卷積核由一組系數(shù)構(gòu)成，每個(gè)系數(shù)都小于1，但它們的和恰好等于1，每個(gè)像素都吸收了周圍像素的顏色，每個(gè)像素的顏色分散給了它周圍的像素，最后得到的圖像中，一些刺目的邊緣變得柔和。

銳化卷積核中心的系數(shù)大于1，周圍八個(gè)系數(shù)和的絕對(duì)值比中間系數(shù)小1，這將擴(kuò)大一個(gè)像素與之周圍像素顏色之間的差異，最后得到的圖像比原來的圖像更清晰。

浮雕卷積核中的系數(shù)累加和等于零，背景像素的值為零，非背景像素的值為非零值。照片上的圖案好像金屬表面的浮雕一樣，輪廓似乎凸出于其表面。

要進(jìn)行水彩處理，首先要對(duì)圖像中的色彩進(jìn)行平滑處理，把每個(gè)像素的顏色值和它周圍的二十四個(gè)相鄰的像素顏色值放在一個(gè)表中，然后由小到大排序，把表中間的一個(gè)顏色值作為這個(gè)像素的顏色值。然后用銳化卷積核對(duì)圖像中的每個(gè)像素進(jìn)行處理，以使得輪廓更加突出，最后得到的圖像很像一幅水彩畫。

我們把一些圖像處理技術(shù)結(jié)合起來使用，就能產(chǎn)生一些不常見的光學(xué)效果，例如光暈等等。

希望我能幫助你解疑釋惑。

四、CNN、RNN、DNN的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)有什么區(qū)別？

從廣義上來說，NN(或是更美的DNN)確實(shí)可以認(rèn)為包含了CNN、RNN這些具體的變種形式。在實(shí)際應(yīng)用中，所謂的深度神經(jīng)網(wǎng)絡(luò)DNN，往往融合了多種已知的結(jié)構(gòu)，包括卷積層或是LSTM單元。但是就題主的意思來看，這里的DNN應(yīng)該特指全連接的神經(jīng)元結(jié)構(gòu)，并不包含卷積單元或是時(shí)間上的關(guān)聯(lián)。

因此，題主一定要將DNN、CNN、RNN等進(jìn)行對(duì)比，也未嘗不可。其實(shí)，如果我們順著神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展的脈絡(luò)，就很容易弄清這幾種網(wǎng)絡(luò)結(jié)構(gòu)發(fā)明的初衷，和他們之間本質(zhì)的區(qū)別。神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代，當(dāng)時(shí)叫感知機(jī)(perceptron)，擁有輸入層、輸出層和一個(gè)隱含層。輸入的特征向量通過隱含層變換達(dá)到輸出層，在輸出層得到分類結(jié)果。

早期感知機(jī)的推動(dòng)者是Rosenblatt。(扯一個(gè)不相關(guān)的：由于計(jì)算技術(shù)的落后，當(dāng)時(shí)感知器傳輸函數(shù)是用線拉動(dòng)變阻器改變電阻的方法機(jī)械實(shí)現(xiàn)的，腦補(bǔ)一下科學(xué)家們扯著密密麻麻的導(dǎo)線的樣子…)但是，Rosenblatt的單層感知機(jī)有一個(gè)嚴(yán)重得不能再嚴(yán)重的問題，即它對(duì)稍復(fù)雜一些的函數(shù)都無能為力(比如最為典型的“異或”操作)。

連異或都不能擬合，你還能指望這貨有什么實(shí)際用途么。隨著數(shù)學(xué)的發(fā)展，這個(gè)缺點(diǎn)直到上世紀(jì)八十年代才被Rumelhart、Williams、Hinton、LeCun等人(反正就是一票大牛)發(fā)明的多層感知機(jī)(multilayer perceptron)克服。多層感知機(jī)，顧名思義，就是有多個(gè)隱含層的感知機(jī)。

dnn深度神經(jīng)網(wǎng)絡(luò)原理（深度神經(jīng)網(wǎng)絡(luò)dnn是誰(shuí)開發(fā)的）