正文

神經(jīng)網(wǎng)絡(luò)三大分類（神經(jīng)網(wǎng)絡(luò)三大分類包括）

發(fā)布時(shí)間：2023-04-07 15:55:25 稿源：創(chuàng)意嶺閱讀： 104

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于神經(jīng)網(wǎng)絡(luò)三大分類的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、BP神經(jīng)網(wǎng)絡(luò)
2、
3、
4、三值神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)三大分類（神經(jīng)網(wǎng)絡(luò)三大分類包括）

一、BP神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)能很好地解決不同的機(jī)器學(xué)習(xí)問題。神經(jīng)網(wǎng)絡(luò)模型是許多邏輯單元按照不同層級(jí)組織起來的網(wǎng)絡(luò)，每一層的輸出變量都是下一層的輸入變量。

上圖顯示了人工神經(jīng)網(wǎng)絡(luò)是一個(gè)分層模型，邏輯上可以分為三層：

輸入層 ：輸入層接收特征向量 x

輸出層 ：輸出層產(chǎn)出最終的預(yù)測(cè) h

隱含層 ：隱含層介于輸入層與輸出層之間，之所以稱之為隱含層，是因?yàn)楫?dāng)中產(chǎn)生的值并不像輸入層使用的樣本矩陣 X或者輸出層用到的標(biāo)簽矩陣 y 那樣直接可見。

下面引入一些標(biāo)記法來幫助描述模型：

!$ a^{(j)}_{i} $ 代表第j層的第i個(gè)激活單元。 !$ theta^{(j)} $ 代表從第 j 層映射到第 j+1 層時(shí)的權(quán)重的矩陣，例如 !$ theta^{(1)} $ 代表從第一層映射到第二層的權(quán)重的矩陣。其尺寸為：以第 j+1層的激活單元數(shù)量為行數(shù)，以第 j 層的激活單元數(shù)加一為列數(shù)的矩陣。例如：上圖所示的神經(jīng)網(wǎng)絡(luò)中 !$ theta^{(1)} $ 的尺寸為 3*4。

對(duì)于上圖所示的模型，激活單元和輸出分別表達(dá)為：

!$ a^{(2)}_{1} = g( theta^{(1)}_{10}x_0 + theta^{(1)}_{11}x_1 + theta^{(1)}_{12}x_2 + theta^{(1)}_{13}x_3 ) $

!$a^{(2)}_{2} = g( theta^{(1)}_{20}x_0 + theta^{(1)}_{21}x_1 + theta^{(1)}_{22}x_2 + theta^{(1)}_{23}x_3 ) $

!$a^{(2)}_{3} = g( theta^{(1)}_{30}x_0 + theta^{(1)}_{31}x_1 + theta^{(1)}_{32}x_2 + theta^{(1)}_{33}x_3 ) $

!$h_{theta}{(x)} = g( theta^{(2)}_{10}a^{2}_{0} + theta^{(2)}_{11}a^{2}_{1} + theta^{(2)}_{12}a^{2}_{2} + theta^{(2)}_{13}a^{2}_{3} ) $

下面用向量化的方法以上面的神經(jīng)網(wǎng)絡(luò)為例，試著計(jì)算第二層的值：

對(duì)于多類分類問題來說:

我們可將神經(jīng)網(wǎng)絡(luò)的分類定義為兩種情況:二類分類和多類分類。

二類分類： !$ S_{L} = 0,y = 0,y = 1$

多類分類： !$ S_{L} = k, y_{i} = 1表示分到第i類；(k>2)$

在神經(jīng)網(wǎng)絡(luò)中，我們可以有很多輸出變量，我們的 !$h_{theta}{(x)} $ 是一個(gè)維度為K的向量，并且我們訓(xùn)練集中的因變量也是同樣維度的一個(gè)向量，因此我們的代價(jià)函數(shù)會(huì)比邏輯回歸更加復(fù)雜一些，為： !$ h_{theta}{(x)} in R^{K}(h_{theta}{(x)})_{i} = i^{th} output$

我們希望通過代價(jià)函數(shù)來觀察算法預(yù)測(cè)的結(jié)果與真實(shí)情況的誤差有多大，唯一不同的是，對(duì)于每一行特征，我們都會(huì)給出K個(gè)預(yù)測(cè)，基本上我們可以利用循環(huán)，對(duì)每一行特征都預(yù)測(cè)K個(gè)不同結(jié)果，然后在利用循環(huán)在K個(gè)預(yù)測(cè)中選擇可能性最高的一個(gè)，將其與y中的實(shí)際數(shù)據(jù)進(jìn)行比較。

正則化的那一項(xiàng)只是排除了每一層 !$theta_0$ 后，每一層的矩陣的和。最里層的循環(huán)j循環(huán)所有的行（由 +1 層的激活單元數(shù)決定），循環(huán)i則循環(huán)所有的列，由該層（ !$ s_l$ 層）的激活單元數(shù)所決定。即： !$h_{theta}{(x)}$ 與真實(shí)值之間的距離為每個(gè)樣本-每個(gè)類輸出的加和，對(duì)參數(shù)進(jìn)行 regularization 的 bias 項(xiàng)處理所有參數(shù)的平方和。

由于神經(jīng)網(wǎng)絡(luò)允許多個(gè)隱含層，即各層的神經(jīng)元都會(huì)產(chǎn)出預(yù)測(cè)，因此，就不能直接利用傳統(tǒng)回歸問題的梯度下降法來最小化 !$J(theta)$ ，而需要逐層考慮預(yù)測(cè)誤差，并且逐層優(yōu)化。為此，在多層神經(jīng)網(wǎng)絡(luò)中，使用反向傳播算法（Backpropagation Algorithm）來優(yōu)化預(yù)測(cè)，首先定義各層的預(yù)測(cè)誤差為向量 !$ δ^{(l)} $

訓(xùn)練過程：

當(dāng)我們對(duì)一個(gè)較為復(fù)雜的模型（例如神經(jīng)網(wǎng)絡(luò)）使用梯度下降算法時(shí)，可能會(huì)存在一些不容易察覺的錯(cuò)誤，意味著，雖然代價(jià)看上去在不斷減小，但最終的結(jié)果可能并不是最優(yōu)解。

為了避免這樣的問題，我們采取一種叫做梯度的數(shù)值檢驗(yàn)（ Numerical Gradient Checking ）方法。這種方法的思想是通過估計(jì)梯度值來檢驗(yàn)我們計(jì)算的導(dǎo)數(shù)值是否真的是我們要求的。

對(duì)梯度的估計(jì)采用的方法是在代價(jià)函數(shù)上沿著切線的方向選擇離兩個(gè)非常近的點(diǎn)然后計(jì)算兩個(gè)點(diǎn)的平均值用以估計(jì)梯度。即對(duì)于某個(gè)特定的，我們計(jì)算出在 !$theta - epsilon$ 處和 !$theta + epsilon$ 的代價(jià)值（是一個(gè)非常小的值，通常選取 0.001），然后求兩個(gè)代價(jià)的平均，用以估計(jì)在 !$theta$ 處的代價(jià)值。

當(dāng) !$theta$ 是一個(gè)向量時(shí)，我們則需要對(duì)偏導(dǎo)數(shù)進(jìn)行檢驗(yàn)。因?yàn)榇鷥r(jià)函數(shù)的偏導(dǎo)數(shù)檢驗(yàn)只針對(duì)一個(gè)參數(shù)的改變進(jìn)行檢驗(yàn)，下面是一個(gè)只針對(duì) !$theta_1$ 進(jìn)行檢驗(yàn)的示例：

如果上式成立，則證明網(wǎng)絡(luò)中BP算法有效，此時(shí)關(guān)閉梯度校驗(yàn)算法（因?yàn)樘荻鹊慕朴?jì)算效率很慢），繼續(xù)網(wǎng)絡(luò)的訓(xùn)練過程。

二、

三、

四、三值神經(jīng)網(wǎng)絡(luò)

權(quán)重壓縮：三值神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）尤其適合于目標(biāo)識(shí)別、分類、檢測(cè)及圖像分割等計(jì)算機(jī)視覺應(yīng)用。典型的模型有數(shù)百萬參數(shù)并 運(yùn)算量大 ；例如，AlexNet有6100萬參數(shù)（浮點(diǎn)數(shù)權(quán)值共占用249MB存儲(chǔ)空間），分類一張圖片需要15億高精度運(yùn)算。所以為降低CNN規(guī)模和使用資源，現(xiàn)在有模型修剪（model pruning，去掉值較小的權(quán)值）和權(quán)值壓縮（weight compression，利用少數(shù)幾位量化權(quán)值）兩種方法。

權(quán)值壓縮：二值神經(jīng)網(wǎng)絡(luò)

重要點(diǎn)：網(wǎng)絡(luò)中的權(quán)重更新使用三值{+1,0,-1};并最小化全精度權(quán)重W和三值權(quán)重W的歐式距離。

傳播過程：

公式1的優(yōu)化問題化解為如下：

從而解：

最終確定一個(gè)閾值、來構(gòu)建三值神經(jīng)網(wǎng)絡(luò)；根據(jù) W 具體的分布情況來確定閾值：

均勻分布:在大于閾值的條件下：約等于均值( )*數(shù)量( )

[圖片上傳失敗...(image-885207-1554553493996)]

正態(tài)分布：

[圖片上傳失敗...(image-2a3804-1554553493996)]

最后本文章作者根據(jù)經(jīng)驗(yàn)：

確定三值網(wǎng)絡(luò)中的閾值與W期望的關(guān)系： ：

均值分布： (注在[-a,a]均勻取值，均值為 )

正態(tài)分布： (注：

算法：

[圖片上傳失敗...(image-d013ce-1554553493996)]

只在前向和后向過程中使用使用權(quán)值簡(jiǎn)化，但是更新是仍然是使用連續(xù)的權(quán)值。

優(yōu)化方法：隨機(jī)梯度下降(SGD+動(dòng)量)、批量標(biāo)準(zhǔn)化和學(xué)習(xí)率衰減

Momentum動(dòng)量:

本實(shí)驗(yàn)基于數(shù)據(jù)集MNIST、CIFAR-10、ImageNet以及三種網(wǎng)絡(luò)結(jié)構(gòu)（LeNet-5、VGG-7、ResNet-18(B)）進(jìn)行測(cè)試，分別使用二值神經(jīng)網(wǎng)絡(luò)、三值神經(jīng)網(wǎng)絡(luò)及全精度網(wǎng)絡(luò)，評(píng)測(cè)其效果。

TWNs在benchmark表現(xiàn)比全精度網(wǎng)絡(luò)稍微差一點(diǎn)，但是模型壓縮率達(dá)到了16/32倍。

源碼：

前向后向更改在conv_layer.cpp line 30-100 Forward_cpu | backward_cpu

以上就是關(guān)于神經(jīng)網(wǎng)絡(luò)三大分類相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。