lstm神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)（lm bp神經(jīng)網(wǎng)絡(luò)）

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于lstm神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、bp神經(jīng)網(wǎng)絡(luò)和som神經(jīng)網(wǎng)絡(luò)的區(qū)別

• 2、神經(jīng)網(wǎng)絡(luò)模型-27種神經(jīng)網(wǎng)絡(luò)模型們的簡介

• 3、那個最簡單的BP神經(jīng)網(wǎng)絡(luò)是什么意思啊，求解答

• 4、深度學(xué)習(xí)LSTM神經(jīng)網(wǎng)絡(luò)輸入輸出究竟是怎樣的？

一、bp神經(jīng)網(wǎng)絡(luò)和som神經(jīng)網(wǎng)絡(luò)的區(qū)別

結(jié)構(gòu)層不一樣。

1、SOM是一種比較簡單的神經(jīng)網(wǎng)絡(luò)，只有一層神經(jīng)網(wǎng)絡(luò)。

2、BP網(wǎng)絡(luò)具有三層結(jié)構(gòu)。

二、神經(jīng)網(wǎng)絡(luò)模型-27種神經(jīng)網(wǎng)絡(luò)模型們的簡介

​ 

【1】Perceptron(P) 感知機(jī)

【1】感知機(jī) 

感知機(jī)是我們知道的最簡單和最古老的神經(jīng)元模型，它接收一些輸入，然后把它們加總，通過激活函數(shù)并傳遞到輸出層。

【2】Feed Forward(FF)前饋神經(jīng)網(wǎng)絡(luò)

 【2】前饋神經(jīng)網(wǎng)絡(luò)

前饋神經(jīng)網(wǎng)絡(luò)（FF），這也是一個很古老的方法——這種方法起源于50年代。它的工作原理通常遵循以下規(guī)則：

1.所有節(jié)點(diǎn)都完全連接

2.激活從輸入層流向輸出，無回環(huán)

3.輸入和輸出之間有一層（隱含層）

在大多數(shù)情況下，這種類型的網(wǎng)絡(luò)使用反向傳播方法進(jìn)行訓(xùn)練。

【3】Radial Basis Network(RBF) RBF神經(jīng)網(wǎng)絡(luò)

 【3】RBF神經(jīng)網(wǎng)絡(luò)

RBF 神經(jīng)網(wǎng)絡(luò)實(shí)際上是 激活函數(shù)是徑向基函數(shù) 而非邏輯函數(shù)的FF前饋神經(jīng)網(wǎng)絡(luò)（FF）。兩者之間有什么區(qū)別呢？

邏輯函數(shù)--- 將某個任意值映射到[0 ,... 1]范圍內(nèi)來，回答“是或否”問題。適用于分類決策系統(tǒng)，但不適用于連續(xù)變量。

相反， 徑向基函數(shù)--- 能顯示“我們距離目標(biāo)有多遠(yuǎn)”。 這完美適用于函數(shù)逼近和機(jī)器控制（例如作為PID控制器的替代）。

簡而言之，RBF神經(jīng)網(wǎng)絡(luò)其實(shí)就是， 具有不同激活函數(shù)和應(yīng)用方向的前饋網(wǎng)絡(luò) 。

【4】Deep Feed Forword(DFF)深度前饋神經(jīng)網(wǎng)絡(luò)

【4】DFF深度前饋神經(jīng)網(wǎng)絡(luò) 

DFF深度前饋神經(jīng)網(wǎng)絡(luò)在90年代初期開啟了深度學(xué)習(xí)的潘多拉盒子。 這些依然是前饋神經(jīng)網(wǎng)絡(luò)，但有不止一個隱含層 。那么，它到底有什么特殊性？

在訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)時(shí)，我們只向上一層傳遞了少量的誤差信息。由于堆疊更多的層次導(dǎo)致訓(xùn)練時(shí)間的指數(shù)增長，使得深度前饋神經(jīng)網(wǎng)絡(luò)非常不實(shí)用。 直到00年代初，我們開發(fā)了一系列有效的訓(xùn)練深度前饋神經(jīng)網(wǎng)絡(luò)的方法; 現(xiàn)在它們構(gòu)成了現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)的核心 ，能實(shí)現(xiàn)前饋神經(jīng)網(wǎng)絡(luò)的功能，但效果遠(yuǎn)高于此。

【5】Recurrent Neural Network(RNN) 遞歸神經(jīng)網(wǎng)絡(luò)

【5】RNN遞歸神經(jīng)網(wǎng)絡(luò) 

RNN遞歸神經(jīng)網(wǎng)絡(luò)引入不同類型的神經(jīng)元——遞歸神經(jīng)元。這種類型的第一個網(wǎng)絡(luò)被稱為約旦網(wǎng)絡(luò)（Jordan Network），在網(wǎng)絡(luò)中每個隱含神經(jīng)元會收到它自己的在固定延遲（一次或多次迭代）后的輸出。除此之外，它與普通的模糊神經(jīng)網(wǎng)絡(luò)非常相似。

當(dāng)然，它有許多變化 — 如傳遞狀態(tài)到輸入節(jié)點(diǎn)，可變延遲等，但主要思想保持不變。這種類型的神經(jīng)網(wǎng)絡(luò)主要被使用在上下文很重要的時(shí)候——即過去的迭代結(jié)果和樣本產(chǎn)生的決策會對當(dāng)前產(chǎn)生影響。最常見的上下文的例子是文本——一個單詞只能在前面的單詞或句子的上下文中進(jìn)行分析。

【6】Long/Short Term Memory (LSTM) 長短時(shí)記憶網(wǎng)絡(luò)

【6】LSTM長短時(shí)記憶網(wǎng)絡(luò) 

LSTM長短時(shí)記憶網(wǎng)絡(luò)引入了一個存儲單元，一個特殊的單元，當(dāng)數(shù)據(jù)有時(shí)間間隔（或滯后）時(shí)可以處理數(shù)據(jù)。遞歸神經(jīng)網(wǎng)絡(luò)可以通過“記住”前十個詞來處理文本，LSTM長短時(shí)記憶網(wǎng)絡(luò)可以通過“記住”許多幀之前發(fā)生的事情處理視頻幀。 LSTM網(wǎng)絡(luò)也廣泛用于寫作和語音識別。

存儲單元實(shí)際上由一些元素組成，稱為門，它們是遞歸性的，并控制信息如何被記住和遺忘。

【7】Gated Recurrent Unit (GRU)

 【7】GRU是具有不同門的LSTM

GRU是具有不同門的LSTM。

聽起來很簡單，但缺少輸出門可以更容易基于具體輸入重復(fù)多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。

實(shí)際上的組合雖然有點(diǎn)不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，并且復(fù)位門(Reset Gate)與輸入密切相關(guān)。

它們比LSTM消耗資源少，但幾乎有相同的效果。

【8】Auto Encoder (AE) 自動編碼器

 【8】AE自動編碼器

Autoencoders自動編碼器用于分類，聚類和特征壓縮。

當(dāng)您訓(xùn)練前饋(FF)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時(shí)，您主要必須在Y類別中提供X個示例，并且期望Y個輸出單元格中的一個被激活。 這被稱為“監(jiān)督學(xué)習(xí)”。

另一方面，自動編碼器可以在沒有監(jiān)督的情況下進(jìn)行訓(xùn)練。它們的結(jié)構(gòu) - 當(dāng)隱藏單元數(shù)量小于輸入單元數(shù)量（并且輸出單元數(shù)量等于輸入單元數(shù)）時(shí)，并且當(dāng)自動編碼器被訓(xùn)練時(shí)輸出盡可能接近輸入的方式，強(qiáng)制自動編碼器泛化數(shù)據(jù)并搜索常見模式。

【9】Variational AE (VAE)  變分自編碼器

 【9】VAE變分自編碼器

變分自編碼器，與一般自編碼器相比，它壓縮的是概率，而不是特征。

盡管如此簡單的改變，但是一般自編碼器只能回答當(dāng)“我們?nèi)绾螝w納數(shù)據(jù)？”的問題時(shí)，變分自編碼器回答了“兩件事情之間的聯(lián)系有多強(qiáng)大？我們應(yīng)該在兩件事情之間分配誤差還是它們完全獨(dú)立的？”的問題。

【10】Denoising AE (DAE) 降噪自動編碼器

 【10】DAE降噪自動編碼器

雖然自動編碼器很酷，但它們有時(shí)找不到最魯棒的特征，而只是適應(yīng)輸入數(shù)據(jù)（實(shí)際上是過擬合的一個例子）。

降噪自動編碼器（DAE）在輸入單元上增加了一些噪聲 - 通過隨機(jī)位來改變數(shù)據(jù)，隨機(jī)切換輸入中的位，等等。通過這樣做，一個強(qiáng)制降噪自動編碼器從一個有點(diǎn)嘈雜的輸入重構(gòu)輸出，使其更加通用，強(qiáng)制選擇更常見的特征。

【11】Sparse AE (SAE) 稀疏自編碼器

【11】SAE稀疏自編碼器 

稀疏自編碼器（SAE）是另外一個有時(shí)候可以抽離出數(shù)據(jù)中一些隱藏分組樣試的自動編碼的形式。結(jié)構(gòu)和AE是一樣的，但隱藏單元的數(shù)量大于輸入或輸出單元的數(shù)量。

【12】Markov Chain (MC) 馬爾科夫鏈

 【12】Markov Chain (MC) 馬爾科夫鏈

馬爾可夫鏈（Markov Chain, MC）是一個比較老的圖表概念了，它的每一個端點(diǎn)都存在一種可能性。過去，我們用它來搭建像“在單詞hello之后有0.0053％的概率會出現(xiàn)dear，有0.03551%的概率出現(xiàn)you”這樣的文本結(jié)構(gòu)。

這些馬爾科夫鏈并不是典型的神經(jīng)網(wǎng)絡(luò)，它可以被用作基于概率的分類（像貝葉斯過濾），用于聚類（對某些類別而言），也被用作有限狀態(tài)機(jī)。

【13】Hopfield Network (HN) 霍普菲爾網(wǎng)絡(luò)

【13】HN霍普菲爾網(wǎng)絡(luò) 

霍普菲爾網(wǎng)絡(luò)（HN）對一套有限的樣本進(jìn)行訓(xùn)練，所以它們用相同的樣本對已知樣本作出反應(yīng)。

在訓(xùn)練前，每一個樣本都作為輸入樣本，在訓(xùn)練之中作為隱藏樣本，使用過之后被用作輸出樣本。

在HN試著重構(gòu)受訓(xùn)樣本的時(shí)候，他們可以用于給輸入值降噪和修復(fù)輸入。如果給出一半圖片或數(shù)列用來學(xué)習(xí)，它們可以反饋全部樣本。

【14】Boltzmann Machine (BM) 波爾滋曼機(jī)

【14】 BM 波爾滋曼機(jī) 

波爾滋曼機(jī)（BM）和HN非常相像，有些單元被標(biāo)記為輸入同時(shí)也是隱藏單元。在隱藏單元更新其狀態(tài)時(shí)，輸入單元就變成了輸出單元。（在訓(xùn)練時(shí)，BM和HN一個一個的更新單元，而非并行）。

這是第一個成功保留模擬退火方法的網(wǎng)絡(luò)拓?fù)洹?/p>

多層疊的波爾滋曼機(jī)可以用于所謂的深度信念網(wǎng)絡(luò)，深度信念網(wǎng)絡(luò)可以用作特征檢測和抽取。

【15】Restricted BM (RBM) 限制型波爾滋曼機(jī)

【15】 RBM 限制型波爾滋曼機(jī) 

在結(jié)構(gòu)上，限制型波爾滋曼機(jī)（RBM）和BM很相似，但由于受限RBM被允許像FF一樣用反向傳播來訓(xùn)練（唯一的不同的是在反向傳播經(jīng)過數(shù)據(jù)之前RBM會經(jīng)過一次輸入層）。

【16】Deep Belief Network (DBN) 深度信念網(wǎng)絡(luò)

【16】DBN 深度信念網(wǎng)絡(luò) 

像之前提到的那樣，深度信念網(wǎng)絡(luò)（DBN）實(shí)際上是許多波爾滋曼機(jī)（被VAE包圍）。他們能被連在一起（在一個神經(jīng)網(wǎng)絡(luò)訓(xùn)練另一個的時(shí)候），并且可以用已經(jīng)學(xué)習(xí)過的樣式來生成數(shù)據(jù)。

【17】Deep Convolutional Network (DCN) 深度卷積網(wǎng)絡(luò)

【17】 DCN 深度卷積網(wǎng)絡(luò)

當(dāng)今，深度卷積網(wǎng)絡(luò)（DCN）是人工神經(jīng)網(wǎng)絡(luò)之星。它具有卷積單元（或者池化層）和內(nèi)核，每一種都用以不同目的。

卷積核事實(shí)上用來處理輸入的數(shù)據(jù)，池化層是用來簡化它們（大多數(shù)情況是用非線性方程，比如max），來減少不必要的特征。

他們通常被用來做圖像識別，它們在圖片的一小部分上運(yùn)行（大約20x20像素）。輸入窗口一個像素一個像素的沿著圖像滑動。然后數(shù)據(jù)流向卷積層，卷積層形成一個漏斗（壓縮被識別的特征）。從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那一級。DFF通常被接在卷積層的末端方便未來的數(shù)據(jù)處理。

【18】Deconvolutional Network (DN) 去卷積網(wǎng)絡(luò)

 【18】 DN 去卷積網(wǎng)絡(luò)

去卷積網(wǎng)絡(luò)（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之后生成像（狗：0，蜥蜴：0，馬：0，貓：1）一樣的向量。DNC能在得到這個向量之后，能畫出一只貓。

【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)

【19】 DCIGN 深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)

深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)（DCIGN），長得像DCN和DN粘在一起，但也不完全是這樣。

事實(shí)上，它是一個自動編碼器，DCN和DN并不是作為兩個分開的網(wǎng)絡(luò)，而是承載網(wǎng)路輸入和輸出的間隔區(qū)。大多數(shù)這種神經(jīng)網(wǎng)絡(luò)可以被用作圖像處理，并且可以處理他們以前沒有被訓(xùn)練過的圖像。由于其抽象化的水平很高，這些網(wǎng)絡(luò)可以用于將某個事物從一張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個斑馬。

【20】Generative Adversarial Network (GAN) 生成對抗網(wǎng)絡(luò)

 【20】 GAN 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)（GAN）代表了有生成器和分辨器組成的雙網(wǎng)絡(luò)大家族。它們一直在相互傷害——生成器試著生成一些數(shù)據(jù)，而分辨器接收樣本數(shù)據(jù)后試著分辨出哪些是樣本，哪些是生成的。只要你能夠保持兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練之間的平衡，在不斷的進(jìn)化中，這種神經(jīng)網(wǎng)絡(luò)可以生成實(shí)際圖像。

【21】Liquid State Machine (LSM) 液體狀態(tài)機(jī)

 【21】 LSM 液體狀態(tài)機(jī)

液體狀態(tài)機(jī)（LSM）是一種稀疏的，激活函數(shù)被閾值代替了的（并不是全部相連的）神經(jīng)網(wǎng)絡(luò)。只有達(dá)到閾值的時(shí)候，單元格從連續(xù)的樣本和釋放出來的輸出中積累價(jià)值信息，并再次將內(nèi)部的副本設(shè)為零。

這種想法來自于人腦，這些神經(jīng)網(wǎng)絡(luò)被廣泛的應(yīng)用于計(jì)算機(jī)視覺，語音識別系統(tǒng)，但目前還沒有重大突破。

【22】Extreme  Learning Machine (ELM) 極端學(xué)習(xí)機(jī)

【22】ELM 極端學(xué)習(xí)機(jī) 

極端學(xué)習(xí)機(jī)（ELM）是通過產(chǎn)生稀疏的隨機(jī)連接的隱藏層來減少FF網(wǎng)絡(luò)背后的復(fù)雜性。它們需要用到更少計(jì)算機(jī)的能量，實(shí)際的效率很大程度上取決于任務(wù)和數(shù)據(jù)。

【23】Echo State Network (ESN) 回聲狀態(tài)網(wǎng)絡(luò)

【23】 ESN 回聲狀態(tài)網(wǎng)絡(luò)

回聲狀態(tài)網(wǎng)絡(luò)（ESN）是重復(fù)網(wǎng)絡(luò)的細(xì)分種類。數(shù)據(jù)會經(jīng)過輸入端，如果被監(jiān)測到進(jìn)行了多次迭代（請?jiān)试S重復(fù)網(wǎng)路的特征亂入一下），只有在隱藏層之間的權(quán)重會在此之后更新。

據(jù)我所知，除了多個理論基準(zhǔn)之外，我不知道這種類型的有什么實(shí)際應(yīng)用。。。。。。。

【24】Deep Residual Network (DRN) 深度殘差網(wǎng)絡(luò)

​【24】 DRN 深度殘差網(wǎng)絡(luò) 

深度殘差網(wǎng)絡(luò)（DRN）是有些輸入值的部分會傳遞到下一層。這一特點(diǎn)可以讓它可以做到很深的層級（達(dá)到300層），但事實(shí)上它們是一種沒有明確延時(shí)的RNN。

【25】Kohonen Network (KN) Kohonen神經(jīng)網(wǎng)絡(luò)

​ 【25】 Kohonen神經(jīng)網(wǎng)絡(luò)

Kohonen神經(jīng)網(wǎng)絡(luò)（KN）引入了“單元格距離”的特征。大多數(shù)情況下用于分類，這種網(wǎng)絡(luò)試著調(diào)整它們的單元格使其對某種特定的輸入作出最可能的反應(yīng)。當(dāng)一些單元格更新了， 離他們最近的單元格也會更新。

像SVM一樣，這些網(wǎng)絡(luò)總被認(rèn)為不是“真正”的神經(jīng)網(wǎng)絡(luò)。

【26】Support Vector Machine (SVM)

​【26】 SVM 支持向量機(jī) 

支持向量機(jī)（SVM）用于二元分類工作，無論這個網(wǎng)絡(luò)處理多少維度或輸入，結(jié)果都會是“是”或“否”。

SVM不是所有情況下都被叫做神經(jīng)網(wǎng)絡(luò)。

【27】Neural Turing Machine (NTM) 神經(jīng)圖靈機(jī)

​【27】NTM 神經(jīng)圖靈機(jī) 

神經(jīng)網(wǎng)絡(luò)像是黑箱——我們可以訓(xùn)練它們，得到結(jié)果，增強(qiáng)它們，但實(shí)際的決定路徑大多數(shù)我們都是不可見的。

神經(jīng)圖靈機(jī)（NTM）就是在嘗試解決這個問題——它是一個提取出記憶單元之后的FF。一些作者也說它是一個抽象版的LSTM。

記憶是被內(nèi)容編址的，這個網(wǎng)絡(luò)可以基于現(xiàn)狀讀取記憶，編寫記憶，也代表了圖靈完備神經(jīng)網(wǎng)絡(luò)。

三、那個最簡單的BP神經(jīng)網(wǎng)絡(luò)是什么意思啊，求解答

最簡單的BP神經(jīng)網(wǎng)絡(luò)？可能指單輸入單輸出的單隱層感知器模型。

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。

四、深度學(xué)習(xí)LSTM神經(jīng)網(wǎng)絡(luò)輸入輸出究竟是怎樣的？

在長短期記憶 （LSTM） 網(wǎng)絡(luò)中，輸入通常是一系列數(shù)據(jù)點(diǎn)，例如語言翻譯任務(wù)中的單詞序列或時(shí)間序列預(yù)測任務(wù)中的傳感器讀數(shù)序列。輸入數(shù)據(jù)通過輸入層傳遞，輸入層將輸入數(shù)據(jù)轉(zhuǎn)換為一組可由 LSTM 網(wǎng)絡(luò)處理的內(nèi)部表示。

然后，輸入數(shù)據(jù)的內(nèi)部表示通過一系列LSTM層傳遞，這些層使用一組“存儲單元”來存儲和檢索長時(shí)間的信息。每個LSTM層還包括一組“門”，用于控制進(jìn)出存儲單元的信息流，允許LSTM有選擇地存儲和檢索信息，并忘記不再需要的信息。

LSTM網(wǎng)絡(luò)的輸出通常是基于輸入數(shù)據(jù)和存儲在存儲單元中的信息的預(yù)測或分類。例如，在語言翻譯任務(wù)中，輸出可能是翻譯的句子，而在時(shí)序預(yù)測任務(wù)中，輸出可能是序列中的預(yù)測未來值。

總體而言，LSTM網(wǎng)絡(luò)的輸入是一系列數(shù)據(jù)點(diǎn)，輸出是基于輸入數(shù)據(jù)和存儲在LSTM層的存儲單元中的信息的預(yù)測或分類。

以上就是關(guān)于lstm神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。

推薦閱讀：

淘寶搜索暗語大全（淘寶lsp關(guān)鍵詞）

拼多多l(xiāng)sp必看（拼多多看什么視頻能賺錢）

ALS是什么意思（show是什么意思）

主播一套一套的順口溜（主播一套一套的嘮嗑詞）

園區(qū)美景文案