正文

模型的mse值很大為什么

發(fā)布時(shí)間：2023-04-14 01:47:14 稿源：創(chuàng)意嶺閱讀： 137

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于模型的mse值很大為什么的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、各種損失函數(shù)詳解
2、模型效果評(píng)價(jià)
3、matlab預(yù)測(cè)模型，為什么我誤差如此之大？
4、解釋變量個(gè)數(shù)增加，MSE一定減小嗎？還是數(shù)據(jù)集增加，MSE減??？為什么？

模型的mse值很大為什么

一、各種損失函數(shù)詳解

損失函數(shù)（Loss Function）：是定義在單個(gè)樣本上的，是指一個(gè)樣本的誤差。

代價(jià)函數(shù)（Cost Function）：是定義在整個(gè)訓(xùn)練集上的，是所有樣本誤差的平均，也就是所有損失函數(shù)值的平均。

目標(biāo)函數(shù)（Object Function）：是指最終需要優(yōu)化的函數(shù)，一般來(lái)說(shuō)是經(jīng)驗(yàn)風(fēng)險(xiǎn)+結(jié)構(gòu)風(fēng)險(xiǎn)，也就是（代價(jià)函數(shù)+正則化項(xiàng)）。

也就是說(shuō)，當(dāng)預(yù)測(cè)錯(cuò)誤時(shí)，損失函數(shù)為1，當(dāng)預(yù)測(cè)正確時(shí)，損失函數(shù)值為0。該損失函數(shù)不考慮預(yù)測(cè)值和真實(shí)值的誤差程度。只要錯(cuò)誤，就是1。

是指預(yù)測(cè)值與實(shí)際值差的平方。

該損失函數(shù)的意義和上面差不多，只不過(guò)是取了絕對(duì)值而不是求絕對(duì)值，差距不會(huì)被平方放大。

這個(gè)損失函數(shù)就比較難理解了。事實(shí)上，該損失函數(shù)用到了極大似然估計(jì)的思想。P(Y|X)通俗的解釋就是：在當(dāng)前模型的基礎(chǔ)上，對(duì)于樣本X，其預(yù)測(cè)值為Y，也就是預(yù)測(cè)正確的概率。由于概率之間的同時(shí)滿足需要使用乘法，為了將其轉(zhuǎn)化為加法，我們將其取對(duì)數(shù)。最后由于是損失函數(shù)，所以預(yù)測(cè)正確的概率越高，其損失值應(yīng)該是越小，因此再加個(gè)負(fù)號(hào)取個(gè)反。

Hinge loss一般分類算法中的損失函數(shù)，尤其是SVM，其定義為：

其中或 y, ，當(dāng)為SVM的線性核時(shí)。

均方誤差是指參數(shù)估計(jì)值與參數(shù)真值之差平方的期望值; MSE可以評(píng)價(jià)數(shù)據(jù)的變化程度，MSE的值越小，說(shuō)明預(yù)測(cè)模型描述實(shí)驗(yàn)數(shù)據(jù)具有更好的精確度。（i表示第 i 個(gè)樣本，N 表示樣本總數(shù)）

通常用來(lái)做回歸問(wèn)題的代價(jià)函數(shù) 。

均方根誤差是均方誤差的 算術(shù)平方根 ，能夠直觀觀測(cè)預(yù)測(cè)值與實(shí)際值的離散程度。

通常用來(lái)作為回歸算法的性能指標(biāo) 。

平均絕對(duì)誤差是絕對(duì)誤差的平均值，平均絕對(duì)誤差能更好地反映預(yù)測(cè)值誤差的實(shí)際情況。

通常用來(lái)作為回歸算法的性能指標(biāo) 。

交叉熵是用來(lái)評(píng)估當(dāng)前訓(xùn)練得到的概率分布與真實(shí)分布的差異情況，減少交叉熵?fù)p失就是在提高模型的預(yù)測(cè)準(zhǔn)確率。其中 p(x)p(x) 是指真實(shí)分布的概率， q(x) 是模型通過(guò)數(shù)據(jù)計(jì)算出來(lái)的概率估計(jì)。

比如對(duì)于二分類模型的交叉熵代價(jià)函數(shù)（可參考邏輯回歸一節(jié)）：

其中可以是sigmoid函數(shù)?；蛏疃葘W(xué)習(xí)中的其它激活函數(shù)。而。

通常用做分類問(wèn)題的代價(jià)函數(shù)。

二、模型效果評(píng)價(jià)

數(shù)據(jù)拆分：訓(xùn)練數(shù)據(jù)集&測(cè)試數(shù)據(jù)集

分類模型評(píng)價(jià)指標(biāo)：精準(zhǔn)度、混淆矩陣、精準(zhǔn)率、召回率、F1 Score、ROC曲線等

回歸模型評(píng)價(jià)指標(biāo)：MSE、RMSE、MAE、R Squared

聚類模型評(píng)價(jià)指標(biāo)：蘭德指數(shù)、互信息、輪廓系數(shù)

數(shù)據(jù)拆分

目的：訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分別用來(lái)訓(xùn)練模型和測(cè)試模型預(yù)測(cè)效果。

拆分原則：一般按照8:2的比例進(jìn)行拆分，80%的數(shù)據(jù)用于訓(xùn)練，20%的數(shù)據(jù)用來(lái)預(yù)測(cè)；

將規(guī)則排列的數(shù)據(jù)先shuffle打散之后再分割；

超參數(shù)：在機(jī)器學(xué)習(xí)算法模型執(zhí)行之前需要指定的參數(shù)。（調(diào)參調(diào)的就是超參數(shù)）如kNN算法中的k。

模型參數(shù)：算法過(guò)程中學(xué)習(xí)的屬于這個(gè)模型的參數(shù)（kNN中沒(méi)有模型參數(shù)，回歸算法有很多模型參數(shù)）。

如何選擇最佳的超參數(shù)，這是機(jī)器學(xué)習(xí)中的一個(gè)永恒的問(wèn)題。在實(shí)際業(yè)務(wù)場(chǎng)景中，調(diào)參的難度大很多，一般我們會(huì)業(yè)務(wù)領(lǐng)域知識(shí)、經(jīng)驗(yàn)數(shù)值、實(shí)驗(yàn)搜索等方面獲得最佳參數(shù)。

評(píng)價(jià)分類結(jié)果：精準(zhǔn)度、混淆矩陣、精準(zhǔn)率、召回率、F1 Score、ROC曲線、AUC、PR曲線。

1、混淆矩陣

混淆矩陣是監(jiān)督學(xué)習(xí)中的一種可視化工具，主要用于比較分類結(jié)果和實(shí)例的真實(shí)信息。矩陣中的每一行代表實(shí)例的預(yù)測(cè)類別，每一列代表實(shí)例的真實(shí)類別。

真正(True Positive , TP)：被模型預(yù)測(cè)為正的正樣本。

假正(False Positive , FP)：被模型預(yù)測(cè)為正的負(fù)樣本。

假負(fù)(False Negative , FN)：被模型預(yù)測(cè)為負(fù)的正樣本。

真負(fù)(True Negative , TN)：被模型預(yù)測(cè)為負(fù)的負(fù)樣本。

真正率(True Positive Rate,TPR)：TPR=TP/(TP+FN)，即被預(yù)測(cè)為正的正樣本數(shù) /正樣本實(shí)際數(shù)。

假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被預(yù)測(cè)為正的負(fù)樣本數(shù) /負(fù)樣本實(shí)際數(shù)。

假負(fù)率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被預(yù)測(cè)為負(fù)的正樣本數(shù) /正樣本實(shí)際數(shù)。

真負(fù)率(True Negative Rate,TNR)：TNR=TN/(TN+FP)，即被預(yù)測(cè)為負(fù)的負(fù)樣本數(shù) /負(fù)樣本實(shí)際數(shù)/2

2、準(zhǔn)確率（Accuracy）

準(zhǔn)確率是最常用的分類性能指標(biāo)。

Accuracy = (TP+TN)/(TP+FN+FP+TN)

即正確預(yù)測(cè)的正反例數(shù) /總數(shù)

3、精確率（Precision）

精確率容易和準(zhǔn)確率被混為一談。其實(shí)，精確率只是針對(duì)預(yù)測(cè)正確的正樣本而不是所有預(yù)測(cè)正確的樣本。表現(xiàn)為預(yù)測(cè)出是正的里面有多少真正是正的?？衫斫鉃椴闇?zhǔn)率。

Precision = TP/(TP+FP)

即正確預(yù)測(cè)的正例數(shù) /預(yù)測(cè)正例總數(shù)

4、召回率（Recall）

召回率表現(xiàn)出在實(shí)際正樣本中，分類器能預(yù)測(cè)出多少。與真正率相等，可理解為查全率。

Recall = TP/(TP+FN)，即正確預(yù)測(cè)的正例數(shù) /實(shí)際正例總數(shù)

5、F1 score

F值是精確率和召回率的調(diào)和值，更接近于兩個(gè)數(shù)較小的那個(gè)，所以精確率和召回率接近時(shí)，F(xiàn)值最大。很多推薦系統(tǒng)的評(píng)測(cè)指標(biāo)就是用F值的。

2/F1 = 1/Precision + 1/Recall

6、ROC曲線

邏輯回歸里面，對(duì)于正負(fù)例的界定，通常會(huì)設(shè)一個(gè)閾值，大于閾值的為正類，小于閾值為負(fù)類。如果我們減小這個(gè)閥值，更多的樣本會(huì)被識(shí)別為正類，提高正類的識(shí)別率，但同時(shí)也會(huì)使得更多的負(fù)類被錯(cuò)誤識(shí)別為正類。為了直觀表示這一現(xiàn)象，引入ROC。根據(jù)分類結(jié)果計(jì)算得到ROC空間中相應(yīng)的點(diǎn)，連接這些點(diǎn)就形成ROC curve，橫坐標(biāo)為False Positive Rate(FPR假正率)，縱坐標(biāo)為True Positive Rate(TPR真正率)。一般情況下，這個(gè)曲線都應(yīng)該處于(0,0)和(1,1)連線的上方

ROC曲線中的四個(gè)點(diǎn)和一條線:

點(diǎn)(0,1)：即FPR=0, TPR=1，意味著FN＝0且FP＝0，將所有的樣本都正確分類。

點(diǎn)(1,0)：即FPR=1，TPR=0，最差分類器，避開(kāi)了所有正確答案。

點(diǎn)(0,0)：即FPR=TPR=0，F(xiàn)P＝TP＝0，分類器把每個(gè)實(shí)例都預(yù)測(cè)為負(fù)類。

點(diǎn)(1,1)：分類器把每個(gè)實(shí)例都預(yù)測(cè)為正類。

總之：ROC曲線越接近左上角，該分類器的性能越好。而且一般來(lái)說(shuō)，如果ROC是光滑的，那么基本可以判斷沒(méi)有太大的overfitting

7、AUC

AUC（Area Under Curve）被定義為ROC曲線下的面積(ROC的積分)，通常大于0.5小于1。隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本，分類器判定正樣本的值高于負(fù)樣本的概率就是 AUC 值。AUC值(面積)越大的分類器，性能越好。

8、PR曲線

PR曲線的橫坐標(biāo)是精確率P，縱坐標(biāo)是召回率R。評(píng)價(jià)標(biāo)準(zhǔn)和ROC一樣，先看平滑不平滑（藍(lán)線明顯好些）。一般來(lái)說(shuō)，在同一測(cè)試集，上面的比下面的好（綠線比紅線好）。當(dāng)P和R的值接近時(shí)，F(xiàn)1值最大，此時(shí)畫連接(0,0)和(1,1)的線，線和PRC重合的地方的F1是這條線最大的F1（光滑的情況下），此時(shí)的F1對(duì)于PRC就好像AUC對(duì)于ROC一樣。一個(gè)數(shù)字比一條線更方便調(diào)型。

有時(shí)候模型沒(méi)有單純的誰(shuí)比誰(shuí)好（比如圖二的藍(lán)線和青線），所以選擇模型還是要結(jié)合具體的使用場(chǎng)景。下面是兩個(gè)場(chǎng)景：1，地震的預(yù)測(cè) 對(duì)于地震的預(yù)測(cè)，我們希望的是RECALL非常高，也就是說(shuō)每次地震我們都希望預(yù)測(cè)出來(lái)。這個(gè)時(shí)候我們可以犧牲PRECISION。情愿發(fā)出1000次警報(bào)，把10次地震都預(yù)測(cè)正確了，也不要預(yù)測(cè)100次對(duì)了8次漏了兩次。2，嫌疑人定罪基于不錯(cuò)怪一個(gè)好人的原則，對(duì)于嫌疑人的定罪我們希望是非常準(zhǔn)確的。即時(shí)有時(shí)候放過(guò)了一些罪犯（recall低），但也是值得的。

對(duì)于分類器來(lái)說(shuō)，本質(zhì)上是給一個(gè)概率，此時(shí)，我們?cè)龠x擇一個(gè)CUTOFF點(diǎn)（閥值），高于這個(gè)點(diǎn)的判正，低于的判負(fù)。那么這個(gè)點(diǎn)的選擇就需要結(jié)合你的具體場(chǎng)景去選擇。反過(guò)來(lái)，場(chǎng)景會(huì)決定訓(xùn)練模型時(shí)的標(biāo)準(zhǔn)，比如第一個(gè)場(chǎng)景中，我們就只看RECALL=99.9999%（地震全中）時(shí)的PRECISION，其他指標(biāo)就變得沒(méi)有了意義。

當(dāng)正負(fù)樣本數(shù)量差距不大的情況下，ROC和PR的趨勢(shì)是差不多的，但是在正負(fù)樣本分布極不均衡的情況下，PRC比ROC更能真實(shí)的反映出實(shí)際情況，因?yàn)榇藭r(shí)ROC曲線看起來(lái)似乎很好，但是卻在PR上效果一般。

評(píng)價(jià)回歸結(jié)果：MSE、RMSE、MAE、R Squared。

回歸問(wèn)題用到的衡量指標(biāo)相對(duì)直觀。假設(shè)yiyi是第ii個(gè)樣本的真實(shí)值，ŷiy^i是對(duì)第ii個(gè)樣本的預(yù)測(cè)值。

1. 平均絕對(duì)誤差（MAE）

平均絕對(duì)誤差MAE（Mean Absolute Error）又被稱為l1范數(shù)損失（l1-norm loss）：

2. 平均平方誤差（MSE）

平均平方誤差MSE（Mean Squared Error）又被稱為l2范數(shù)損失（l2-norm loss）：

3、均方根誤差（RMSE）

RMSE雖然廣為使用，但是其存在一些缺點(diǎn)，因?yàn)樗鞘褂闷骄`差，而平均值對(duì)異常點(diǎn)（outliers）較敏感，如果回歸器對(duì)某個(gè)點(diǎn)的回歸值很不理性，那么它的誤差則較大，從而會(huì)對(duì)RMSE的值有較大影響，即平均值是非魯棒的。

4、解釋變異

解釋變異（ Explained variance）是根據(jù)誤差的方差計(jì)算得到的：

5、決定系數(shù)

決定系數(shù)（Coefficient of determination）又被稱為R2分?jǐn)?shù)：

三、聚類模型評(píng)價(jià)

1 . 蘭德指數(shù)

蘭德指數(shù)（Rand index）需要給定實(shí)際類別信息C，假設(shè)K是聚類結(jié)果，a表示在C與K中都是同類別的元素對(duì)數(shù)，b表示在C與K中都是不同類別的元素對(duì)數(shù)，則蘭德指數(shù)為：

其中數(shù)據(jù)集中可以組成的總元素對(duì)數(shù)，RI取值范圍為[0,1]，值越大意味著聚類結(jié)果與真實(shí)情況越吻合。

對(duì)于隨機(jī)結(jié)果，RI并不能保證分?jǐn)?shù)接近零。為了實(shí)現(xiàn)“在聚類結(jié)果隨機(jī)產(chǎn)生的情況下，指標(biāo)應(yīng)該接近零”，調(diào)整蘭德系數(shù)（Adjusted rand index）被提出，它具有更高的區(qū)分度：

ARI取值范圍為[−1,1]，值越大意味著聚類結(jié)果與真實(shí)情況越吻合。從廣義的角度來(lái)講，ARI衡量的是兩個(gè)數(shù)據(jù)分布的吻合程度。

2. 互信息

互信息（Mutual Information）也是用來(lái)衡量?jī)蓚€(gè)數(shù)據(jù)分布的吻合程度。假設(shè)UU與VV是對(duì)NN個(gè)樣本標(biāo)簽的分配情況，則兩種分布的熵（熵表示的是不確定程度）分別為：

利用基于互信息的方法來(lái)衡量聚類效果需要實(shí)際類別信息，MI與NMI取值范圍為[0,1]，AMI取值范圍為[−1,1]，它們都是值越大意味著聚類結(jié)果與真實(shí)情況越吻合。

3. 輪廓系數(shù)

輪廓系數(shù)（Silhouette coefficient）適用于實(shí)際類別信息未知的情況。對(duì)于單個(gè)樣本，設(shè)aa是與它同類別中其他樣本的平均距離，bb是與它距離最近不同類別中樣本的平均距離，輪廓系數(shù)為：

對(duì)于一個(gè)樣本集合，它的輪廓系數(shù)是所有樣本輪廓系數(shù)的平均值。

輪廓系數(shù)取值范圍是[−1,1]

三、matlab預(yù)測(cè)模型，為什么我誤差如此之大？

你這有點(diǎn)像神經(jīng)網(wǎng)絡(luò)的代碼一樣啊，你這個(gè)預(yù)測(cè)的原理是不是有閾值或權(quán)值啊，這個(gè)你是沒(méi)定吧，所以你搞出來(lái)誤差蠻大的，具體閾值也不好定，我以前是用多次試驗(yàn)，直到精度符合我要求了，然后保存網(wǎng)絡(luò)，這樣就可以吧閾值保存下來(lái)，在進(jìn)行預(yù)測(cè)，這樣預(yù)測(cè)精度就高了、、、

四、解釋變量個(gè)數(shù)增加，MSE一定減小嗎？還是數(shù)據(jù)集增加，MSE減??？為什么？

由MSE計(jì)算公式可知，當(dāng)樣本量足夠時(shí)，僅僅樣本量增加不會(huì)引起MSE的改變。而非冗余的解釋變量的增加（和其他變量沒(méi)有共線性又與目標(biāo)變量相關(guān)的變量）有助于預(yù)測(cè)值更靠近實(shí)際情況，從而降低MSE。但是隨著解釋變量數(shù)目的增多，MSE降低的幅度會(huì)越來(lái)越小。

以上就是關(guān)于模型的mse值很大為什么相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。