正文

線性回歸算法（線性回歸算法原理）

發(fā)布時間：2023-04-14 06:03:17 稿源：創(chuàng)意嶺閱讀： 74

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于線性回歸算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關鍵詞，就能返回你想要的內容，越精準，寫出的就越詳細，有微信小程序端、在線網頁版、PC客戶端

官網：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè)，服務客戶遍布全球各地，如需了解SEO相關業(yè)務請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、人工智能包含什么內容
2、小白也能入門機器學習-線性回歸
3、人工智能十大算法
4、機器學習有哪些算法

線性回歸算法（線性回歸算法原理）

一、人工智能包含什么內容

人工智能主要包括的內容有：python基礎與科學計算模塊、AI數(shù)學知識、線性回歸算法、線性分類算法、無監(jiān)督學習算法、決策樹系列算法、Kaggle實戰(zhàn)、海量數(shù)據(jù)挖掘工具、概率圖模型算法、深度學習原理到進階實戰(zhàn)、圖像識別原理到進階實戰(zhàn)、圖像識別項目、自然語言處理原理到進階實戰(zhàn)、自然語言處理、數(shù)據(jù)挖掘。

python基礎與科學計算模塊主要包括：

Python基礎語法

科學計算模塊Numpy

數(shù)據(jù)處理分析模塊Pandas

數(shù)據(jù)可視化模塊

AI數(shù)學知識主要包括：

微積分基礎

線性代數(shù)基礎

多元函數(shù)微分學

線性代數(shù)高級

概率論

最優(yōu)化

線性回歸算法主要包括：

多元線性回歸

梯度下降法

歸一化

正則化

Lasso回歸、Ridge回歸、多項式回歸

線性分類算法主要包括：

邏輯回歸

Softmax回歸

SVM支持向量機

SMO優(yōu)化算法

無監(jiān)督學習算法主要包括：

聚類系列算法

PCA降維算法

EM算法

GMM算法

決策樹系列算法主要有：

決策樹算法

隨機森林算法

Adaboost算法

GBDT算法

XGBoost算法

等等等等，因為內容太多就不一一介紹了。如果想了解，可以私信詢問。

工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統(tǒng)等。人工智能從誕生以來，理論和技術日益成熟，應用領域也不斷擴大，可以設想，未來人工智能帶來的科技產品，將會是人類智慧的“容器”。人工智能可以對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。

而人工智能的主要應用領域有：

深度學習

深度學習作為人工智能領域的一個重要應用領域。說到深度學習，大家第一個想到的肯定是AlphaGo，通過一次又一次的學習、更新算法，最終在人機大戰(zhàn)中打敗圍棋大師。

對于一個智能系統(tǒng)來講，深度學習的能力大小，決定著它在多大程度上能達到用戶對它的期待。

深度學習的技術原理：1.構建一個網絡并且隨機初始化所有連接的權重； 2.將大量的數(shù)據(jù)情況輸出到這個網絡中； 3.網絡處理這些動作并且進行學習； 4.如果這個動作符合指定的動作，將會增強權重，如果不符合，將會降低權重； 5.系統(tǒng)通過如上過程調整權重； 6.在成千上萬次的學習之后，超過人類的表現(xiàn)；

計算機視覺

計算機視覺是指計算機從圖像中識別出物體、場景和活動的能力。計算機視覺有著廣泛的細分應用，其中包括，醫(yī)療領域成像分析、人臉識別、公關安全、安防監(jiān)控等等。

計算機視覺的技術原理：計算機視覺技術運用由圖像處理操作及其他技術所組成的序列來將圖像分析任務分解為便于管理的小塊任務。

語音識別

語音識別，是把語音轉化為文字，并對其進行識別、認知和處理。語音識別的主要應用包括電話外呼、醫(yī)療領域聽寫、語音書寫、電腦系統(tǒng)聲控、電話客服等。

語音識別技術原理：1、對聲音進行處理，使用移動函數(shù)對聲音進行分幀； 2、聲音被分幀后，變?yōu)楹芏嗖ㄐ?，需要將波形做聲學體征提??； 3、聲音特征提取之后，聲音就變成了一個矩陣。然后通過音素組合成單詞；

虛擬個人助理

蘋果手機的Siri，以及小米手機上的小愛，都算是虛擬個人助理的應用。

虛擬個人助理技術原理：（以小愛為例）1、用戶對著小愛說話后，語音將立即被編碼，并轉換成一個壓縮數(shù)字文件，該文件包含了用戶語音的相關信息； 2、由于用戶手機處于開機狀態(tài)，語音信號將被轉入用戶所使用移動運營商的基站當中，然后再通過一系列固定電線發(fā)送至用戶的互聯(lián)網服務供應商(ISP)，該ISP擁有云計算服務器； 3、該服務器中的內置系列模塊，將通過技術手段來識別用戶剛才說過的內容。

自然語言處理

自然語言處理（NLP），像計算機視覺技術一樣，將各種有助于實現(xiàn)目標的多種技術進行了融合，實現(xiàn)人機間自然語言的通信。

自然語言處理技術原理：1、漢字編碼詞法分析； 2、句法分析； 3、語義分析； 4、文本生成； 5、語音識別；

智能機器人

智能機器人在生活中隨處可見，掃地機器人、陪伴機器人……這些機器人不管是跟人語音聊天，還是自主定位導航行走、安防監(jiān)控等，都離不開人工智能技術的支持。

智能機器人技術原理：人工智能技術把機器視覺、自動規(guī)劃等認知技術、各種傳感器整合到機器人身上，使得機器人擁有判斷、決策的能力，能在各種不同的環(huán)境中處理不同的任務。智能穿戴設備、智能家電、智能出行或者無人機設備其實都是類似的原理。

引擎推薦

淘寶、京東等商城，以及36氪等資訊網站，會根據(jù)你之前瀏覽過的商品、頁面、搜索過的關鍵字推送給你一些相關的產品、或網站內容。這其實就是引擎推薦技術的一種表現(xiàn)。

Google為什么會做免費搜索引擎，目的就是為了收集大量的自然搜索數(shù)據(jù)，豐富他的大數(shù)據(jù)數(shù)據(jù)庫，為后面的人工智能數(shù)據(jù)庫做準備。

引擎推薦技術原理：推薦引擎是基于用戶的行為、屬性（用戶瀏覽行為產生的數(shù)據(jù)），通過算法分析和處理，主動發(fā)現(xiàn)用戶當前或潛在需求，并主動推送信息給用戶的瀏覽頁面。

二、小白也能入門機器學習-線性回歸

小白也能入門機器學習-線性回歸

【咱們的目標】系列算法講解旨在用最簡單易懂的故事情節(jié)幫助大家掌握晦澀無趣的機器學習，適合對數(shù)學很頭疼的同學們，小板凳走起！

【什么是線性回歸】今天咱們要來嘮的是機器學習中最基本也是最重要的算法之一線性回歸，正當此時迪哥正在前往銀行的路上，準備辦理貸款（低保），到了之后銀行問了我兩件事，年齡和工資都多少呀？（特征）當?shù)玫搅私Y果后告訴我我們只能貸給你100塊，別問為什么！機器算的！（機器你拿毛線算的100快？）這里告訴了我們這樣一件事，我們的輸入就是你的數(shù)據(jù)特征，得出的結果是一個連續(xù)區(qū)間上的值，目標就是找到我們想要預測的值和我們的輸出之間的關系，接下來我們的目標就放在如何找到這種關系。

【如何得出結果】這個圖就是機器如何進行預測的（回歸）它會根據(jù)一票子兄弟貸款的歷史數(shù)據(jù)（年齡和工資分別對應于X1與X2）找出來最好的擬合線（面）來進行預測，這樣你的數(shù)據(jù)來了之后直接帶入進去就可以得出來該給你多少錢了。

我們用兩個參數(shù)來分別對應于工資和年齡，控制它們對結果的影響大小，這里做了一個整合是把偏置項和權重參數(shù)項放到了一起（加了個X0讓其都等于1）

要想讓銀行能開的下去，那就得少遇到點麻煩，迪哥這么大碗就給我100塊（真實的指標應該為200塊）肯定是要砸場子的，所以我們的目標是要讓得到的預測值跟真實值越接近越好。機器學習當中最核心的一點就在于如何優(yōu)化我們的目標，可以看到對于這些點來說有些離我的回歸方程比較近，有些比較遠，最終我們應該設定一個目標讓我們的方程能夠更好的去擬合當前的這些數(shù)據(jù)點。

【深入細節(jié)】既然說到誤差了，咱們就來好好嘮一下，首先銀行的目標得讓誤差越小越好，這樣才能夠使得我們的結果是越準確的。那么這個誤差有什么規(guī)律可循嗎？誤差可以說是機器學習當中最長聽到的一個詞了，我們可以假想一下，你讓機器人來幫你進行工作，剛開始的時候它肯定啥都不會，我們得一點點的教它，等他慢慢熟悉我們的工作了（數(shù)據(jù)），也就意味著我們的回歸方程效果會更好了。

咱們先來說說這個誤差為啥會服從高斯分布呢，這個事就得從我們是怎么認為一個事發(fā)生的概率來說了，正常情況下你去銀行貸款差不多都是一個符合你的數(shù)字吧，極小的情況下能出現(xiàn)類似迪哥的情況（100塊都不給我），還是極小的情況下能像對待馬云似的給你幾個億吧，所以銀行給你貸款的誤差項理論上都是在較小范圍內浮動的，要么多了一點，要么少了一點。所以我們認為該誤差是可以服從高斯分布的（正太分布）。

那為啥會獨立呢？獨立的意思就是說迪哥來貸款了，恰好馬云也來了，但是我倆不認識啊（其實他認識我，我不認識他），所以我倆在貸款的時候不會因為馬云而對我產生什么影響，也不會因為我對馬云產生什么影響，這就是獨立！

同分布又是啥呢？我和馬云來的是一家銀行吧，這家銀行的系統(tǒng)只有一個，所以它在預測的時候是按照同樣的方式來的，這就是我們的數(shù)據(jù)是在同一個分布下去建模的。

既然誤差服從了高斯分布我們就把它進行展開，上式的意思就是我去貸款，在它這兩組參數(shù)的控制下得到的貸款金額恰好是等于真實情況下就該給我這么多錢的概率。（預測值和真實值對應的可能性大小）那么我們當然希望這個概率越大越好呀，越大代表越準確呀。

（怎么又來了一堆數(shù)學。。。沒人數(shù)學就不是機器學習啦）咱們繼續(xù)來看，咋又突然出來了個似然函數(shù)呀，咱們先來說一說它是個什么東西。比如說你今天去賭場了，然后你不知道能不能贏錢，你就在門口蹲著，出來一個人你就問一下，哥們贏錢了嗎（然后挨了一頓揍），連續(xù)出來5個人都告訴你贏錢了，那么你就會認為我去賭錢也肯定會贏錢。這個的意思就是要利用樣本數(shù)據(jù)去估計你的參數(shù)應該是什么，使得估計出來的參數(shù)盡可能的滿足（擬合）你的樣本。

對數(shù)似然它的意思和目標很簡單，就是為了簡單求解，所以把比較復雜的乘法運算轉換成了比較簡單的加法運算。

【得出目標】一頓化簡，其實就是把原式給展開了，然后我們的目標是要求最大值吧（什么樣的參數(shù)能夠使得跟我數(shù)據(jù)組合完之后是真實值的概率越大越好），對于化簡后的結果左邊是一個常數(shù)不用去管，右邊是一個恒正的（因為有平方項）但是前面還有一個負號呀，讓這樣的數(shù)什么時候能取最大值呀？只有負號后面的取最小值才可以呀！

到這里我們終于推導出來了，銀行只需要做一件事就可以了，那就是最小化這個函數(shù)（目標函數(shù)），其實說白了就是要讓我們的預測值和真實值之間的差異越小越好，這就是最小二乘法！

接下來就是如何求解呢？通常我們去求偏導就可以了，因為極值點通常都是在偏導處取得，對我們的目標函數(shù)求偏導，并且讓其等于0，這樣我們就能找到最終參數(shù)的解應該是什么了！到這里小伙伴們可能感覺到竟然真能求出這個解，那這個解不就是我們想要的參數(shù)嘛，得到了它銀行就有救啦！

【總結】

至此我們通過了一系列的推導得出了線性回歸的最終解法，路途雖然有點曲折但是其中涉及到的思想還是非常有意思的，這節(jié)課希望大家對線性回歸有了一個直觀的認識，了解機器學習工作的基本原理與實際處理方法。但是這個解可以說是數(shù)學上的一個巧合，并不是所有問題都可以直接求解的，下回咱們再談談如何間接的求最優(yōu)解~

三、人工智能十大算法

人工智能十大算法如下

線性回歸算法（線性回歸算法原理）

線性回歸（Linear Regression）可能是最流行的機器學習算法。線性回歸就是要找一條直線，并且讓這條直線盡可能地擬合散點圖中的數(shù)據(jù)點。它試圖通過將直線方程與該數(shù)據(jù)擬合來表示自變量（x 值）和數(shù)值結果（y 值）。然后就可以用這條線來預測未來的值！

邏輯回歸（Logistic regression）與線性回歸類似，但它是用于輸出為二進制的情況（即，當結果只能有兩個可能的值）。對最終輸出的預測是一個非線性的 S 型函數(shù)，稱為 logistic function, g()。

決策樹（Decision Trees）可用于回歸和分類任務。

樸素貝葉斯（Naive Bayes）是基于貝葉斯定理。它測量每個類的概率，每個類的條件概率給出 x 的值。這個算法用于分類問題，得到一個二進制“是 / 非”的結果?？纯聪旅娴姆匠淌?。

支持向量機（Support Vector Machine，SVM）是一種用于分類問題的監(jiān)督算法。支持向量機試圖在數(shù)據(jù)點之間繪制兩條線，它們之間的邊距最大。為此，我們將數(shù)據(jù)項繪制為 n 維空間中的點，其中，n 是輸入特征的數(shù)量。在此基礎上，支持向量機找到一個最優(yōu)邊界，稱為超平面（Hyperplane），它通過類標簽將可能的輸出進行最佳分離。

K- 最近鄰算法（K-Nearest Neighbors，KNN）非常簡單。KNN 通過在整個訓練集中搜索 K 個最相似的實例，即 K 個鄰居，并為所有這些 K 個實例分配一個公共輸出變量，來對對象進行分類。

K- 均值（K-means）是通過對數(shù)據(jù)集進行分類來聚類的。例如，這個算法可用于根據(jù)購買歷史將用戶分組。它在數(shù)據(jù)集中找到 K 個聚類。K- 均值用于無監(jiān)督學習，因此，我們只需使用訓練數(shù)據(jù) X，以及我們想要識別的聚類數(shù)量 K。

四、機器學習有哪些算法

樸素貝葉斯分類器算法是最受歡迎的學習方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機器學習模型，特別是用于疾病預測和文檔分類。它是基于貝葉斯概率定理的單詞的內容的主觀分析的簡單分類。

什么時候使用機器學習算法 - 樸素貝葉斯分類器？

（1）如果您有一個中等或大的訓練數(shù)據(jù)集。

（2）如果實例具有幾個屬性。

（3）給定分類參數(shù)，描述實例的屬性應該是條件獨立的。

A．樸素貝葉斯分類器的應用

線性回歸算法（線性回歸算法原理）

（1）情緒分析 - 用于Facebook分析表示積極或消極情緒的狀態(tài)更新。

（2）文檔分類 - Google使用文檔分類來索引文檔并查找相關性分數(shù)，即PageRank。 PageRank機制考慮在使用文檔分類技術解析和分類的數(shù)據(jù)庫中標記為重要的頁面。

（3）樸素貝葉斯算法也用于分類關于技術，娛樂，體育，政治等的新聞文章。

（4）電子郵件垃圾郵件過濾 - Google Mail使用NaïveBayes算法將您的電子郵件歸類為垃圾郵件或非垃圾郵件。

B．樸素貝葉斯分類器機器學習算法的優(yōu)點

（1）當輸入變量是分類時，樸素貝葉斯分類器算法執(zhí)行得很好。

（2）當樸素貝葉斯條件獨立假設成立時，樸素貝葉斯分類器收斂更快，需要相對較少的訓練數(shù)據(jù)，而不像其他判別模型，如邏輯回歸。

（3）使用樸素貝葉斯分類器算法，更容易預測測試數(shù)據(jù)集的類。多等級預測的好賭注。

（4）雖然它需要條件獨立假設，但是樸素貝葉斯分類器在各種應用領域都表現(xiàn)出良好的性能。

Python中的數(shù)據(jù)科學庫實現(xiàn)NaïveBayes - Sci-Kit學習

數(shù)據(jù)科學圖書館在R實施樸素貝葉斯 - e1071

3.2 K均值聚類算法

K-means是用于聚類分析的普遍使用的無監(jiān)督機器學習算法。 K-Means是一種非確定性和迭代的方法。該算法通過預定數(shù)量的簇k對給定數(shù)據(jù)集進行操作。 K Means算法的輸出是具有在簇之間分割的輸入數(shù)據(jù)的k個簇。

例如，讓我們考慮維基百科搜索結果的K均值聚類。維基百科上的搜索詞“Jaguar”將返回包含Jaguar這個詞的所有頁面，它可以將Jaguar稱為Car，Jaguar稱為Mac OS版本，Jaguar作為動物。 K均值聚類算法可以應用于對描述類似概念的網頁進行分組。因此，算法將把所有談論捷豹的網頁作為一個動物分組到一個集群，將捷豹作為一個汽車分組到另一個集群，等等。

A．使用K-means聚類機學習算法的優(yōu)點

（1）在球狀簇的情況下，K-Means產生比層級聚類更緊密的簇。

（2）給定一個較小的K值，K-Means聚類計算比大量變量的層次聚類更快。

B．K-Means聚類的應用

K Means Clustering算法被大多數(shù)搜索引擎（如Yahoo，Google）用于通過相似性對網頁進行聚類，并識別搜索結果的“相關率”。這有助于搜索引擎減少用戶的計算時間。

Python中的數(shù)據(jù)科學庫實現(xiàn)K均值聚類 - SciPy，Sci-Kit學習，Python包裝

數(shù)據(jù)科學庫中的R實現(xiàn)K均值聚類 - 統(tǒng)計

3.3 支持向量機學習算法

支持向量機是一種分類或回歸問題的監(jiān)督機器學習算法，其中數(shù)據(jù)集教導關于類的SVM，以便SVM可以對任何新數(shù)據(jù)進行分類。它通過找到將訓練數(shù)據(jù)集分成類的線（超平面）將數(shù)據(jù)分類到不同的類中來工作。由于存在許多這樣的線性超平面，SVM算法嘗試最大化所涉及的各種類之間的距離，并且這被稱為邊際最大化。如果識別出最大化類之間的距離的線，則增加對未看見數(shù)據(jù)良好推廣的概率。

A．SVM分為兩類：

線性SVM - 在線性SVM中，訓練數(shù)據(jù)，即分類器由超平面分離。

非線性SVM在非線性SVM中，不可能使用超平面來分離訓練數(shù)據(jù)。例如，用于面部檢測的訓練數(shù)據(jù)由作為面部的一組圖像和不是面部的另一組圖像（換句話說，除了面部之外的所有其他圖像）組成。在這種條件下，訓練數(shù)據(jù)太復雜，不可能找到每個特征向量的表示。將面的集合與非面的集線性分離是復雜的任務。

B．使用SVM的優(yōu)點

（1）SVM對訓練數(shù)據(jù)提供最佳分類性能（精度）。

（2）SVM為未來數(shù)據(jù)的正確分類提供了更高的效率。

（3）SVM的最好的事情是它不對數(shù)據(jù)做任何強有力的假設。

（4）它不會過度擬合數(shù)據(jù)。

C．支持向量機的應用

（1）SVM通常用于各種金融機構的股票市場預測。例如，它可以用來比較股票相對于同一行業(yè)中其他股票的表現(xiàn)的相對表現(xiàn)。股票的相對比較有助于管理基于由SVM學習算法做出的分類的投資決策。

（2）Python中的數(shù)據(jù)科學庫實現(xiàn)支持向量機-SciKit學習，PyML，SVMStruct Python，LIBSVM

（3）R中的數(shù)據(jù)科學庫實現(xiàn)支持向量機 - klar，e1071

3.4 Apriori機器學習算法

Apriori算法是無監(jiān)督機器學習算法，其從給定數(shù)據(jù)集生成關聯(lián)規(guī)則。關聯(lián)規(guī)則意味著如果項目A出現(xiàn)，則項目B也以一定概率出現(xiàn)。生成的大多數(shù)關聯(lián)規(guī)則采用IF_THEN格式。例如，如果人們買了一個iPad，他們還買了一個iPad保護套。為了得到這樣的結論的算法，它首先觀察購買iPad的人購買iPad的人數(shù)。這樣一來，比例就像100個購買iPad的人一樣，85個人還購買了一個iPad案例。

A．Apriori機器學習算法的基本原理：

如果項集合頻繁出現(xiàn)，則項集合的所有子集也頻繁出現(xiàn)。

如果項集合不經常出現(xiàn)，則項集合的所有超集都不經常出現(xiàn)。

B．先驗算法的優(yōu)點

（1）它易于實現(xiàn)并且可以容易地并行化。

（2）Apriori實現(xiàn)使用大項目集屬性。

C.Apriori算法應用

線性回歸算法（線性回歸算法原理）

檢測不良藥物反應

Apriori算法用于關于醫(yī)療數(shù)據(jù)的關聯(lián)分析，例如患者服用的藥物，每個患者的特征，不良的不良反應患者體驗，初始診斷等。該分析產生關聯(lián)規(guī)則，其幫助識別患者特征和藥物的組合導致藥物的不良副作用。

市場籃子分析

許多電子商務巨頭如亞馬遜使用Apriori來繪制數(shù)據(jù)洞察，哪些產品可能是一起購買，哪些是最響應促銷。例如，零售商可能使用Apriori預測購買糖和面粉的人很可能購買雞蛋來烘烤蛋糕。

自動完成應用程序

Google自動完成是Apriori的另一個流行的應用程序，其中 - 當用戶鍵入單詞時，搜索引擎尋找人們通常在特定單詞之后鍵入的其他相關聯(lián)的單詞。

線性回歸算法（線性回歸算法原理）

Python中的數(shù)據(jù)科學庫實現(xiàn)Apriori機器學習算法 - 在PyPi中有一個python實現(xiàn)Apriori

數(shù)據(jù)科學庫在R中實現(xiàn)Apriori機器學習算法 – arules

3.5 線性回歸機器學習算法

線性回歸算法顯示了2個變量之間的關系，以及一個變量中的變化如何影響另一個變量。該算法顯示了在改變自變量時對因變量的影響。自變量被稱為解釋變量，因為它們解釋了因變量對因變量的影響。依賴變量通常被稱為感興趣的因子或預測因子。

A．線性回歸機器學習算法的優(yōu)點

（1）它是最可解釋的機器學習算法之一，使得它很容易解釋給別人。

（2）它易于使用，因為它需要最小的調諧。

（3）它是最廣泛使用的機器學習技術運行快。

B．線性回歸算法應用

線性回歸算法（線性回歸算法原理）

估計銷售額

線性回歸在業(yè)務中有很大的用途，基于趨勢的銷售預測。如果公司每月的銷售額穩(wěn)步增長 - 對月度銷售數(shù)據(jù)的線性回歸分析有助于公司預測未來幾個月的銷售額。

風險評估

線性回歸有助于評估涉及保險或金融領域的風險。健康保險公司可以對每個客戶的索賠數(shù)量與年齡進行線性回歸分析。這種分析有助于保險公司發(fā)現(xiàn)，老年顧客傾向于提出更多的保險索賠。這樣的分析結果在重要的商業(yè)決策中起著至關重要的作用，并且是為了解決風險。

Python中的數(shù)據(jù)科學庫實現(xiàn)線性回歸 - statsmodel和SciKit

R中的數(shù)據(jù)科學庫實現(xiàn)線性回歸 - 統(tǒng)計

3.6 決策樹機器學習算法

線性回歸算法（線性回歸算法原理）

你正在制作一個周末計劃，去訪問最好的餐館在城里，因為你的父母訪問，但你是猶豫的決定在哪家餐廳選擇。每當你想去一家餐館，你問你的朋友提利昂如果他認為你會喜歡一個特定的地方。為了回答你的問題，提利昂首先要找出，你喜歡的那種餐館。你給他一個你去過的餐館列表，告訴他你是否喜歡每個餐廳（給出一個標記的訓練數(shù)據(jù)集）。當你問提利昂你是否想要一個特定的餐廳R，他問你各種問題，如“是”R“屋頂餐廳？”，“餐廳”R“服務意大利菜嗎？”，現(xiàn)場音樂？“，”餐廳R是否營業(yè)至午夜？“等等。提利昂要求您提供幾個信息問題，以最大限度地提高信息收益，并根據(jù)您對問卷的答案給予YES或NO回答。這里Tyrion是你最喜歡的餐廳偏好的決策樹。

決策樹是一種圖形表示，其使用分支方法來基于某些條件來例示決策的所有可能的結果。在決策樹中，內部節(jié)點表示對屬性的測試，樹的每個分支表示測試的結果，葉節(jié)點表示特定類標簽，即在計算所有屬性之后作出的決定。分類規(guī)則通過從根到葉節(jié)點的路徑來表示。

A．決策樹的類型

（1）分類樹 - 這些被視為用于基于響應變量將數(shù)據(jù)集分成不同類的默認種類的決策樹。這些通常在響應變量本質上是分類時使用。

（2）回歸樹 - 當響應或目標變量是連續(xù)或數(shù)字時，使用回歸樹。與分類相比，這些通常用于預測類型的問題。

根據(jù)目標變量的類型 - 連續(xù)變量決策樹和二進制變量決策樹，決策樹也可以分為兩種類型。它是有助于決定對于特定問題需要什么樣的決策樹的目標變量。

B．為什么選擇決策樹算法？

線性回歸算法（線性回歸算法原理）

（1）這些機器學習算法有助于在不確定性下作出決策，并幫助您改善溝通，因為他們提供了決策情況的可視化表示。

（2）決策樹機器學習算法幫助數(shù)據(jù)科學家捕獲這樣的想法：如果采取了不同的決策，那么情境或模型的操作性質將如何劇烈變化。

（3）決策樹算法通過允許數(shù)據(jù)科學家遍歷前向和后向計算路徑來幫助做出最佳決策。

C．何時使用決策樹機器學習算法

（1）決策樹對錯誤是魯棒的，并且如果訓練數(shù)據(jù)包含錯誤，則決策樹算法將最適合于解決這樣的問題。

（2）決策樹最適合于實例由屬性值對表示的問題。

（3）如果訓練數(shù)據(jù)具有缺失值，則可以使用決策樹，因為它們可以通過查看其他列中的數(shù)據(jù)來很好地處理丟失的值。

（4）當目標函數(shù)具有離散輸出值時，決策樹是最適合的。

D.決策樹的優(yōu)點

（1）決策樹是非常本能的，可以向任何人輕松解釋。來自非技術背景的人，也可以解釋從決策樹繪制的假設，因為他們是不言自明的。

（2）當使用決策樹機器學習算法時，數(shù)據(jù)類型不是約束，因為它們可以處理分類和數(shù)值變量。

（3）決策樹機器學習算法不需要對數(shù)據(jù)中的線性進行任何假設，因此可以在參數(shù)非線性相關的情況下使用。這些機器學習算法不對分類器結構和空間分布做出任何假設。

（4）這些算法在數(shù)據(jù)探索中是有用的。決策樹隱式執(zhí)行特征選擇，這在預測分析中非常重要。當決策樹適合于訓練數(shù)據(jù)集時，在其上分割決策樹的頂部的節(jié)點被認為是給定數(shù)據(jù)集內的重要變量，并且默認情況下完成特征選擇。

（5）決策樹有助于節(jié)省數(shù)據(jù)準備時間，因為它們對缺失值和異常值不敏感。缺少值不會阻止您拆分構建決策樹的數(shù)據(jù)。離群值也不會影響決策樹，因為基于分裂范圍內的一些樣本而不是準確的絕對值發(fā)生數(shù)據(jù)分裂。

E.決策樹的缺點

（1）樹中決策的數(shù)量越多，任何預期結果的準確性越小。

（2）決策樹機器學習算法的主要缺點是結果可能基于預期。當實時做出決策時，收益和產生的結果可能與預期或計劃不同。有機會，這可能導致不現(xiàn)實的決策樹導致錯誤的決策。任何不合理的期望可能導致決策樹分析中的重大錯誤和缺陷，因為并不總是可能計劃從決策可能產生的所有可能性。

（3）決策樹不適合連續(xù)變量，并導致不穩(wěn)定性和分類高原。

（4）與其他決策模型相比，決策樹很容易使用，但是創(chuàng)建包含幾個分支的大決策樹是一個復雜和耗時的任務。

（5）決策樹機器學習算法一次只考慮一個屬性，并且可能不是最適合于決策空間中的實際數(shù)據(jù)。

（6）具有多個分支的大尺寸決策樹是不可理解的，并且造成若干呈現(xiàn)困難。

F.決策樹機器學習算法的應用

（1）決策樹是流行的機器學習算法之一，它在財務中對期權定價有很大的用處。

（2）遙感是基于決策樹的模式識別的應用領域。

（3）銀行使用決策樹算法按貸款申請人違約付款的概率對其進行分類。

（4）Gerber產品公司，一個流行的嬰兒產品公司，使用決策樹機器學習算法來決定他們是否應繼續(xù)使用塑料PVC（聚氯乙烯）在他們的產品。

（5）Rush大學醫(yī)學中心開發(fā)了一個名為Guardian的工具，它使用決策樹機器學習算法來識別有風險的患者和疾病趨勢。

Python語言中的數(shù)據(jù)科學庫實現(xiàn)決策樹機器學習算法是 - SciPy和Sci-Kit學習。

R語言中的數(shù)據(jù)科學庫實現(xiàn)決策樹機器學習算法是插入符號。

3.7 隨機森林機器學習算法

讓我們繼續(xù)我們在決策樹中使用的同樣的例子，來解釋隨機森林機器學習算法如何工作。提利昂是您的餐廳偏好的決策樹。然而，提利昂作為一個人并不總是準確地推廣你的餐廳偏好。要獲得更準確的餐廳推薦，你問一對夫婦的朋友，并決定訪問餐廳R，如果大多數(shù)人說你會喜歡它。而不是只是問Tyrion，你想問問Jon Snow，Sandor，Bronn和Bran誰投票決定你是否喜歡餐廳R或不。這意味著您已經構建了決策樹的合奏分類器 - 也稱為森林。

你不想讓所有的朋友給你相同的答案 - 所以你提供每個朋友略有不同的數(shù)據(jù)。你也不確定你的餐廳偏好，是在一個困境。你告訴提利昂你喜歡開頂屋頂餐廳，但也許，只是因為它是在夏天，當你訪問的餐廳，你可能已經喜歡它。在寒冷的冬天，你可能不是餐廳的粉絲。因此，所有的朋友不應該利用你喜歡打開的屋頂餐廳的數(shù)據(jù)點，以提出他們的建議您的餐廳偏好。

通過為您的朋友提供略微不同的餐廳偏好數(shù)據(jù)，您可以讓您的朋友在不同時間向您詢問不同的問題。在這種情況下，只是稍微改變你的餐廳偏好，你是注入隨機性在模型級別（不同于決策樹情況下的數(shù)據(jù)級別的隨機性）。您的朋友群現(xiàn)在形成了您的餐廳偏好的隨機森林。

隨機森林是一種機器學習算法，它使用裝袋方法來創(chuàng)建一堆隨機數(shù)據(jù)子集的決策樹。模型在數(shù)據(jù)集的隨機樣本上進行多次訓練，以從隨機森林算法中獲得良好的預測性能。在該整體學習方法中，將隨機森林中所有決策樹的輸出結合起來進行最終預測。隨機森林算法的最終預測通過輪詢每個決策樹的結果或者僅僅通過使用在決策樹中出現(xiàn)最多次的預測來導出。

例如，在上面的例子 - 如果5個朋友決定你會喜歡餐廳R，但只有2個朋友決定你不會喜歡的餐廳，然后最后的預測是，你會喜歡餐廳R多數(shù)總是勝利。

A.為什么使用隨機森林機器學習算法？

（1）有很多好的開源，在Python和R中可用的算法的自由實現(xiàn)。

（2）它在缺少數(shù)據(jù)時保持準確性，并且還能抵抗異常值。

（3）簡單的使用作為基本的隨機森林算法可以實現(xiàn)只用幾行代碼。

（4）隨機森林機器學習算法幫助數(shù)據(jù)科學家節(jié)省數(shù)據(jù)準備時間，因為它們不需要任何輸入準備，并且能夠處理數(shù)字，二進制和分類特征，而無需縮放，變換或修改。

（5）隱式特征選擇，因為它給出了什么變量在分類中是重要的估計。

B.使用隨機森林機器學習算法的優(yōu)點

（1）與決策樹機器學習算法不同，過擬合對隨機森林不是一個問題。沒有必要修剪隨機森林。

（2）這些算法很快，但不是在所有情況下。隨機森林算法當在具有100個變量的數(shù)據(jù)集的800MHz機器上運行時，并且50,000個案例在11分鐘內產生100個決策樹。

（3）隨機森林是用于各種分類和回歸任務的最有效和通用的機器學習算法之一，因為它們對噪聲更加魯棒。

（4）很難建立一個壞的隨機森林。在隨機森林機器學習算法的實現(xiàn)中，容易確定使用哪些參數(shù)，因為它們對用于運行算法的參數(shù)不敏感。一個人可以輕松地建立一個體面的模型沒有太多的調整