正文

常見的分類算法和回歸算法（常見的分類算法和回歸算法的區(qū)別）

發(fā)布時間：2023-04-13 20:04:56 稿源：創(chuàng)意嶺閱讀： 142

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于常見的分類算法和回歸算法的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準，寫出的就越詳細，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、人工智能算法簡介
2、機器學(xué)習(xí)的方法之回歸算法
3、三種經(jīng)典的數(shù)據(jù)挖掘算法
4、常用的分類和預(yù)測算法

常見的分類算法和回歸算法（常見的分類算法和回歸算法的區(qū)別）

一、人工智能算法簡介

人工智能的三大基石—算法、數(shù)據(jù)和計算能力，算法作為其中之一，是非常重要的，那么人工智能都會涉及哪些算法呢？不同算法適用于哪些場景呢？

一、按照模型訓(xùn)練方式不同可以分為監(jiān)督學(xué)習(xí)（Supervised Learning），無監(jiān)督學(xué)習(xí)（Unsupervised Learning）、半監(jiān)督學(xué)習(xí)（Semi-supervised Learning）和強化學(xué)習(xí)（Reinforcement Learning）四大類。

常見的監(jiān)督學(xué)習(xí)算法包含以下幾類：

（1）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、Hopfield網(wǎng)絡(luò)（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network）等。

（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）

貝葉斯信念網(wǎng)絡(luò)（Bayesian Belief Network，BBN）、貝葉斯網(wǎng)絡(luò)（Bayesian Network，BN）等。

（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。

（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher’s Linear Discriminant）

線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。

常見的無監(jiān)督學(xué)習(xí)類算法包括：

（1）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）類：生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN），前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network）、邏輯學(xué)習(xí)機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。

（2）關(guān)聯(lián)規(guī)則學(xué)習(xí)（Association Rule Learning）類：先驗算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。

（3）分層聚類算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。

（4）聚類分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移算法（Mean-shift）、OPTICS算法等。

（5）異常檢測（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）算法，局部異常因子算法（Local Outlier Factor，LOF）等。

常見的半監(jiān)督學(xué)習(xí)類算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基于圖形的方法（Graph-based Methods）、聯(lián)合訓(xùn)練（Co-training）等。

常見的強化學(xué)習(xí)類算法包含：Q學(xué)習(xí)（Q-learning）、狀態(tài)-行動-獎勵-狀態(tài)-行動（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度算法（Policy Gradients）、基于模型強化學(xué)習(xí)（Model Based RL）、時序差分學(xué)習(xí)（Temporal Different Learning）等。

常見的深度學(xué)習(xí)類算法包含：深度信念網(wǎng)絡(luò)（Deep Belief Machines）、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks）、深度遞歸神經(jīng)網(wǎng)絡(luò)（Deep Recurrent Neural Network）、分層時間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機（Deep Boltzmann Machine，DBM）、棧式自動編碼器（Stacked Autoencoder）、生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks）等。

二、按照解決任務(wù)的不同來分類，粗略可以分為二分類算法（Two-class Classification）、多分類算法（Multi-class Classification）、回歸算法（Regression）、聚類算法（Clustering）和異常檢測（Anomaly Detection）五種。

1.二分類（Two-class Classification）

（1）二分類支持向量機（Two-class SVM）：適用于數(shù)據(jù)特征較多、線性模型的場景。

（2）二分類平均感知器（Two-class Average Perceptron）：適用于訓(xùn)練時間短、線性模型的場景。

（3）二分類邏輯回歸（Two-class Logistic Regression）：適用于訓(xùn)練時間短、線性模型的場景。

（4）二分類貝葉斯點機（Two-class Bayes Point Machine）：適用于訓(xùn)練時間短、線性模型的場景。（5）二分類決策森林（Two-class Decision Forest）：適用于訓(xùn)練時間短、精準的場景。

（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用于訓(xùn)練時間短、精準度高、內(nèi)存占用量大的場景

（7）二分類決策叢林（Two-class Decision Jungle）：適用于訓(xùn)練時間短、精確度高、內(nèi)存占用量小的場景。

（8）二分類局部深度支持向量機（Two-class Locally Deep SVM）：適用于數(shù)據(jù)特征較多的場景。

（9）二分類神經(jīng)網(wǎng)絡(luò)（Two-class Neural Network）：適用于精準度高、訓(xùn)練時間較長的場景。

解決多分類問題通常適用三種解決方案：第一種，從數(shù)據(jù)集和適用方法入手，利用二分類器解決多分類問題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進成為多分類器今兒解決多分類問題。

常用的算法：

（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓(xùn)練時間短、線性模型的場景。

（2）多分類神經(jīng)網(wǎng)絡(luò)（Multiclass Neural Network）：適用于精準度高、訓(xùn)練時間較長的場景。

（3）多分類決策森林（Multiclass Decision Forest）：適用于精準度高，訓(xùn)練時間短的場景。

（4）多分類決策叢林（Multiclass Decision Jungle）：適用于精準度高，內(nèi)存占用較小的場景。

（5）“一對多”多分類（One-vs-all Multiclass）：取決于二分類器效果。

回歸

回歸問題通常被用來預(yù)測具體的數(shù)值而非分類。除了返回的結(jié)果不同，其他方法與分類問題類似。我們將定量輸出，或者連續(xù)變量預(yù)測稱為回歸；將定性輸出，或者離散變量預(yù)測稱為分類。長巾的算法有：

（1）排序回歸（Ordinal Regression）：適用于對數(shù)據(jù)進行分類排序的場景。

（2）泊松回歸（Poission Regression）：適用于預(yù)測事件次數(shù)的場景。

（3）快速森林分位數(shù)回歸（Fast Forest Quantile Regression）：適用于預(yù)測分布的場景。

（4）線性回歸（Linear Regression）：適用于訓(xùn)練時間短、線性模型的場景。

（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用于線性模型，訓(xùn)練數(shù)據(jù)量較少的場景。

（6）神經(jīng)網(wǎng)絡(luò)回歸（Neural Network Regression）：適用于精準度高、訓(xùn)練時間較長的場景。

（7）決策森林回歸（Decision Forest Regression）：適用于精準度高、訓(xùn)練時間短的場景。

（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用于精確度高、訓(xùn)練時間短、內(nèi)存占用較大的場景。

聚類

聚類的目標是發(fā)現(xiàn)數(shù)據(jù)的潛在規(guī)律和結(jié)構(gòu)。聚類通常被用做描述和衡量不同數(shù)據(jù)源間的相似性，并把數(shù)據(jù)源分類到不同的簇中。

（1）層次聚類（Hierarchical Clustering）：適用于訓(xùn)練時間短、大數(shù)據(jù)量的場景。

（2）K-means算法：適用于精準度高、訓(xùn)練時間短的場景。

（3）模糊聚類FCM算法（Fuzzy C-means，F(xiàn)CM）：適用于精確度高、訓(xùn)練時間短的場景。

（4）SOM神經(jīng)網(wǎng)絡(luò)（Self-organizing Feature Map，SOM）：適用于運行時間較長的場景。

異常檢測

異常檢測是指對數(shù)據(jù)中存在的不正?；蚍堑湫偷姆煮w進行檢測和標志，有時也稱為偏差檢測。

異常檢測看起來和監(jiān)督學(xué)習(xí)問題非常相似，都是分類問題。都是對樣本的標簽進行預(yù)測和判斷，但是實際上兩者的區(qū)別非常大，因為異常檢測中的正樣本（異常點）非常小。常用的算法有：

（1）一分類支持向量機（One-class SVM）：適用于數(shù)據(jù)特征較多的場景。

（2）基于PCA的異常檢測（PCA-based Anomaly Detection）：適用于訓(xùn)練時間短的場景。

常見的遷移學(xué)習(xí)類算法包含：歸納式遷移學(xué)習(xí)（Inductive Transfer Learning）、直推式遷移學(xué)習(xí)（Transductive Transfer Learning）、無監(jiān)督式遷移學(xué)習(xí)（Unsupervised Transfer Learning）、傳遞式遷移學(xué)習(xí)（Transitive Transfer Learning）等。

算法的適用場景：

需要考慮的因素有：

（1）數(shù)據(jù)量的大小、數(shù)據(jù)質(zhì)量和數(shù)據(jù)本身的特點

（2）機器學(xué)習(xí)要解決的具體業(yè)務(wù)場景中問題的本質(zhì)是什么？

（3）可以接受的計算時間是什么？

（4）算法精度要求有多高？

————————————————

原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769

二、機器學(xué)習(xí)的方法之回歸算法

我們都知道，機器學(xué)習(xí)是一個十分實用的技術(shù)，而這一實用的技術(shù)中涉及到了很多的算法。所以說，我們要了解機器學(xué)習(xí)的話就要對這些算法掌握通透。在這篇文章中我們就給大家詳細介紹一下機器學(xué)習(xí)中的回歸算法，希望這篇文章能夠幫助到大家。

一般來說，回歸算法是機器學(xué)習(xí)中第一個要學(xué)習(xí)的算法。具體的原因，第一就是回歸算法比較簡單，可以讓人直接從統(tǒng)計學(xué)過渡到機器學(xué)習(xí)中。第二就是回歸算法是后面若干強大算法的基石，如果不理解回歸算法，無法學(xué)習(xí)其他的算法。而回歸算法有兩個重要的子類：即線性回歸和邏輯回歸。

那么什么是線性回歸呢？其實線性回歸就是我們常見的直線函數(shù)。如何擬合出一條直線最佳匹配我所有的數(shù)據(jù)？這就需要最小二乘法來求解。那么最小二乘法的思想是什么呢？假設(shè)我們擬合出的直線代表數(shù)據(jù)的真實值，而觀測到的數(shù)據(jù)代表擁有誤差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。最小二乘法將最優(yōu)問題轉(zhuǎn)化為求函數(shù)極值問題。

那么什么是邏輯回歸呢？邏輯回歸是一種與線性回歸非常類似的算法，但是，從本質(zhì)上講，線型回歸處理的問題類型與邏輯回歸不一致。線性回歸處理的是數(shù)值問題，也就是最后預(yù)測出的結(jié)果是數(shù)字。而邏輯回歸屬于分類算法，也就是說，邏輯回歸預(yù)測結(jié)果是離散的分類。而邏輯回歸算法劃出的分類線基本都是線性的(也有劃出非線性分類線的邏輯回歸，不過那樣的模型在處理數(shù)據(jù)量較大的時候效率會很低)，這意味著當(dāng)兩類之間的界線不是線性時，邏輯回歸的表達能力就不足。下面的兩個算法是機器學(xué)習(xí)界最強大且重要的算法，都可以擬合出非線性的分類線。這就是有關(guān)邏輯回歸的相關(guān)事項。

在這篇文章中我們簡單給大家介紹了機器學(xué)習(xí)中的回歸算法的相關(guān)知識，通過這篇文章我們不難發(fā)現(xiàn)回歸算法是一個比較簡答的算法，回歸算法是線性回歸和邏輯回歸組成的算法，而線性回歸和邏輯回歸都有自己實現(xiàn)功能的用處。這一點是需要大家理解的并掌握的，最后祝愿大家能夠早日學(xué)會回歸算法。

三、三種經(jīng)典的數(shù)據(jù)挖掘算法

算法，可以說是很多技術(shù)的核心，而數(shù)據(jù)挖掘也是這樣的。數(shù)據(jù)挖掘中有很多的算法，正是這些算法的存在，我們的數(shù)據(jù)挖掘才能夠解決更多的問題。如果我們掌握了這些算法，我們就能夠順利地進行數(shù)據(jù)挖掘工作，在這篇文章我們就給大家簡單介紹一下數(shù)據(jù)挖掘的經(jīng)典算法，希望能夠給大家?guī)韼椭?/p>

1.KNN算法

KNN算法的全名稱叫做k-nearest neighbor classification，也就是K最近鄰，簡稱為KNN算法，這種分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似，即特征空間中最鄰近的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。KNN算法常用于數(shù)據(jù)挖掘中的分類，起到了至關(guān)重要的作用。

2.Naive Bayes算法

在眾多的分類模型中，應(yīng)用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBC）。樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有著堅實的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時，NBC模型所需估計的參數(shù)很少，對缺失數(shù)據(jù)不太敏感，算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為NBC模型假設(shè)屬性之間相互獨立，這個假設(shè)在實際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。在屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，NBC模型的分類效率比不上決策樹模型。而在屬性相關(guān)性較小時，NBC模型的性能最為良好。這種算法在數(shù)據(jù)挖掘工作使用率還是挺高的，一名優(yōu)秀的數(shù)據(jù)挖掘師一定懂得使用這一種算法。

3.CART算法

CART, 也就是Classification and Regression Trees。就是我們常見的分類與回歸樹，在分類樹下面有兩個關(guān)鍵的思想。第一個是關(guān)于遞歸地劃分自變量空間的想法；第二個想法是用驗證數(shù)據(jù)進行剪枝。這兩個思想也就決定了這種算法的地位。

在這篇文章中我們給大家介紹了關(guān)于KNN算法、Naive Bayes算法、CART算法的相關(guān)知識，其實這三種算法在數(shù)據(jù)挖掘中占據(jù)著很高的地位，所以說如果要從事數(shù)據(jù)挖掘行業(yè)一定不能忽略這些算法的學(xué)習(xí)。

四、常用的分類和預(yù)測算法

常用的分類方法有貝葉斯，邏輯回歸，隨機森林，預(yù)測算法有集成學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)

以上就是關(guān)于常見的分類算法和回歸算法相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。