正文

實(shí)用最優(yōu)化方法第三版

發(fā)布時(shí)間：2023-04-14 13:04:06 稿源：創(chuàng)意嶺閱讀： 99

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于實(shí)用最優(yōu)化方法第三版的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、最優(yōu)化計(jì)算方法的目錄
2、約束最優(yōu)化方法 (一) 最優(yōu)性條件
3、最優(yōu)化計(jì)算方法
4、XGBoost與GBDT(一)-幾種最優(yōu)化方法對(duì)比

實(shí)用最優(yōu)化方法第三版

一、最優(yōu)化計(jì)算方法的目錄

第一篇　線性規(guī)劃

第1章　線性規(guī)劃的數(shù)學(xué)模型和基本性質(zhì)

1.1　線性規(guī)劃問題及其數(shù)學(xué)模型

1.1.1 問題的提出

1.1.2　線性規(guī)劃問題的數(shù)學(xué)模型

1.2　線性規(guī)劃問題的圖解法

1.2.1 圖解法的步驟

1.2.2　線性規(guī)劃問題求解的幾種可能結(jié)果

1.3　線性規(guī)劃的基本性質(zhì)

1.3.1　線性規(guī)劃的基本概念

1.3.2　凸集與凸集的頂點(diǎn)

1.3.3　線性規(guī)劃的基本定理

習(xí)題

第2章　單純形法

2.1　單純形法的原理

2.1.1　確定初始基本可行解

2.1.2　最優(yōu)性檢驗(yàn)和解的判別

2.1.3　從一個(gè)基本可行解轉(zhuǎn)換到相鄰且改善了的基本可行解

2.2　單純形法的計(jì)算步驟

2.3　人工變量的處理方法

2.3.1 大M法

2.3.2　兩階段法

2.4　單純形法的有限終止性

2.5　改進(jìn)單純形法

2.5.1 單純形法的矩陣描述

2.5.2　改進(jìn)單純形法

習(xí)題

第3章　線性規(guī)劃的對(duì)偶理論

3.1　線性規(guī)劃的對(duì)偶問題

3.1.1 對(duì)偶問題的提出

3.1.2　原問題與對(duì)偶問題之間的對(duì)偶關(guān)系

3.2　對(duì)偶性定理

3.3　對(duì)偶單純形法

3.3.1 對(duì)偶單純形法的基本思路

3.3.2　對(duì)偶單純形法的計(jì)算步驟

3.3.3　初始對(duì)偶基本可行解的求法

習(xí)題

第4章　靈敏度分析和參數(shù)線性規(guī)劃

4.1　靈敏度分析

4.1.1　參數(shù)cj的靈敏度分析

4.1.2　參數(shù)6i的靈敏度分析

4.1.3 約束條件的系數(shù)列向量Ak的靈敏度分析

4.1.4　增加一個(gè)新變量Xn+1的分析

4.1.5　增加一個(gè)新約束條件的分析

4.2　參數(shù)線性規(guī)劃

習(xí)題

第5章　線性規(guī)劃應(yīng)用實(shí)例

5.1　套裁下料問題

5.2　配料問題

5.3　生產(chǎn)工藝優(yōu)化問題

5.4　多周期動(dòng)態(tài)生產(chǎn)計(jì)劃問題

5.5　有配套約束的資源優(yōu)化問題

5.6　投資問題

5.6.1　投資項(xiàng)目組合選擇

5.6.2　連續(xù)投資問題

5.7　運(yùn)輸問題及其擴(kuò)展

5.7.1　產(chǎn)銷平衡的運(yùn)輸問題

……

第二篇　非線性規(guī)劃

第6章　非線性規(guī)劃基本概念與基本原理

第7章　一維搜索

第8章　無約束問題最優(yōu)化方法

第9章　約束問題最優(yōu)化方法

第三篇　現(xiàn)代最優(yōu)化算法

第10章　最優(yōu)化問題概論

第11章　模擬退火算法

第12章　遺傳算法

第13章　人工神經(jīng)網(wǎng)絡(luò)

參考文獻(xiàn)

實(shí)用最優(yōu)化方法第三版

二、約束最優(yōu)化方法 (一) 最優(yōu)性條件

之前討論的是無約束最優(yōu)化方法，這一節(jié)主要介紹的是帶有約束的非線性規(guī)劃問題，所謂的非線性規(guī)劃，就是約束項(xiàng)含有平方這種。解這類問題有兩種方法，一個(gè)是 容許方向法 、它是一種直接處理約束的方法；另一個(gè)是 罰函數(shù)法 ，它是將約束問題轉(zhuǎn)變成一系列無約束問題，用無約束的極小點(diǎn)去逐漸逼近約束問題的極小點(diǎn)。但是在介紹這兩種方法之前，要先介紹一些概念。

本節(jié)主要討論一般約束問題的最優(yōu)性條件。我們將先從僅含等式約束或不等式約束的問題入手，然后自然過渡到一般約束問題。所以這一節(jié)主要介紹各種約束下的最優(yōu)性條件，也就是各種約束下，什么樣的條件能夠推出這個(gè)點(diǎn)是最優(yōu)點(diǎn)、另外一種，已知各種約束下的最優(yōu)點(diǎn)，能夠推出什么條件。整體目錄結(jié)構(gòu)如下：

考慮僅含等式約束的 問題1 ：

這個(gè)問題的最優(yōu)性條件與求解方法在微積分中已從理論上得到了解決，這就是Lagrange定理和Lagrange乘子法。

定理1 ：假設(shè)

這個(gè)定理的意義還在于，它把對(duì)等式約束問題的求解轉(zhuǎn)化為對(duì)無約束問題的求解。

上式是最優(yōu)性一階必要條件。

定理2 ：在約束問題1中，假設(shè)：

的任意非零向量，都有：

這個(gè)定理的幾何意義是，在Lagrange函數(shù)的駐點(diǎn) 處，如果Lagrange函數(shù)關(guān)于的Hesse矩陣在個(gè)約束(超)曲面的切平面的交集上正定(注意，并不需要在原來的空間中正定)，那么就是嚴(yán)格局部極小點(diǎn)。

這里就是直接給出兩個(gè)定理，沒辦法，理解記憶吧。第一個(gè)定理相對(duì)來說比較重要一點(diǎn)。

下面將給出約束 問題2 ：

的最優(yōu)性條件。

定義1 ：對(duì)于約束問題，設(shè) ，若使得某個(gè)不等式約束有，則該不等式約束稱為是關(guān)于容許點(diǎn) 的 起作用約束 ；否者，若，則該不等式約束稱為是關(guān)于容許點(diǎn)的 不起作用約束 。

定義2 ：設(shè) 是中的非空集，且。對(duì)于，若當(dāng) 時(shí)，對(duì)于，必有，則集合稱為 以為頂點(diǎn)的錐 。若錐是凸集，則稱為凸錐。

定義3 ：設(shè) 是中的非空集，且。對(duì)于非零向量，若存在，當(dāng) 時(shí)，必有，則稱為點(diǎn) 的容許方向向量，其方向稱為點(diǎn) 的 容許方向 。由點(diǎn) 的全部容許方向向量構(gòu)成的集合稱為點(diǎn) 的 容許方向集 ，或者說 容許方向錐 。

約束曲面把整個(gè)空間分成兩部分，梯度總是指向包含容許集的那一側(cè)。

把由點(diǎn) 的所有下降方向向量構(gòu)成的集合稱為點(diǎn) 的 下降方向錐 。

定理：設(shè) 在點(diǎn) 可微，則點(diǎn) 處的下降方向向量必滿足：

記，則是點(diǎn) 處的下降方向集。顯然是中的半空間。

接下來就是 幾何最優(yōu)性條件 的定義：(因?yàn)檫@個(gè)條件是僅借助點(diǎn)集的概念給出的，所以稱為 幾何最優(yōu)性條件 )：

定理： 在約束問題2中，若是局部最優(yōu)點(diǎn)，則點(diǎn) 處的 容許方向錐 和 下降方向錐 的交集是空集。

上面這個(gè)定理僅僅是必要的，而不是充分的。也就是說知道這個(gè)點(diǎn)是最優(yōu)點(diǎn)能夠推斷出容許方向錐和下降方向錐的交集是空集，但由容許方向錐和下降方向錐的交集是空集并不能推斷出其是最優(yōu)點(diǎn)。

這里要介紹：引理(Farkas)、引理(Gordan)、定理：Fritz John

引理(Farkas) ：設(shè) ，，，和是維向量，則滿足：

的向量也滿足

的充要條件是，存在 非負(fù)數(shù) ，，，，使得：

這個(gè)依舊不需要證明，相信它就完事了，因?yàn)橹庇^上感覺就是非常正確的?？梢钥凑n本圖4-6?；蛘呦旅孢@張圖理解( 理解為 )：

定理：Fritz John： 在問題2中，設(shè) 是局部最優(yōu)解，，，，，在點(diǎn) 處可微，那么，存在不全為零的實(shí)數(shù) ，，，使得：

上面這個(gè)式子我們來理解一下，因?yàn)檫@個(gè) 是最優(yōu)點(diǎn)，所以這個(gè)容許集和下降方向集是空集。所以不存在向量，使得：

稱為 互補(bǔ)松弛條件 。它表明：若，即，則必有；若，則必有，即。

這個(gè)定理給你了問題2的一個(gè) 最優(yōu)性必要條件 。上式稱為Fritz John條件，滿足Fritz-John條件的點(diǎn)稱為 Fritz-John點(diǎn) 。，，，也稱為L(zhǎng)agrange乘子。

Fritz-John條件僅是判別某一容許點(diǎn)是否為 最優(yōu)點(diǎn)的必要條件 ，而不是充分條件。

如果Fritz-John條件中時(shí)，F(xiàn)ritz-John條件失去實(shí)用價(jià)值。為了使得其大于0，就有了Kuhn-Tucker條件。

定理：Kuhn-Tucker：

在問題2中，假設(shè)

i）是局部最優(yōu)點(diǎn)；

ii) 在點(diǎn) 處可微；

iii) 點(diǎn) 處的全部起作用約束的梯度線性無關(guān)。那么存在實(shí)數(shù) 使得：

Kuhn-Tucker條件是Fritz John條件的特殊情況。

Kuhn-Tucker條件有明顯的幾何意義。在Kuhn-Tucker定理的公式中，刪去不起作用約束項(xiàng)（注意，它們的系數(shù)是，當(dāng) ，Kuhn-Tucker條件可簡(jiǎn)寫成：存在（）使得：

此式在幾何上表示：若是問題地最優(yōu)解，根據(jù)Farkas引理可知，在此點(diǎn)處地目標(biāo)函數(shù)地梯度必處在由起作用約束函數(shù)地梯度張成地凸錐之中。

之前是不等式約束，現(xiàn)在考慮一般約束問題地最優(yōu)性條件，既有等式約束還有不等式約束的情況。我們這節(jié)就介紹一般約束問題下的 Fritz-John定理 和 Kuhn-Tucker定理 ：

Fritz-John定理 ：

考慮問題：

在上述問題中設(shè) 是局部最優(yōu)點(diǎn) ，在點(diǎn) 處可微。那么，存在不全為零的實(shí)數(shù) ，使得：

這個(gè)定理可以看成是Lagrange定理的結(jié)論與Fritz-John定理的結(jié)論的合并。相當(dāng)于多了個(gè)等式約束。

Kuhn-Tucker定理 ：

考慮問題：

假設(shè)：

i) 是局部最優(yōu)解；

ii）在點(diǎn) 處可微；

iii）點(diǎn) 處的全部起作用約束的梯度線性無關(guān)。

那么存在實(shí)數(shù) 使得：

定理：

在以下 凸規(guī)劃 問題中：

假設(shè) 是可微凸函數(shù) ，是可微凹函數(shù)，是線性函數(shù)。若是上述問題的Kuhn-Tucker點(diǎn)，則就是上述問題的全局最優(yōu)點(diǎn)。(用Hesson矩陣即可證明是不是凸優(yōu)化問題)。

三、最優(yōu)化計(jì)算方法

最優(yōu)化的計(jì)算方法是線性規(guī)劃

線性規(guī)劃（Linear programming,簡(jiǎn)稱LP），是運(yùn)籌學(xué)中研究較早、發(fā)展較快、應(yīng)用廣泛、方法較成熟的一個(gè)重要分支，是輔助人們進(jìn)行科學(xué)管理的一種數(shù)學(xué)方法，是研究線性約束條件下線性目標(biāo)函數(shù)的極值問題的數(shù)學(xué)理論和方法。

線性規(guī)劃是運(yùn)籌學(xué)的一個(gè)重要分支，廣泛應(yīng)用于軍事作戰(zhàn)、經(jīng)濟(jì)分析、經(jīng)營(yíng)管理和工程技術(shù)等方面。為合理地利用有限的人力、物力、財(cái)力等資源作出的最優(yōu)決策，提供科學(xué)的依據(jù)。

實(shí)用最優(yōu)化方法第三版

步驟如下：

1）列出約束條件及目標(biāo)函數(shù)

（2）畫出約束條件所表示的可行域

（3）在可行域內(nèi)求目標(biāo)函數(shù)的最優(yōu)解及最優(yōu)值

實(shí)際問題中建立數(shù)學(xué)模型一般有以下三個(gè)步驟；

1.根據(jù)影響所要達(dá)到目的的因素找到?jīng)Q策變量；

2.由決策變量和所在達(dá)到目的之間的函數(shù)關(guān)系確定目標(biāo)函數(shù)；

3.由決策變量所受的限制條件確定決策變量所要滿足的約束條件。

實(shí)用最優(yōu)化方法第三版

四、XGBoost與GBDT(一)-幾種最優(yōu)化方法對(duì)比

發(fā)現(xiàn)了作者的一個(gè)ppt GBDT算法原理與系統(tǒng)設(shè)計(jì)簡(jiǎn)介 ,從頭復(fù)習(xí)了一波相關(guān)的內(nèi)容,寫兩篇記錄下來.

從根本上來說, GBDT 與XGBoost最大的區(qū)別在于二者用的優(yōu)化方法不一樣,所以從先從最優(yōu)化方法開始復(fù)習(xí).

最優(yōu)化問題通常分為兩個(gè)大類:

在機(jī)器學(xué)習(xí)中,典型的做法就是選擇一個(gè)合適的模型 ,對(duì)該模型的損失函數(shù) ,通過最優(yōu)化的方法最小化損失函數(shù),從而求解模型的參數(shù).

最常見的幾種優(yōu)化方法包括[2]:

可以看出,雖然牛頓法收斂速度較快,但是每次迭代過程,計(jì)算海塞矩陣的逆過程相當(dāng)繁瑣,特別是當(dāng)該矩陣維度較大時(shí).因此就有了逆牛頓法,他使用正定矩陣來近似求海塞矩陣的逆.

擬牛頓法和梯度下降法一樣只要求每一步迭代時(shí)知道目標(biāo)函數(shù)的梯度,另外，因?yàn)閿M牛頓法不需要二階導(dǎo)數(shù)的信息，所以有時(shí)比牛頓法更為有效。常用的擬牛頓法有DFP算法和BFGS算法.此處不再贅述.

下面補(bǔ)充擬牛頓法的思路(摘自[3]):

共軛梯度法是一種用于解決無約束凸二次規(guī)劃問題的方法.

啟發(fā)式方法指人在解決問題時(shí)所采取的一種根據(jù)經(jīng)驗(yàn)規(guī)則進(jìn)行發(fā)現(xiàn)的方法。其特點(diǎn)是在解決問題時(shí),利用過去的經(jīng)驗(yàn),選擇已經(jīng)行之有效的方法，而不是系統(tǒng)地、以確定的步驟去尋求答案。啟發(fā)式優(yōu)化方法種類繁多，包括經(jīng)典的模擬退火方法、遺傳算法、蟻群算法以及粒子群算法等等。

上面前三種算法,解決的問題都僅限于無約束的凸優(yōu)化, 而拉格朗日乘數(shù)法則解決含有約束條件的優(yōu)化問題,例如svm算法的解法推導(dǎo).約束優(yōu)化問題的一般形式是:

這個(gè)問題可以轉(zhuǎn)化成函數(shù) 的無條件極值問題.

對(duì)于約束條件為不等式的問題,有科學(xué)家拓展了拉格朗日乘數(shù)法.增加了kkt條件以求解.沒學(xué)過最優(yōu)化,這塊就沒法細(xì)談了.有機(jī)會(huì)一定要補(bǔ)上.

[1]Poll的筆記.常見的幾種最優(yōu)化方法[EB/OL]. https://www.cnblogs.com/maybe2030/p/4751804.html,2015-08-23 .

[2]超神冉.最優(yōu)化算法——常見優(yōu)化算法分類及總結(jié)[EB/OL]. https://blog.csdn.net/qq997843911/article/details/83445318,2018-10-27 .

[3]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].清華大學(xué)出版社:北京,2012:220.

[4]Ja1r0.共軛梯度法[EB/OL]. https://zhuanlan.zhihu.com/p/28623599,2018-05-28 .

以上就是關(guān)于實(shí)用最優(yōu)化方法第三版相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。