實(shí)用最優(yōu)化方法第三版

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于實(shí)用最優(yōu)化方法第三版的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話(huà)答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線(xiàn)網(wǎng)頁(yè)版、PC客戶(hù)端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶(hù)遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話(huà)175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、最優(yōu)化計(jì)算方法的目錄

• 2、約束最優(yōu)化方法 (一) 最優(yōu)性條件

• 3、最優(yōu)化計(jì)算方法

• 4、XGBoost與GBDT(一)-幾種最優(yōu)化方法對(duì)比

一、最優(yōu)化計(jì)算方法的目錄

第一篇　線(xiàn)性規(guī)劃

第1章　線(xiàn)性規(guī)劃的數(shù)學(xué)模型和基本性質(zhì)

1.1　線(xiàn)性規(guī)劃問(wèn)題及其數(shù)學(xué)模型

1.1.1 問(wèn)題的提出

1.1.2　線(xiàn)性規(guī)劃問(wèn)題的數(shù)學(xué)模型

1.2　線(xiàn)性規(guī)劃問(wèn)題的圖解法

1.2.1 圖解法的步驟

1.2.2　線(xiàn)性規(guī)劃問(wèn)題求解的幾種可能結(jié)果

1.3　線(xiàn)性規(guī)劃的基本性質(zhì)

1.3.1　線(xiàn)性規(guī)劃的基本概念

1.3.2　凸集與凸集的頂點(diǎn)

1.3.3　線(xiàn)性規(guī)劃的基本定理

習(xí)題

第2章　單純形法

2.1　單純形法的原理

2.1.1　確定初始基本可行解

2.1.2　最優(yōu)性檢驗(yàn)和解的判別

2.1.3　從一個(gè)基本可行解轉(zhuǎn)換到相鄰且改善了的基本可行解

2.2　單純形法的計(jì)算步驟

2.3　人工變量的處理方法

2.3.1 大M法

2.3.2　兩階段法

2.4　單純形法的有限終止性

2.5　改進(jìn)單純形法

2.5.1 單純形法的矩陣描述

2.5.2　改進(jìn)單純形法

習(xí)題

第3章　線(xiàn)性規(guī)劃的對(duì)偶理論

3.1　線(xiàn)性規(guī)劃的對(duì)偶問(wèn)題

3.1.1 對(duì)偶問(wèn)題的提出

3.1.2　原問(wèn)題與對(duì)偶問(wèn)題之間的對(duì)偶關(guān)系

3.2　對(duì)偶性定理

3.3　對(duì)偶單純形法

3.3.1 對(duì)偶單純形法的基本思路

3.3.2　對(duì)偶單純形法的計(jì)算步驟

3.3.3　初始對(duì)偶基本可行解的求法

習(xí)題

第4章　靈敏度分析和參數(shù)線(xiàn)性規(guī)劃

4.1　靈敏度分析

4.1.1　參數(shù)cj的靈敏度分析

4.1.2　參數(shù)6i的靈敏度分析

4.1.3 約束條件的系數(shù)列向量Ak的靈敏度分析

4.1.4　增加一個(gè)新變量Xn+1的分析

4.1.5　增加一個(gè)新約束條件的分析

4.2　參數(shù)線(xiàn)性規(guī)劃

習(xí)題

第5章　線(xiàn)性規(guī)劃應(yīng)用實(shí)例

5.1　套裁下料問(wèn)題

5.2　配料問(wèn)題

5.3　生產(chǎn)工藝優(yōu)化問(wèn)題

5.4　多周期動(dòng)態(tài)生產(chǎn)計(jì)劃問(wèn)題

5.5　有配套約束的資源優(yōu)化問(wèn)題

5.6　投資問(wèn)題

5.6.1　投資項(xiàng)目組合選擇

5.6.2　連續(xù)投資問(wèn)題

5.7　運(yùn)輸問(wèn)題及其擴(kuò)展

5.7.1　產(chǎn)銷(xiāo)平衡的運(yùn)輸問(wèn)題

……

第二篇　非線(xiàn)性規(guī)劃

第6章　非線(xiàn)性規(guī)劃基本概念與基本原理

第7章　一維搜索

第8章　無(wú)約束問(wèn)題最優(yōu)化方法

第9章　約束問(wèn)題最優(yōu)化方法

第三篇　現(xiàn)代最優(yōu)化算法

第10章　最優(yōu)化問(wèn)題概論

第11章　模擬退火算法

第12章　遺傳算法

第13章　人工神經(jīng)網(wǎng)絡(luò)

參考文獻(xiàn)

二、約束最優(yōu)化方法 (一) 最優(yōu)性條件

  之前討論的是無(wú)約束最優(yōu)化方法，這一節(jié)主要介紹的是帶有約束的非線(xiàn)性規(guī)劃問(wèn)題，所謂的非線(xiàn)性規(guī)劃，就是約束項(xiàng)含有平方這種。解這類(lèi)問(wèn)題有兩種方法，一個(gè)是 容許方向法 、它是一種直接處理約束的方法；另一個(gè)是 罰函數(shù)法 ，它是將約束問(wèn)題轉(zhuǎn)變成一系列無(wú)約束問(wèn)題，用無(wú)約束的極小點(diǎn)去逐漸逼近約束問(wèn)題的極小點(diǎn)。但是在介紹這兩種方法之前，要先介紹一些概念。

  本節(jié)主要討論一般約束問(wèn)題的最優(yōu)性條件。我們將先從僅含等式約束或不等式約束的問(wèn)題入手，然后自然過(guò)渡到一般約束問(wèn)題。所以這一節(jié)主要介紹各種約束下的最優(yōu)性條件，也就是各種約束下，什么樣的條件能夠推出這個(gè)點(diǎn)是最優(yōu)點(diǎn)、另外一種，已知各種約束下的最優(yōu)點(diǎn)，能夠推出什么條件。整體目錄結(jié)構(gòu)如下：

  考慮僅含等式約束的 問(wèn)題1 ：

  這個(gè)問(wèn)題的最優(yōu)性條件與求解方法在微積分中已從理論上得到了解決，這就是Lagrange定理和Lagrange乘子法。

定理1 ：假設(shè)

  這個(gè)定理的意義還在于，它把對(duì)等式約束問(wèn)題的求解轉(zhuǎn)化為對(duì)無(wú)約束問(wèn)題的求解。

   上式是最優(yōu)性一階必要條件 。

定理2 ：在約束問(wèn)題1中，假設(shè)：

  的任意非零向量 ，都有：

  這個(gè)定理的幾何意義是，在Lagrange函數(shù)的駐點(diǎn) 處，如果Lagrange函數(shù)關(guān)于 的Hesse矩陣在 個(gè)約束(超)曲面的切平面的交集上正定(注意，并不需要在原來(lái)的空間中正定)，那么 就是嚴(yán)格局部極小點(diǎn)。

  這里就是直接給出兩個(gè)定理，沒(méi)辦法，理解記憶吧。第一個(gè)定理相對(duì)來(lái)說(shuō)比較重要一點(diǎn)。

  下面將給出約束 問(wèn)題2 ：

  的最優(yōu)性條件。

定義1 ：對(duì)于約束問(wèn)題，設(shè) ， 若 使得某個(gè)不等式約束有 ，則該不等式約束 稱(chēng)為是關(guān)于容許點(diǎn) 的 起作用約束 ；否者，若 ，則該不等式約束稱(chēng)為是關(guān)于容許點(diǎn)的 不起作用約束 。

定義2 ：設(shè) 是 中的非空集，且 。對(duì)于 ，若當(dāng) 時(shí)，對(duì)于 ，必有 ，則集合 稱(chēng)為 以 為頂點(diǎn)的錐 。若錐 是凸集，則稱(chēng)為 凸錐 。

定義3 ：設(shè) 是 中的非空集，且 。對(duì)于非零向量 ，若存在 ，當(dāng) 時(shí)，必有 ，則 稱(chēng)為點(diǎn) 的 容許方向向量 ，其方向稱(chēng)為點(diǎn) 的 容許方向 。由點(diǎn) 的全部容許方向向量構(gòu)成的集合稱(chēng)為點(diǎn) 的 容許方向集 ，或者說(shuō) 容許方向錐 。

  約束曲面 把整個(gè)空間分成兩部分，梯度 總是指向包含容許集的那一側(cè)。

  把由點(diǎn) 的所有下降方向向量構(gòu)成的集合稱(chēng)為點(diǎn) 的 下降方向錐 。

定理：設(shè) 在點(diǎn) 可微，則點(diǎn) 處的下降方向向量 必滿(mǎn)足：

  記 ，則 是點(diǎn) 處的下降方向集。顯然 是 中的半空間。

  接下來(lái)就是 幾何最優(yōu)性條件 的定義：(因?yàn)檫@個(gè)條件是僅借助點(diǎn)集的概念給出的，所以稱(chēng)為 幾何最優(yōu)性條件 )：

定理： 在約束問(wèn)題2中，若 是局部最優(yōu)點(diǎn)，則點(diǎn) 處的 容許方向錐 和 下降方向錐 的交集是空集。

  上面這個(gè)定理僅僅是必要的，而不是充分的。也就是說(shuō)知道這個(gè)點(diǎn)是最優(yōu)點(diǎn)能夠推斷出容許方向錐和下降方向錐的交集是空集，但由容許方向錐和下降方向錐的交集是空集并不能推斷出其是最優(yōu)點(diǎn)。

  這里要介紹：引理(Farkas)、引理(Gordan)、定理：Fritz John

引理(Farkas) ：設(shè) ， ， ， 和 是 維向量，則滿(mǎn)足：

  的向量 也滿(mǎn)足

  的充要條件是，存在 非負(fù)數(shù) ， ， ， ，使得：

  這個(gè)依舊不需要證明，相信它就完事了，因?yàn)橹庇^上感覺(jué)就是非常正確的?？梢钥凑n本圖4-6?；蛘呦旅孢@張圖理解( 理解為 )：

定理：Fritz John： 在問(wèn)題2中，設(shè) 是局部最優(yōu)解， ， ， ， ， 在點(diǎn) 處可微，那么，存在不全為零的實(shí)數(shù) ， ， ， 使得：

  上面這個(gè)式子我們來(lái)理解一下，因?yàn)檫@個(gè) 是最優(yōu)點(diǎn)，所以這個(gè)容許集和下降方向集是空集。所以不存在向量 ，使得：

   稱(chēng)為 互補(bǔ)松弛條件 。它表明：若 ，即 ，則必有 ；若 ，則必有 ，即 。

  這個(gè)定理給你了問(wèn)題2的一個(gè) 最優(yōu)性必要條件 。上式稱(chēng)為Fritz John條件，滿(mǎn)足Fritz-John條件的點(diǎn)稱(chēng)為 Fritz-John點(diǎn) 。 ， ， ， 也稱(chēng)為L(zhǎng)agrange乘子。

  Fritz-John條件僅是判別某一容許點(diǎn)是否為 最優(yōu)點(diǎn)的必要條件 ，而不是充分條件。

  如果Fritz-John條件中 時(shí)，F(xiàn)ritz-John條件失去實(shí)用價(jià)值。為了使得其大于0，就有了Kuhn-Tucker條件。

定理：Kuhn-Tucker：

在問(wèn)題2中，假設(shè)

i） 是局部最優(yōu)點(diǎn)；

ii) 在點(diǎn) 處可微；

iii) 點(diǎn) 處的全部起作用約束的梯度線(xiàn)性無(wú)關(guān)。那么存在實(shí)數(shù) 使得：

  Kuhn-Tucker條件是Fritz John條件的特殊情況。

  Kuhn-Tucker條件有明顯的幾何意義。在Kuhn-Tucker定理的公式中，刪去不起作用約束項(xiàng)（注意，它們的系數(shù)是 ，當(dāng) ，Kuhn-Tucker條件可簡(jiǎn)寫(xiě)成：存在 （ ）使得：

  此式在幾何上表示：若 是問(wèn)題地最優(yōu)解，根據(jù)Farkas引理可知，在此點(diǎn)處地目標(biāo)函數(shù)地梯度必處在由起作用約束函數(shù)地梯度張成地凸錐之中。

  之前是不等式約束，現(xiàn)在考慮一般約束問(wèn)題地最優(yōu)性條件，既有等式約束還有不等式約束的情況。我們這節(jié)就介紹一般約束問(wèn)題下的 Fritz-John定理 和 Kuhn-Tucker定理 ：

Fritz-John定理 ：

  考慮問(wèn)題：

  在上述問(wèn)題中設(shè) 是局部最優(yōu)點(diǎn) ， 在點(diǎn) 處可微。那么，存在不全為零的實(shí)數(shù) ，使得：

  這個(gè)定理可以看成是Lagrange定理的結(jié)論與Fritz-John定理的結(jié)論的合并。相當(dāng)于多了 個(gè)等式約束。

Kuhn-Tucker定理 ：

  考慮問(wèn)題：

  假設(shè)：

  i) 是局部最優(yōu)解；

  ii） 在點(diǎn) 處可微；

  iii）點(diǎn) 處的全部起作用約束的梯度線(xiàn)性無(wú)關(guān)。

那么存在實(shí)數(shù) 使得：

定理：

  在以下 凸規(guī)劃 問(wèn)題中：

  假設(shè) 是可微 凸函數(shù) ， 是可微凹函數(shù)， 是線(xiàn)性函數(shù)。若 是上述問(wèn)題的Kuhn-Tucker點(diǎn)，則 就是上述問(wèn)題的全局最優(yōu)點(diǎn)。(用Hesson矩陣即可證明是不是凸優(yōu)化問(wèn)題)。

三、最優(yōu)化計(jì)算方法

最優(yōu)化的計(jì)算方法是線(xiàn)性規(guī)劃

線(xiàn)性規(guī)劃（Linear programming,簡(jiǎn)稱(chēng)LP），是運(yùn)籌學(xué)中研究較早、發(fā)展較快、應(yīng)用廣泛、方法較成熟的一個(gè)重要分支，是輔助人們進(jìn)行科學(xué)管理的一種數(shù)學(xué)方法，是研究線(xiàn)性約束條件下線(xiàn)性目標(biāo)函數(shù)的極值問(wèn)題的數(shù)學(xué)理論和方法。

線(xiàn)性規(guī)劃是運(yùn)籌學(xué)的一個(gè)重要分支，廣泛應(yīng)用于軍事作戰(zhàn)、經(jīng)濟(jì)分析、經(jīng)營(yíng)管理和工程技術(shù)等方面。為合理地利用有限的人力、物力、財(cái)力等資源作出的最優(yōu)決策，提供科學(xué)的依據(jù)。

步驟如下：

1）列出約束條件及目標(biāo)函數(shù)

（2）畫(huà)出約束條件所表示的可行域

（3）在可行域內(nèi)求目標(biāo)函數(shù)的最優(yōu)解及最優(yōu)值

實(shí)際問(wèn)題中建立數(shù)學(xué)模型一般有以下三個(gè)步驟；

1.根據(jù)影響所要達(dá)到目的的因素找到?jīng)Q策變量；

2.由決策變量和所在達(dá)到目的之間的函數(shù)關(guān)系確定目標(biāo)函數(shù)；

3.由決策變量所受的限制條件確定決策變量所要滿(mǎn)足的約束條件。

線(xiàn)性規(guī)劃是運(yùn)籌學(xué)的一個(gè)重要分支，廣泛應(yīng)用于軍事作戰(zhàn)、經(jīng)濟(jì)分析、經(jīng)營(yíng)管理和工程技術(shù)等方面。為合理地利用有限的人力、物力、財(cái)力等資源作出的最優(yōu)決策，提供科學(xué)的依據(jù)。

四、XGBoost與GBDT(一)-幾種最優(yōu)化方法對(duì)比

發(fā)現(xiàn)了作者的一個(gè)ppt GBDT算法原理與系統(tǒng)設(shè)計(jì)簡(jiǎn)介 ,從頭復(fù)習(xí)了一波相關(guān)的內(nèi)容,寫(xiě)兩篇記錄下來(lái).

從根本上來(lái)說(shuō), GBDT 與XGBoost最大的區(qū)別在于二者用的優(yōu)化方法不一樣,所以從先從最優(yōu)化方法開(kāi)始復(fù)習(xí).

最優(yōu)化問(wèn)題通常分為兩個(gè)大類(lèi):

在機(jī)器學(xué)習(xí)中,典型的做法就是選擇一個(gè)合適的模型 ,對(duì)該模型的損失函數(shù) ,通過(guò)最優(yōu)化的方法最小化損失函數(shù),從而求解模型的參數(shù).

最常見(jiàn)的幾種優(yōu)化方法包括[2]:

可以看出,雖然牛頓法收斂速度較快,但是每次迭代過(guò)程,計(jì)算海塞矩陣的逆過(guò)程相當(dāng)繁瑣,特別是當(dāng)該矩陣維度較大時(shí).因此就有了逆牛頓法,他使用正定矩陣來(lái)近似求海塞矩陣的逆.

擬牛頓法和梯度下降法一樣只要求每一步迭代時(shí)知道目標(biāo)函數(shù)的梯度,另外，因?yàn)閿M牛頓法不需要二階導(dǎo)數(shù)的信息，所以有時(shí)比牛頓法更為有效。常用的擬牛頓法有DFP算法和BFGS算法.此處不再贅述.

下面補(bǔ)充擬牛頓法的思路(摘自[3]):

共軛梯度法是一種用于解決無(wú)約束凸二次規(guī)劃問(wèn)題的方法.

啟發(fā)式方法指人在解決問(wèn)題時(shí)所采取的一種根據(jù)經(jīng)驗(yàn)規(guī)則進(jìn)行發(fā)現(xiàn)的方法。其特點(diǎn)是在解決問(wèn)題時(shí),利用過(guò)去的經(jīng)驗(yàn),選擇已經(jīng)行之有效的方法，而不是系統(tǒng)地、以確定的步驟去尋求答案。啟發(fā)式優(yōu)化方法種類(lèi)繁多，包括經(jīng)典的模擬退火方法、遺傳算法、蟻群算法以及粒子群算法等等。

上面前三種算法,解決的問(wèn)題都僅限于無(wú)約束的凸優(yōu)化, 而拉格朗日乘數(shù)法則解決含有約束條件的優(yōu)化問(wèn)題,例如svm算法的解法推導(dǎo).約束優(yōu)化問(wèn)題的一般形式是:

這個(gè)問(wèn)題可以轉(zhuǎn)化成函數(shù) 的無(wú)條件極值問(wèn)題.

對(duì)于約束條件為不等式的問(wèn)題,有科學(xué)家拓展了拉格朗日乘數(shù)法.增加了kkt條件以求解.沒(méi)學(xué)過(guò)最優(yōu)化,這塊就沒(méi)法細(xì)談了.有機(jī)會(huì)一定要補(bǔ)上.

[1]Poll的筆記.常見(jiàn)的幾種最優(yōu)化方法[EB/OL]. https://www.cnblogs.com/maybe2030/p/4751804.html,2015-08-23 .

[2]超神冉.最優(yōu)化算法——常見(jiàn)優(yōu)化算法分類(lèi)及總結(jié)[EB/OL]. https://blog.csdn.net/qq997843911/article/details/83445318,2018-10-27 .

[3]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].清華大學(xué)出版社:北京,2012:220.

[4]Ja1r0.共軛梯度法[EB/OL]. https://zhuanlan.zhihu.com/p/28623599,2018-05-28 .

以上就是關(guān)于實(shí)用最優(yōu)化方法第三版相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。

推薦閱讀：

內(nèi)科實(shí)用新技術(shù)新項(xiàng)目（內(nèi)科實(shí)用新技術(shù)新項(xiàng)目有哪些）

實(shí)用的杭州企業(yè)宣傳片拍攝

手機(jī)實(shí)用軟件排行榜（手機(jī)實(shí)用軟件排行榜前十名）

抖音商家運(yùn)營(yíng)師（抖音商家運(yùn)營(yíng)師怎么做）

杭州市有幾個(gè)區(qū)（杭州市有幾個(gè)區(qū)幾個(gè)縣）