正文

多目標(biāo)優(yōu)化詳解（多目標(biāo)優(yōu)化方法主要有哪些-）

發(fā)布時(shí)間：2023-04-21 17:27:21 稿源：創(chuàng)意嶺閱讀： 145

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于多目標(biāo)優(yōu)化詳解的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、什么是多目標(biāo)優(yōu)化的歸一化
2、多目標(biāo)優(yōu)化在推薦中的應(yīng)用
3、多目標(biāo)優(yōu)化可以用哪些方法？
4、多目標(biāo)優(yōu)化算法有哪些?

多目標(biāo)優(yōu)化詳解（多目標(biāo)優(yōu)化方法主要有哪些-）

一、什么是多目標(biāo)優(yōu)化的歸一化

多目標(biāo)是指優(yōu)化過(guò)程中有多個(gè)目標(biāo)函數(shù)，歸一化說(shuō)的是一種處理辦法，將多個(gè)目標(biāo)函數(shù)采用一定的技術(shù)手段合成一個(gè)目標(biāo)函數(shù)進(jìn)行優(yōu)化，這樣在優(yōu)化編程和設(shè)計(jì)的過(guò)程中就簡(jiǎn)單多了。我就做過(guò)這玩意兒

二、多目標(biāo)優(yōu)化在推薦中的應(yīng)用

多目標(biāo)排序通常是指有兩個(gè)或兩個(gè)以上的目標(biāo)函數(shù)，尋求一種排序使得所有的目標(biāo)函數(shù)都達(dá)到最優(yōu)或滿意。

在推薦系統(tǒng)中，大多產(chǎn)品都是基于隱式反饋進(jìn)行推薦，導(dǎo)致評(píng)估用戶滿意度的時(shí)候有不同的偏差：

1）不同目標(biāo)表達(dá)不同的滿意程度：在電商應(yīng)用中，購(gòu)買(mǎi)行為表達(dá)的滿意度高于點(diǎn)擊、瀏覽；

2）單個(gè)目標(biāo)衡量不全面：在信息流應(yīng)用中，僅以點(diǎn)擊率為目標(biāo)，可能會(huì)存在標(biāo)題黨；在招聘應(yīng)用中，僅以投遞轉(zhuǎn)化率為目標(biāo)，可能存在招聘方不活躍或者對(duì)候選者不滿意度下降。

3）用戶表達(dá)滿意的方式不同：在電商應(yīng)用中，用戶喜歡商品的表達(dá)可能會(huì)以收藏或者加購(gòu)的形式，取決于用戶偏好；在招聘應(yīng)用中，招聘方對(duì)候選者的滿意方式可能以在線溝通、電話溝通、直接面試邀請(qǐng)等形式，取決于招聘方偏好。

推薦系統(tǒng)中有多個(gè)業(yè)務(wù)指標(biāo)，可以通過(guò)一些手段使得多個(gè)業(yè)務(wù)的綜合目標(biāo)收益最大化。比如說(shuō)，電商場(chǎng)景，希望能夠在優(yōu)化GMV的基礎(chǔ)上提高點(diǎn)擊率，提高用戶粘性；信息流場(chǎng)景，希望提高用戶點(diǎn)擊率的基礎(chǔ)上提高用戶關(guān)注、點(diǎn)贊、評(píng)論等行為，提高留存；招聘場(chǎng)景，希望提高求職者投遞轉(zhuǎn)化率的基礎(chǔ)上提高招聘方的體驗(yàn)滿意度，從而使得雙方的滿足度均提高。因此推薦系統(tǒng)做到后期，往往會(huì)向多目標(biāo)方向演化，承擔(dān)起更多的業(yè)務(wù)目標(biāo)。

多目標(biāo)排序問(wèn)題的解決方案：多模型分?jǐn)?shù)融合、通過(guò)樣本權(quán)重進(jìn)行多目標(biāo)優(yōu)化、排序?qū)W習(xí)（Learning To Rank，LTR）、多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）。

1.多模型分?jǐn)?shù)融合

多模型融合的方式也是比較經(jīng)典傳統(tǒng)的做法，每個(gè)目標(biāo)訓(xùn)練一個(gè)模型，每個(gè)模型算出一個(gè)分?jǐn)?shù)，然后根據(jù)自身業(yè)務(wù)的特點(diǎn)，通過(guò)某種方式將這些分?jǐn)?shù)綜合起來(lái)，計(jì)算出一個(gè)總的分?jǐn)?shù)再進(jìn)行排序，綜合分?jǐn)?shù)的計(jì)算通常會(huì)根據(jù)不同目標(biāo)的重要性設(shè)定相應(yīng)的參數(shù)來(lái)調(diào)節(jié)。

最常見(jiàn)的是weighted sum融合多個(gè)目標(biāo)，給不同的目標(biāo)分配不同的權(quán)重。當(dāng)然，融合的函數(shù)可以有很多，比如連乘或者指數(shù)相關(guān)的函數(shù)，可以根據(jù)自己面臨的場(chǎng)景不斷去探索。

1.1 規(guī)則公式法

以電商推薦系統(tǒng)為例，假定有五個(gè)預(yù)估目標(biāo)，分別是點(diǎn)擊率 CTR、購(gòu)買(mǎi)轉(zhuǎn)化率 CVR、收藏率 collect，加購(gòu)率 cart、停留時(shí)長(zhǎng) stay，這五個(gè)目標(biāo)分別對(duì)應(yīng)五個(gè)模型，排序階段的作用就是利用模型根據(jù)各自目標(biāo)來(lái)給候選 Item 計(jì)算一個(gè)預(yù)估值（分?jǐn)?shù)），排序階段結(jié)束每個(gè) Item 都會(huì)有五個(gè)不同的目標(biāo)預(yù)估分?jǐn)?shù)，如何用這些分?jǐn)?shù)進(jìn)行融合，是交給下一個(gè)流程--重排序模塊來(lái)處理的。

分?jǐn)?shù)融合的一種思路是利用一個(gè)帶參數(shù)公式來(lái)實(shí)現(xiàn)，如下：

有了公式，那么超參數(shù)（α，β，a，b，c 等）如果進(jìn)行學(xué)習(xí)獲取？目前工業(yè)界就是人工調(diào)參，通過(guò)線上AB實(shí)驗(yàn)不斷調(diào)整參數(shù)，一個(gè)很繁瑣的工作。

1.2 線性回歸法

如果經(jīng)驗(yàn)公式，我們很容易想到的一種思路是類(lèi)似于集成學(xué)習(xí)中一種多模型融合方法 Stacking，即將多個(gè)目標(biāo)模型預(yù)估出的結(jié)果作為輸入，然后用一個(gè)簡(jiǎn)單的線性回歸進(jìn)行線性加權(quán)融合，學(xué)習(xí)到各個(gè)目標(biāo)的權(quán)重，這樣我們就可以預(yù)估綜合分?jǐn)?shù)了。但是我們卻忽略了一個(gè)重要的問(wèn)題，該如何設(shè)置樣本的 Label 呢？事實(shí)上，并沒(méi)有一個(gè)真實(shí)的綜合分?jǐn)?shù)可供我們?nèi)ビ?xùn)練學(xué)習(xí)，因此，這種辦法很難真正去實(shí)現(xiàn)。而在工業(yè)界，更多的做法是人工調(diào)試，但如此又會(huì)帶來(lái)很多問(wèn)題，比如模型靈活度不夠。

2.樣本權(quán)重（sample weight）

如果主目標(biāo)是點(diǎn)擊率，分享功能是我們希望提高的功能。那么點(diǎn)擊和分享都是正樣本（分享是點(diǎn)擊行為的延續(xù)），分享的樣本可以設(shè)置更高的樣本權(quán)重。模型訓(xùn)練在計(jì)算梯度更新參數(shù)時(shí)，對(duì)于sample weight大的樣本，如果預(yù)測(cè)錯(cuò)誤就會(huì)帶來(lái)更大的損失，梯度要乘以權(quán)重。通過(guò)這種方法能夠在優(yōu)化點(diǎn)擊率的基礎(chǔ)上，優(yōu)化分享率。實(shí)際AB測(cè)試會(huì)發(fā)現(xiàn)，這樣的方法，目標(biāo)點(diǎn)擊率會(huì)受到一定的損失換取目標(biāo)分享率的增長(zhǎng)。通過(guò)線上AB測(cè)試和sample weight調(diào)整的聯(lián)動(dòng)，可以保證在可接受的A目標(biāo)損失下，優(yōu)化目標(biāo)B，實(shí)現(xiàn)初級(jí)的多目標(biāo)優(yōu)化。

優(yōu)點(diǎn):模型簡(jiǎn)單，僅在訓(xùn)練時(shí)通過(guò)梯度上乘sample weight實(shí)現(xiàn)對(duì)某些目標(biāo)的boost或者decay帶有sample weight的模型和線上的base模型完全相同，不需要架構(gòu)的額外支持。

缺點(diǎn)：本質(zhì)上沒(méi)有對(duì)多目標(biāo)的建模，而是將不同的目標(biāo)折算成同一個(gè)目標(biāo)。折算的程度需要多次AB測(cè)試才能確定。

3. 排序?qū)W習(xí)（Learning To Rank，LTR）

多模型融合中我們通過(guò)模型計(jì)算預(yù)估值或者是綜合打分，其根本目的是為了給推薦物品排序，而不是真正的打分。因此我們可以使用排序?qū)W習(xí)方法來(lái)解決多目標(biāo)問(wèn)題。再由于是多個(gè)目標(biāo)，可以排除pointwise方案，可以考慮pairwise和listwise方案。具體，模型可以考慮 BPR 或者 LambdaMART 等算法。

相比多模型融合中 Label 標(biāo)注，排序?qū)W習(xí)模型的的 Label 標(biāo)注相對(duì)更容易一點(diǎn)，因?yàn)橹魂P(guān)心相對(duì)關(guān)系，而不需要真實(shí)的打分?jǐn)?shù)據(jù)。一種常見(jiàn)的標(biāo)注方法是對(duì)多目標(biāo)產(chǎn)生的物品構(gòu)建 Pair，比如用戶對(duì)物品 i產(chǎn)生的購(gòu)買(mǎi)，對(duì)物品j產(chǎn)生了點(diǎn)擊，假定我們覺(jué)得購(gòu)買(mǎi)的目標(biāo)比點(diǎn)擊的目標(biāo)更重要，就可以讓i>uj，其他目標(biāo)以此類(lèi)推。有了順序?qū)?，我們便可以?xùn)練排序?qū)W習(xí)模型，這樣一個(gè)模型便可以融合多個(gè)目標(biāo)，而不用訓(xùn)練多個(gè)模型。

4. 多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）

4.1 概念

多任務(wù)學(xué)習(xí)是基于共享表示，把多個(gè)相關(guān)的任務(wù)放在一起學(xué)習(xí)的一種機(jī)器學(xué)習(xí)方法。多任務(wù)學(xué)習(xí)涉及多個(gè)相關(guān)的任務(wù)同時(shí)并行學(xué)習(xí)，梯度同時(shí)反向傳播，利用包含在相關(guān)任務(wù)訓(xùn)練信號(hào)中的特定領(lǐng)域的信息來(lái)改進(jìn)泛化能力。

一般來(lái)說(shuō)，優(yōu)化多個(gè)損失函數(shù)就等同于進(jìn)行多任務(wù)學(xué)習(xí)。即使只優(yōu)化一個(gè)損失函數(shù)，也有可能借助輔助任務(wù)來(lái)改善原任務(wù)模型。

多任務(wù)學(xué)習(xí)的前提條件：多個(gè)任務(wù)之間必須具有相關(guān)性以及擁有可以共享的底層表示。

在多任務(wù)學(xué)習(xí)的定義中，共享表示是一個(gè)非常重要的限定，個(gè)人認(rèn)為共享表示對(duì)于最終任務(wù)的學(xué)習(xí)有兩類(lèi)作用：

促進(jìn)作用——通過(guò)淺層的共享表示互相分享、互相補(bǔ)充學(xué)習(xí)到的領(lǐng)域相關(guān)信息，從而互相促進(jìn)學(xué)習(xí)，提升對(duì)信息的穿透和獲取能力；

約束作用——在多個(gè)任務(wù)同時(shí)進(jìn)行反向傳播時(shí)，共享表示則會(huì)兼顧到多個(gè)任務(wù)的反饋，由于不同的任務(wù)具有不同的噪聲模式，所以同時(shí)學(xué)習(xí)多個(gè)任務(wù)的模型就會(huì)通過(guò)平均噪聲模式從而學(xué)習(xí)到更一般的表征，這個(gè)有點(diǎn)像正則化的意思，因此相對(duì)于單任務(wù)，過(guò)擬合風(fēng)險(xiǎn)會(huì)降低，泛化能力增強(qiáng)。

因此在深度神經(jīng)網(wǎng)絡(luò)中，執(zhí)行多任務(wù)學(xué)習(xí)有兩種最常用的方法：

參數(shù)的硬共享機(jī)制

共享 Hard 參數(shù)是神經(jīng)網(wǎng)絡(luò) MTL 最常用的方法。在實(shí)際應(yīng)用中，通常通過(guò)在所有任務(wù)之間共享隱藏層，同時(shí)保留幾個(gè)特定任務(wù)的輸出層來(lái)實(shí)現(xiàn)，如下圖所示：

共享 Hard 參數(shù)大大降低了過(guò)擬合的風(fēng)險(xiǎn)。

參數(shù)的軟共享機(jī)制

共享 Soft 參數(shù)，每個(gè)任務(wù)都有自己的參數(shù)和模型。模型參數(shù)之間的距離是正則化的，以便鼓勵(lì)參數(shù)相似化，例如使用 L2 距離進(jìn)行正則化。

多任務(wù)學(xué)習(xí)之所以有效，是因?yàn)槎嗳蝿?wù)學(xué)習(xí)的方式引入了歸納偏置（inductive bias），歸納偏置有兩個(gè)效果：

1）互相促進(jìn)，可以把多任務(wù)模型之間的關(guān)系看作是互相先驗(yàn)知識(shí)，也稱(chēng)歸納遷移（inductive transfer），有了對(duì)模型的先驗(yàn)假設(shè)，可以更好的提升模型的效果；

2）約束作用，借助多任務(wù)間的噪聲平衡以及表征偏置來(lái)實(shí)現(xiàn)更好的泛化性能。

4.2 主流多任務(wù)學(xué)習(xí)模型

主流模型有ESMM模型、EMS2模型、MMoE模型等。本文以阿里ESMM模型為例進(jìn)行介紹。

用戶的行為可以抽象為一個(gè)序列模式：瀏覽 -> 點(diǎn)擊 -> 購(gòu)買(mǎi)。

CVR 是指從點(diǎn)擊到購(gòu)買(mǎi)的轉(zhuǎn)化，傳統(tǒng)的 CVR 預(yù)估會(huì)存在兩個(gè)問(wèn)題：樣本選擇偏差和稀疏數(shù)據(jù)。

樣本選擇偏差：模型用戶點(diǎn)擊的樣本來(lái)訓(xùn)練，但是預(yù)測(cè)卻是用的整個(gè)樣本空間。

數(shù)據(jù)稀疏問(wèn)題：用戶點(diǎn)擊到購(gòu)買(mǎi)的樣本太少。

ESMM是一個(gè)多任務(wù)學(xué)習(xí)模型，它同時(shí)學(xué)習(xí)學(xué)習(xí)點(diǎn)擊率和轉(zhuǎn)化率兩個(gè)目標(biāo)，即模型直接預(yù)測(cè)展現(xiàn)轉(zhuǎn)換（pCTCVR）：?jiǎn)挝涣髁揩@得成交的概率，把 pCVR 當(dāng)做一個(gè)中間變量，模型結(jié)構(gòu)如下：

該網(wǎng)絡(luò)結(jié)構(gòu)共有三個(gè)子任務(wù)，分別用于輸出 pCTR、pCVR 和 pCTCVR。

對(duì)于 pCTR 來(lái)說(shuō)可將有點(diǎn)擊行為的曝光事件作為正樣本，沒(méi)有點(diǎn)擊行為的曝光事件作為負(fù)樣本，對(duì)于 PCTCVR 來(lái)說(shuō)，將同時(shí)有點(diǎn)擊行為和購(gòu)買(mǎi)行為的曝光事件作為正樣本，其他作為負(fù)樣本。上面公式可以轉(zhuǎn)化為

我們可以通過(guò)分別估計(jì)pCTCVR和pCTR，然后通過(guò)兩者相除來(lái)解決。而pCTCVR和pCTR都可以在全樣本空間進(jìn)行訓(xùn)練和預(yù)估。但是這種除法在實(shí)際使用中，會(huì)引入新的問(wèn)題。因?yàn)樵陬A(yù)測(cè)階段pCTR其實(shí)是一個(gè)很小的值，范圍一般在百分之幾，預(yù)估時(shí)會(huì)出現(xiàn)pCTCVR>pCTR的情況，導(dǎo)致pCVR預(yù)估值大于1。ESMM巧妙的通過(guò)將除法改成乘法來(lái)解決上面的問(wèn)題。

它引入了pCTR和pCTCVR兩個(gè)輔助任務(wù)，訓(xùn)練時(shí)，loss為兩者相加。

在CTR有點(diǎn)擊行為的展現(xiàn)事件構(gòu)成的樣本標(biāo)記為正樣本，沒(méi)有點(diǎn)擊行為發(fā)生的展現(xiàn)事件標(biāo)記為負(fù)樣本；在CTCVR任務(wù)中，同時(shí)有點(diǎn)擊和購(gòu)買(mǎi)行為的展現(xiàn)事件標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本。

另外兩個(gè)子網(wǎng)絡(luò)的 embedding 層是共享的，由于 CTR 任務(wù)的訓(xùn)練樣本量要遠(yuǎn)超過(guò) CVR 任務(wù)的訓(xùn)練樣本量，ESMM 模型中 embedding 層共享的機(jī)制能夠使得 CVR 子任務(wù)也能夠從只有展現(xiàn)沒(méi)有點(diǎn)擊的樣本中學(xué)習(xí)，從而能夠極緩解訓(xùn)練數(shù)據(jù)稀疏性問(wèn)題。

MTL可以使得多個(gè)模型特性互相彌補(bǔ)：點(diǎn)擊率預(yù)估模型善于學(xué)習(xí)表面特征，其中包括標(biāo)題黨，圖片帶來(lái)的點(diǎn)擊誘惑；而轉(zhuǎn)化模型學(xué)習(xí)更深層的特征，比如體驗(yàn)、服務(wù)質(zhì)量。

4.3構(gòu)建所有l(wèi)oss的pareto

多任務(wù)學(xué)習(xí)本質(zhì)上是一個(gè)多目標(biāo)問(wèn)題，因?yàn)椴煌蝿?wù)之間可能產(chǎn)生沖突，需要對(duì)其進(jìn)行取舍。

帕累托最優(yōu)所指的情況要求有多個(gè)優(yōu)化目標(biāo)，指的是不能在不損失其他目標(biāo)的情況下優(yōu)化一個(gè)目標(biāo)。

4.3.1 Multi-Task Learning as Multi-Objective Optimization

定義如下：

優(yōu)化目標(biāo)：

5.多目標(biāo)優(yōu)化實(shí)踐

【參考文獻(xiàn)】

1. https://arxiv.org/pdf/1810.04650v1.pdf Multi-Task Learning as Multi-Objective Optimization

三、多目標(biāo)優(yōu)化可以用哪些方法？

一般有兩大類(lèi)方法，一列是通過(guò)加權(quán)把多目標(biāo)算法整合為單目標(biāo)算法，得到唯一一個(gè)解，一個(gè)是nasa

方法，使用支配解集和非支配解集概念，得到多組解

四、多目標(biāo)優(yōu)化算法有哪些?

主要內(nèi)容包括：多目標(biāo)進(jìn)化算法、多目標(biāo)粒子群算法、其他多目標(biāo)智能優(yōu)化算法、人工神經(jīng)網(wǎng)絡(luò)優(yōu)化、交通與物流系統(tǒng)優(yōu)化、多目標(biāo)生產(chǎn)調(diào)度和電力系統(tǒng)優(yōu)化及其他。

以上就是關(guān)于多目標(biāo)優(yōu)化詳解相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢(xún)，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。