-
讓品牌有溫度、有情感
專注品牌策劃15年
-
當(dāng)前位置：首頁 > 創(chuàng)意學(xué)院 > 十大排名 > 專題列表 > 正文
gan論文十大排名（論文排行榜）
發(fā)布時(shí)間：2023-05-05 06:04:21
稿源：
創(chuàng)意嶺 閱讀：
636
大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gan論文十大排名的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。
開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng)：https://ai.de1919.com
本文目錄:
一、推薦系統(tǒng)論文閱讀（二十九)-美團(tuán)：利用歷史交互數(shù)據(jù)改進(jìn)對話推薦系統(tǒng)
論文：
題目：《Leveraging Historical Interaction Data for Improving Conversational Recommender System 》
地址： https://dl.acm.org/doi/pdf/10.1145/3340531.3412098
這是我第一次將美團(tuán)發(fā)表的論文寫在這上面，該論文是人大跟美團(tuán)這邊合作在CIKM上面的一篇短論文，研究的是如何利用歷史交互的數(shù)據(jù)來進(jìn)行對話式的推薦。
最近，對話推薦系統(tǒng)（CRS）已成為一個(gè)新興且實(shí)用的研究主題。 現(xiàn)有的大多數(shù)CRS方法都專注于僅從對話數(shù)據(jù)中為用戶學(xué)習(xí)有效的偏好表示。 然而，本論文從新的視角來利用歷史交互數(shù)據(jù)來改善CRS。 為此，這篇論文提出了一種新穎的預(yù)訓(xùn)練方法，以通過預(yù)訓(xùn)練方法集成基于物品的偏好序列（來自歷史交互數(shù)據(jù)）和基于屬性的偏好序列（來自對話數(shù)據(jù)）。
隨著電子商務(wù)平臺中智能代理的快速發(fā)展，對話推薦系統(tǒng)（CRS）已成為尋求通過對話向用戶提供高質(zhì)量推薦的新興研究主題。 通常，CRS由對話模塊和推薦模塊組成。 對話模塊側(cè)重于通過多回合互動獲取用戶的偏好，推薦模塊側(cè)重于如何利用推斷出的偏好信息為用戶推薦合適的商品。
現(xiàn)有的大多數(shù)CRS都以“系統(tǒng)要求用戶響應(yīng)”模式設(shè)計(jì)的。在每輪對話中，CRS都會發(fā)出有關(guān)用戶偏愛的問題，并且用戶會使用個(gè)性化反饋對系統(tǒng)進(jìn)行回復(fù)。通常，系統(tǒng)會根據(jù)商品的某些屬性（例如，你最喜歡的電影類型是什么）來生成系統(tǒng)查詢，并且用戶反饋會反映用戶對該屬性的特定偏愛（例如，我喜歡動作電影）。主流方法是構(gòu)造一種跟蹤模塊，該模塊可以從這種多輪對話中推斷出用戶的基于屬性的偏好。以此方式，可以將所推斷的偏好呈現(xiàn)為所推斷屬性的序列（例如，電影CRS中的“流派＝動作→導(dǎo)演＝詹姆斯·卡梅隆”。有了這個(gè)序列后，我們就可以用一些方法來進(jìn)行推薦來，比如可以采用知識圖譜來進(jìn)行推薦。
但是，這些現(xiàn)有的CRS研究存在兩個(gè)主要問題。首先，對話本身的信息非常有限。許多CRS得到了進(jìn)一步優(yōu)化，以減少系統(tǒng)與用戶交互的回合數(shù)。因此，在基于屬性的推斷偏好中，可能會丟失一些有用的屬性。其次，僅利用基于屬性的偏好來進(jìn)行推薦可能還不夠。例如，即使在過濾了幾個(gè)屬性之后，候選項(xiàng)目集仍可能很大。
現(xiàn)在要解決以上提到的兩個(gè)問題，我們就需要把基于item的方式和基于屬性的方式進(jìn)行結(jié)合。其中，基于歷史交互item的方式反映的是用戶的長期興趣，基于會話屬性的方式反映的是用戶當(dāng)前的興趣，也就是短期興趣，這是一個(gè)典型的長短期興趣結(jié)合的任務(wù)。
A：之前說了，在CRS系統(tǒng)中，一個(gè)用戶進(jìn)行多輪對話后，會有一個(gè)item屬性的集合，A就是這個(gè)集合
= ,其中 屬于A，是item的屬性，n是屬性序列的長度
,其中 是用戶在對話前第k步與之交互的item
:我們進(jìn)一步假設(shè)每個(gè)項(xiàng)目ik也與一組屬性值相關(guān)聯(lián)，用Aik表示，它是整個(gè)屬性集A的子集。
任務(wù)的定義：根據(jù)CRS模塊，首先收集到基于屬性的序列 ，然后利用點(diǎn)擊序列 進(jìn)行推薦。關(guān)于這個(gè)任務(wù)的定義，深入理解應(yīng)該是這樣：我們是先有屬性序列，然后主要根據(jù)點(diǎn)擊序列進(jìn)行推薦，屬性序列的建模是子模塊任務(wù)，序列推薦是主任務(wù)，序列推薦任務(wù)在屬性序列更新后可以反復(fù)利用這個(gè)信息，只要屬性序列更新。
論文的base model是用Transformer做的，輸入部分是embedding層，這部分除了有item id的embedding矩陣，還有屬性的embedding矩陣，輸入還有個(gè)P，這個(gè)就不說了，位置向量。
中間的運(yùn)算就是Transformer的過程了，self-attention 跟ffn，這里不懂transformer結(jié)構(gòu)的可以看一下論文。
輸出部分是預(yù)測候選item i的概率：
其中ei是i的原始embedding向量，W是映射矩陣，兩個(gè)s是item和屬性經(jīng)過transformer結(jié)構(gòu)出來的最后一個(gè)向量。
熟悉bert的都知道m(xù)ask language model，把item序列中的item 用mask替代，然后預(yù)測這些被mask掉的item。
其中fik是item transformer結(jié)構(gòu)出來的位置k出來的向量，SA是熟悉結(jié)構(gòu)出來的Aik的位置出來的向量，W是映射矩陣，eik是原始的item embedding。
為了更好的讓item based的信息跟attribute based的信息進(jìn)行融合，論文也采取了一種另類的mask方法，用隨機(jī)負(fù)采樣的屬性來替代Aik，
其中fik是被替換的那個(gè)item經(jīng)過trm出來的向量，W是映射矩陣，faj是屬性trm出來的向量，預(yù)測的概率是aj是否是被替換過。
在LTR里面，如果采用的是pairwise的優(yōu)化方式，那么負(fù)采樣的技術(shù)就至為關(guān)鍵了，而且優(yōu)化了正樣本的概率大于負(fù)樣本的能力，所以需要選取一種負(fù)采樣的方法來給我們整個(gè)模型的優(yōu)化帶來提升。
MIP里面負(fù)采樣的方式用的是 IR-GAN 和 ELECT這兩篇論文所采用的方式。
改論文選擇了SASRec作為第一個(gè)階段的pairwise ranking的模型，這個(gè)模型也是論文中用來sample 負(fù)樣本的模型。負(fù)采樣是這么做的：我們先用pairwise ranking的方式訓(xùn)練一個(gè)模型作為生成器，得到了候選item的概率分布，有了這個(gè)概率分布我們就可以拿來負(fù)采樣了，因?yàn)榕判蚋叩膇tems跟真實(shí)的很接近。至于為什么選擇這個(gè)模型，論文里面說是因?yàn)檫@個(gè)論文在序列推薦任務(wù)中的表示特別好，也就是它作為ranking的模型效果還不錯(cuò)。請注意，盡管可以像標(biāo)準(zhǔn)GAN中那樣更新生成器，但是我們只訓(xùn)練它的參數(shù)一次。 根據(jù)經(jīng)驗(yàn)，我們發(fā)現(xiàn)迭代更新帶來的改進(jìn)是有限的。
整個(gè)訓(xùn)練分成兩個(gè)階段，第一個(gè)是預(yù)訓(xùn)練階段，就是訓(xùn)練兩個(gè)表示學(xué)習(xí)模型，第二個(gè)是微調(diào)階段，學(xué)習(xí)的是rank loss：
二、論文研讀：WGAN
Wasserstain-GAN 是 GAN 中非常重要的一個(gè)工作 ，文章：
已有的一些距離，定義 為 compact metrix set (隨機(jī)變量)， 是 的波萊爾子集(?)， 是所有定義在 上的分布的空間，對于兩個(gè)分布 有以下的距離的定義：
這四種距離:
文章作者舉了例子來闡述了EM距離在連續(xù)性上的優(yōu)越性：
令 ， 是 二維隨機(jī)變量的分布，而 是二維隨機(jī)變量 的隨機(jī)分布族，其中 是超參數(shù)。
可以發(fā)現(xiàn)，當(dāng)且僅當(dāng) 時(shí)， 和 是同一分布 ，而當(dāng) 時(shí)， 和 是完全沒有交集的兩個(gè)分布 ，下面我們可以分情況計(jì)算這四種距離：
比較這四種距離，發(fā)現(xiàn)只有EM距離對于 是連續(xù)的， 只有EM距離可以使得當(dāng) 時(shí)，分布族 收斂到 ，而且當(dāng)兩個(gè)分布完全不相交時(shí)，其他距離對于 的導(dǎo)數(shù)是0，使得無法通過梯度下降學(xué)習(xí)。
EM距離中的 計(jì)算是非常困難的，作者使用了Kantorovich-Rubinstein對偶，將距離變成了另一個(gè)公式：
上式的意思是，對所有滿足 1-Lipschitz 的函數(shù) ， 的上確界。
將 1-Lipschitz 條件替換為 K-Lipschitz 條件( 為任意常數(shù))，如果我們有滿足 K-Lipschitz 條件的函數(shù)族 ( )，把求解 變成求最優(yōu)值的問題：
這里就可以引入函數(shù)的萬能近似器NN了，將其中的 和 替換，最終得到的WGAN的優(yōu)化目標(biāo)為：
其中 表示滿足Lipschitz-1條件的函數(shù)族。
WGAN的訓(xùn)練過程如下圖所述：
不難看出D訓(xùn)練地越好，越能反應(yīng)真實(shí)的Wasserstain距離，所以作者也提出可以 將損失函數(shù)的值作為Wasserstain距離的近似，衡量WGAN學(xué)習(xí)的好壞。
總結(jié)的上圖的要點(diǎn)有：
一點(diǎn)經(jīng)驗(yàn)之談：
WGAN使得訓(xùn)練GAN更加容易，至于Mode Collapse，作者只是提到在實(shí)驗(yàn)中并沒有發(fā)現(xiàn)這一現(xiàn)象。
Lipschitz條件的定義：
直觀上看，就是函數(shù) 任意兩點(diǎn)連線斜率小于 。
滿足上述條件的函數(shù)也稱Lipschitz連續(xù)，比起連續(xù)的函數(shù)，滿足Lipschitz連續(xù)的函數(shù)更加光滑，而且它對函數(shù)的變化做了要求： 函數(shù)在任意區(qū)間的變化不能超過線性的變化 ， 線性變化的大小不超過Lipschitz常數(shù) 。
在非凸優(yōu)化中，Lipschitz條件對函數(shù)定義了一類邊界。
文章是為了方便自己理解而寫，所以難免有不清楚或錯(cuò)誤之處、或者自創(chuàng)的方便理解的術(shù)語，如有錯(cuò)誤，歡迎指正。
三、GAN的理解
生成器（Generator,G）即假鈔制造者，辨別器（Discriminator,D）的任務(wù)是識別假鈔，前者想要盡力蒙混過關(guān)，而后者則是努力識別出是真鈔（來自于原樣本）還是假鈔（生成器生成的樣本）。兩者左右博弈，最后達(dá)到一種平衡：生成器能夠以假亂真（或者說生成的與原樣本再也沒差），而判別器以1/2概率來瞎猜。
GAN的主要結(jié)構(gòu)包括一個(gè)生成器G（Generator）和一個(gè)判別器D（Discriminator）。
我們舉手寫字的例子來進(jìn)行進(jìn)一步窺探GAN的結(jié)構(gòu)。
我們現(xiàn)在擁有大量的手寫數(shù)字的數(shù)據(jù)集，我們希望通過GAN生成一些能夠以假亂真的手寫字圖片。主要由如下兩個(gè)部分組成：
目標(biāo)函數(shù)的理解：
其中判別器D的任務(wù)是最大化右邊這個(gè)函數(shù)，而生成器G的任務(wù)是最小化右邊函數(shù)。
首先分解一下式子，主要包含：D(x)、(1-D(G(z))。
D(x)就是判別器D認(rèn)為樣本來自于原分布的概率，而D(G(z))就是判別器D誤把來自于生成器G造的假樣本判別成真的概率。那么D的任務(wù)是最大化D(x)同時(shí)最小化D(G(z))（即最大化1-D(G(z))），所以綜合一下就是最大化D(x)(1-D(G(z))，為了方便取log，增減性不變，所以就成了logD(x)+log(1-D(G(z))。
而G想讓 和 足夠像，也就是D(G(z))足夠大；而logD(x)并不對它本身有影響，所以他的衡量函數(shù)可以只是min{log(1-D(z))}，也可以加一個(gè)對他來說的常數(shù)后變?yōu)?
目標(biāo)函數(shù)的推導(dǎo)、由來
判別器在這里是一種分類器，用于區(qū)分樣本的真?zhèn)?，因此我們常常使用交叉熵（cross entropy）來進(jìn)行判別分布的相似性，交叉熵公式如下：
公式中 和 為真實(shí)的樣本分布和生成器的生成分布。 關(guān)于交叉熵的內(nèi)容
在當(dāng)前模型的情況下，判別器為一個(gè)二分類問題，因此可以對基本交叉熵進(jìn)行更具體地展開如下：
為正確樣本分布，那么對應(yīng)的（ ）就是生成樣本的分布。 D 表示判別器，則 表示判別樣本為正確的概率， 則對應(yīng)著判別為錯(cuò)誤樣本的概率。
將上式推廣到N個(gè)樣本后，將N個(gè)樣本相加得到對應(yīng)的公式如下：
到目前為止還是基本的二分類，下面加入GAN中特殊的地方。
對于GAN中的樣本點(diǎn) ，對應(yīng)于兩個(gè)出處，要么來自于真實(shí)樣本，要么來自于生成器生成的樣本 ~ ( 這里的 是服從于投到生成器中噪聲的分布)。
其中，對于來自于真實(shí)的樣本，我們要判別為正確的分布 。來自于生成的樣本我們要判別其為錯(cuò)誤分布（ ）。將上面式子進(jìn)一步使用概率分布的期望形式寫出（為了表達(dá)無限的樣本情況，相當(dāng)于無限樣本求和情況），并且讓 為 1/2 且使用 表示生成樣本可以得到如下：
與原式 其實(shí)是同樣的式子
若給定一個(gè)樣本數(shù)據(jù)的分布 和生成的數(shù)據(jù)分布 那么 GAN 希望能找到一組參數(shù) 使分布 和 之間的距離最短，也就是找到一組生成器參數(shù)而使得生成器能生成十分逼真的圖片。
現(xiàn)在我們可以從訓(xùn)練集抽取一組真實(shí)圖片來訓(xùn)練 分布中的參數(shù) 使其能逼近于真實(shí)分布。因此，現(xiàn)在從 中抽取 個(gè)真實(shí)樣本 { }，對于每一個(gè)真實(shí)樣本，我們可以計(jì)算 ，即在由 確定的生成分布中， 樣本所出現(xiàn)的概率。因此，我們就可以構(gòu)建似然函數(shù)：
從該似然函數(shù)可知，我們抽取的 個(gè)真實(shí)樣本在 分布中全部出現(xiàn)的概率值可以表達(dá)為 L。又因?yàn)槿? 分布和 分布相似，那么真實(shí)數(shù)據(jù)很可能就會出現(xiàn)在 分布中，因此 個(gè)樣本都出現(xiàn)在 分布中的概率就會十分大。
下面我們就可以最大化似然函數(shù) L 而求得離真實(shí)分布最近的生成分布（即最優(yōu)的參數(shù)θ）：
在上面的推導(dǎo)中，我們希望最大化似然函數(shù) L。若對似然函數(shù)取對數(shù)，那么累乘 ∏ 就能轉(zhuǎn)化為累加 ∑ ，并且這一過程并不會改變最優(yōu)化的結(jié)果。因此我們可以將極大似然估計(jì)化為求令 期望最大化的θ，而期望 可以展開為在 x 上的積分形式： 。又因?yàn)樵撟顑?yōu)化過程是針對θ的，所以我們添加一項(xiàng)不含θ的積分并不影響最優(yōu)化效果，即可添加 。添加該積分后，我們可以合并這兩個(gè)積分并構(gòu)建類似 KL 散度的形式。該過程如下：
這一個(gè)積分就是 KL 散度的積分形式，因此，如果我們需要求令生成分布 盡可能靠近真實(shí)分布 的參數(shù) θ，那么我們只需要求令 KL 散度最小的參數(shù)θ。若取得最優(yōu)參數(shù)θ，那么生成器生成的圖像將顯得非常真實(shí)。
下面，我們必須證明該最優(yōu)化問題有唯一解 G*，并且該唯一解滿足 。不過在開始推導(dǎo)最優(yōu)判別器和最優(yōu)生成器之前，我們需要了解 Scott Rome 對原論文推導(dǎo)的觀點(diǎn)，他認(rèn)為原論文忽略了可逆條件，因此最優(yōu)解的推導(dǎo)不夠完美。
在 GAN 原論文中，有一個(gè)思想和其它很多方法都不同，即生成器 G 不需要滿足可逆條件。Scott Rome 認(rèn)為這一點(diǎn)非常重要，因?yàn)閷?shí)踐中 G 就是不可逆的。而很多證明筆記都忽略了這一點(diǎn)，他們在證明時(shí)錯(cuò)誤地使用了積分換元公式，而積分換元卻又恰好基于 G 的可逆條件。Scott 認(rèn)為證明只能基于以下等式的成立性：
該等式來源于測度論中的 Radon-Nikodym 定理，它展示在原論文的命題 1 中，并且表達(dá)為以下等式：
我們看到該講義使用了積分換元公式，但進(jìn)行積分換元就必須計(jì)算 ，而 G 的逆卻并沒有假定為存在。并且在神經(jīng)網(wǎng)絡(luò)的實(shí)踐中，它也并不存在?？赡苓@個(gè)方法在機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)文獻(xiàn)中太常見了，因此我們忽略了它。
在極小極大博弈的第一步中，給定生成器 G，最大化 V(D,G) 而得出最優(yōu)判別器 D。其中，最大化 V(D,G) 評估了 P_G 和 P_data 之間的差異或距離。因?yàn)樵谠撐闹袃r(jià)值函數(shù)可寫為在 x 上的積分，即將數(shù)學(xué)期望展開為積分形式：
其實(shí)求積分的最大值可以轉(zhuǎn)化為求被積函數(shù)的最大值。而求被積函數(shù)的最大值是為了求得最優(yōu)判別器 D，因此不涉及判別器的項(xiàng)都可以看作為常數(shù)項(xiàng)。如下所示，P_data(x) 和 P_G(x) 都為標(biāo)量，因此被積函數(shù)可表示為 a D(x)+b log(1-D(x))。
若令判別器 D(x) 等于 y，那么被積函數(shù)可以寫為：
為了找到最優(yōu)的極值點(diǎn)，如果 a+b≠0，我們可以用以下一階導(dǎo)求解：
如果我們繼續(xù)求表達(dá)式 f(y) 在駐點(diǎn)的二階導(dǎo)：
其中 a,b∈(0,1)。因?yàn)橐浑A導(dǎo)等于零、二階導(dǎo)小于零，所以我們知道 a/(a+b) 為極大值。若將 a=P_data(x)、b=P_G(x) 代入該極值，那么最優(yōu)判別器 D(x)=P_data(x)/(P_data(x)+P_G(x))。
最后我們可以將價(jià)值函數(shù)表達(dá)式寫為：
如果我們令 D(x)=P_data/(P_data+p_G)，那么我們就可以令價(jià)值函數(shù) V(G,D) 取極大值。因?yàn)?f(y) 在定義域內(nèi)有唯一的極大值，最優(yōu) D 也是唯一的，并且沒有其它的 D 能實(shí)現(xiàn)極大值。
其實(shí)該最優(yōu)的 D 在實(shí)踐中并不是可計(jì)算的，但在數(shù)學(xué)上十分重要。我們并不知道先驗(yàn)的 P_data(x)，所以我們在訓(xùn)練中永遠(yuǎn)不會用到它。另一方面，它的存在令我們可以證明最優(yōu)的 G 是存在的，并且在訓(xùn)練中我們只需要逼近 D。
當(dāng)然 GAN 過程的目標(biāo)是令 P_G=P_data。這對最優(yōu)的 D 意味著什么呢？我們可以將這一等式代入 D_G*的表達(dá)式中：
這意味著判別器已經(jīng)完全困惑了，它完全分辨不出 P_data 和 P_G 的區(qū)別，即判斷樣本來自 P_data 和 P_G 的概率都為 1/2?；谶@一觀點(diǎn)，GAN 作者證明了 G 就是極小極大博弈的解。該定理如下：
「當(dāng)且僅當(dāng) P_G=P_data，訓(xùn)練標(biāo)準(zhǔn) C(G)=maxV(G,D) 的全局最小點(diǎn)可以達(dá)到。」
以上定理即極大極小博弈的第二步，求令 V(G,D ) 最小的生成器 G（其中 G 代表最優(yōu)的判別器）。之所以當(dāng) P_G(x)=P_data(x) 可以令價(jià)值函數(shù)最小化，是因?yàn)檫@時(shí)候兩個(gè)分布的 JS 散度 [JSD(P_data(x) || P_G(x))] 等于零，這一過程的詳細(xì)解釋如下。
原論文中的這一定理是「當(dāng)且僅當(dāng)」聲明，所以我們需要從兩個(gè)方向證明。首先我們先從反向逼近并證明 C(G) 的取值，然后再利用由反向獲得的新知識從正向證明。設(shè) P_G=P_data（反向指預(yù)先知道最優(yōu)條件并做推導(dǎo)），我們可以反向推出：
該值是全局最小值的候選，因?yàn)樗挥性?P_G=P_data 的時(shí)候才出現(xiàn)。我們現(xiàn)在需要從正向證明這一個(gè)值常常為最小值，也就是同時(shí)滿足「當(dāng)」和「僅當(dāng)」的條件?，F(xiàn)在放棄 P_G=P_data 的假設(shè)，對任意一個(gè) G，我們可以將上一步求出的最優(yōu)判別器 D* 代入到 C(G)=maxV(G,D) 中：
因?yàn)橐阎?-log4 為全局最小候選值，所以我們希望構(gòu)造某個(gè)值以使方程式中出現(xiàn) log2。因此我們可以在每個(gè)積分中加上或減去 log2，并乘上概率密度。這是一個(gè)十分常見并且不會改變等式的數(shù)學(xué)證明技巧，因?yàn)楸举|(zhì)上我們只是在方程加上了 0。
采用該技巧主要是希望能夠構(gòu)建成含 log2 和 JS 散度的形式，上式化簡后可以得到以下表達(dá)式：
因?yàn)楦怕拭芏鹊亩x，P_G 和 P_data 在它們積分域上的積分等于 1，即：
此外，根據(jù)對數(shù)的定義，我們有：
因此代入該等式，我們可以寫為：
現(xiàn)在，如果讀者閱讀了前文的 KL 散度（Kullback-Leibler divergence），那么我們就會發(fā)現(xiàn)每一個(gè)積分正好就是它。具體來說：
KL 散度是非負(fù)的，所以我們馬上就能看出來-log4 為 C(G) 的全局最小值。
如果我們進(jìn)一步證明只有一個(gè) G 能達(dá)到這一個(gè)值，因?yàn)?P_G=P_data 將會成為令 C(G)=−log4 的唯一點(diǎn)，所以整個(gè)證明就能完成了。
從前文可知 KL 散度是非對稱的，所以 C(G) 中的 KL(P_data || (P_data+P_G)/2) 左右兩項(xiàng)是不能交換的，但如果同時(shí)加上另一項(xiàng) KL(P_G || (P_data+P_G)/2)，它們的和就能變成對稱項(xiàng)。這兩項(xiàng) KL 散度的和即可以表示為 JS 散度（Jenson-Shannon divergence）：
假設(shè)存在兩個(gè)分布 P 和 Q，且這兩個(gè)分布的平均分布 M=(P+Q)/2，那么這兩個(gè)分布之間的 JS 散度為 P 與 M 之間的 KL 散度加上 Q 與 M 之間的 KL 散度再除以 2。
JS 散度的取值為 0 到 log2。若兩個(gè)分布完全沒有交集，那么 JS 散度取最大值 log2；若兩個(gè)分布完全一樣，那么 JS 散度取最小值 0。
因此 C(G) 可以根據(jù) JS 散度的定義改寫為：
這一散度其實(shí)就是 Jenson-Shannon 距離度量的平方。根據(jù)它的屬性：當(dāng) P_G=P_data 時(shí)，JSD(P_data||P_G) 為 0。綜上所述，生成分布當(dāng)且僅當(dāng)?shù)扔谡鎸?shí)數(shù)據(jù)分布式時(shí)，我們可以取得最優(yōu)生成器。
前面我們已經(jīng)證明 P_G=P_data 為 minV(G,D) 的最優(yōu)點(diǎn)。此外，原論文還有額外的證明白表示：給定足夠的訓(xùn)練數(shù)據(jù)和正確的環(huán)境，訓(xùn)練過程將收斂到最優(yōu) G。
證明：將V(G,D)=U(pg,D)視作pg的函數(shù)，則U為pg的凸函數(shù)，其上確界的次導(dǎo)數(shù)一定包括該函數(shù)最大值處的導(dǎo)數(shù)，所以給定D時(shí)，通過梯度下降算法更新pg從而優(yōu)化G時(shí)，pg一定會收斂到最優(yōu)值。而之前又證明了目標(biāo)函數(shù)只有唯一的全局最優(yōu)解，所以pg會收斂到pdata。
實(shí)際上優(yōu)化G時(shí)是更新θg而不是pg。
參考鏈接：
Generative Adversarial Nets
通俗理解生成對抗網(wǎng)絡(luò)GAN - 陳誠的文章 - 知乎
機(jī)器之心GitHub項(xiàng)目：GAN完整理論推導(dǎo)與實(shí)現(xiàn)，Perfect!
論文閱讀之Generative Adversarial Nets
四、[GAN筆記] CycleGAN
論文鏈接： https://arxiv.org/abs/1703.10593
1. 介紹
圖像翻譯是指將圖片內(nèi)容從一個(gè)域轉(zhuǎn)換到另一個(gè)域。這類任務(wù)一般都需要兩個(gè)域中具有相同內(nèi)容的成對圖片作為訓(xùn)練數(shù)據(jù)。比如在pix2pix中，要將白天的圖片轉(zhuǎn)換成夜晚的圖片(圖 1)，那么就需要將同一個(gè)地方的白天和夜晚的圖片作為一對訓(xùn)練數(shù)據(jù)對模型進(jìn)行訓(xùn)練。但是這種成對的訓(xùn)練數(shù)據(jù)很難獲得。
2. 方法
3. 效果
論文先將CycleGAN 跟當(dāng)時(shí)的一些圖像風(fēng)格轉(zhuǎn)換的方法在具有成對圖像的數(shù)據(jù)集上進(jìn)行比較。在這里，用完全監(jiān)督的方法pix2pix作為上界。可以看到，CycleGAN 生成的圖片對于除pix2pix以外的方法來說效果好很多。而相對于pix2pix，CycleGAN 生成的圖片雖然不夠清晰，但基本接近。
4.總結(jié)
CycleGAN 解決了pix2pix 必須使用成對數(shù)據(jù)進(jìn)行訓(xùn)練的問題，原理比較簡單，但非常有效。只需要不同域的一系列圖片即可進(jìn)行訓(xùn)練。類似的工作還有DualGAN，DiscoGAN。三者的想法和模型基本一樣，發(fā)在了不同的地方。。
以上就是關(guān)于gan論文十大排名相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀：
外國人看gai公演（外國人看gai公演烈火戰(zhàn)馬）
活動線上線下宣傳相結(jié)合（線上線下相結(jié)合 宣傳）
教案設(shè)計(jì)要點(diǎn)怎么寫（教案設(shè)計(jì)要點(diǎn)怎么寫初中）
贛公網(wǎng)安備 50019002502384號
