圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎

大家好！今天讓小編來大家介紹下關(guān)于圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，相關(guān)業(yè)務(wù)請撥打電話：175-8598-2043，或添加微信：1454722008

文章目錄列表:

• 1、圖神經(jīng)網(wǎng)絡(luò)是怎么煉成的：GNN基本原理簡介

• 2、人工智能論文哪個方向好寫

• 3、圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽分類中的優(yōu)勢對比

• 4、我是控制理論與控制工程的研究生 研究生期間 要發(fā)論文 我該怎么寫 因為我們專業(yè)接觸的東西多但是不精，

一、圖神經(jīng)網(wǎng)絡(luò)是怎么煉成的：GNN基本原理簡介

此文算是對Google Research這篇 A Gentle Introduction to Graph Neural Networks 神作的閱讀筆記.

十多年來，研究人員開發(fā)了一種稱之為圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNNs）的技術(shù)，旨在將如今在深度學(xué)習(xí)的諸多任務(wù)中摧枯拉朽的神經(jīng)網(wǎng)絡(luò)，應(yīng)用到圖結(jié)構(gòu)之上，從而讓神經(jīng)網(wǎng)絡(luò)捕捉到更錯綜復(fù)雜的交叉特征，以期待在一些任務(wù)上取得更佳的效果。鑒于操作圖數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性，盡管已經(jīng)發(fā)展了十幾年，它在實際應(yīng)用中卻剛剛起步，即時是google也才開始研究將其被應(yīng)用到藥品研發(fā)、物理模擬、假新聞檢測、交通預(yù)測和推薦系統(tǒng)等領(lǐng)域。

盡管GNN是一個新興的研究領(lǐng)域，但圖結(jié)構(gòu)的數(shù)據(jù)其實在我們身邊無處不在。那么什么是圖呢？

這個理科生應(yīng)該都清楚，圖有點(Vertex)和邊(Edge)兩部分組成，一個圖就代表了各個實體節(jié)點（node）之間的關(guān)系（edge）：

每個節(jié)點或者邊都可以包含它的一些屬性信息，比如如果一個節(jié)點表示一個人，那么就可以包含這個人的姓名、性別、身高、體重之類的..我們研究需要的信息。

而這些信息，都可以用通用的向量的形式存入其中：

還有別忘了一點，邊是可以有方向的，按此我們還能分為有向圖或是無向圖。邊的方向代表了信息的傳遞方向，例如a是b的微信好友，那b也是a的微信好友，好友關(guān)系自然是沒方向的，而比如a是b的爹，那顯然b就不是a的爹，此時叫爹的關(guān)系就是有有方向的。

圖結(jié)構(gòu)的構(gòu)建是非常靈活的，可以根據(jù)個人的設(shè)計構(gòu)建出各種不一樣的圖。而作為開發(fā)者顯然要結(jié)合實際解決的問題來構(gòu)建合適的圖。

正如前面所提到的，圖無處不在。你可能已經(jīng)熟悉例如知識圖譜、社交網(wǎng)絡(luò)之類的圖數(shù)據(jù)。當(dāng)時顯然，圖是一種極其強大的通用數(shù)據(jù)表示，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中用到的歐式空間的數(shù)據(jù)，同樣可以用圖來表示，例如可以將圖像和文本建模為圖結(jié)構(gòu)數(shù)據(jù)。

比如，我們可以將一張圖片的每個像素作為圖的節(jié)點，再將相鄰的像素用邊連接起來，就構(gòu)造了一個該圖像的圖。

如上圖展示了一個5*5的圖片的鄰接矩陣表示和圖表示。

我們將每個單詞作為節(jié)點，并將每個節(jié)點連接到下一個節(jié)點，就得到了一個文本的圖：

當(dāng)然，在實踐中我們并不會這樣來編碼文本和圖像，因為所有的圖和文本都是非常規(guī)則的結(jié)構(gòu)，表示成圖就多此一舉了。

我們再來看一些例子，這些數(shù)據(jù)的結(jié)構(gòu)更加復(fù)雜，除了圖之外很難用其他方式來表達。

分子是構(gòu)成物質(zhì)的基石，我們可以用節(jié)點來表示它的原子和電子，用邊來表示共價鍵，這樣便將一個分子表示成了一個圖：

不同的圖可以表示出不同的分子結(jié)構(gòu)：

都說社會是一個大熔爐，身處其中的人和事物之間會發(fā)生極其復(fù)雜的關(guān)系。這種關(guān)系的表示用普通的表格數(shù)據(jù)是很難表示的，而圖卻能很好的展現(xiàn)。

下圖是將莎士比亞歌劇《奧賽羅》中的任務(wù)關(guān)系表示成圖：

怎么樣，如果沒看過歌劇能推測出那些是主角嗎？

下面是將一個空手道競標(biāo)賽的對戰(zhàn)關(guān)系構(gòu)建為圖：

類似的可以表示為圖的數(shù)據(jù)還有很多很多，比如論文的引用之類統(tǒng)統(tǒng)都可以表示為圖，下面是現(xiàn)實世界中不同規(guī)模的數(shù)據(jù)圖表示的統(tǒng)計數(shù)據(jù)：

可見，各種各樣規(guī)模的數(shù)據(jù)都可以輕松的用圖來表示。

在上面我們列舉了這么多的圖，那么我們該對這些圖數(shù)據(jù)執(zhí)行什么任務(wù)呢？

圖上的預(yù)測任務(wù)一般分為三類：

下面我們通過具體的示例來說明GNN怎么來解決上述的三個級別的預(yù)測問題。

在圖級別的任務(wù)中，我們的目標(biāo)是預(yù)測整個圖的屬性。例如我們通過分子圖，來預(yù)測該分子的氣味或是者它是否是與某些疾病有關(guān)的受體。

它的輸入是完整的圖：

輸出是圖的分類：

節(jié)點級任務(wù)一般就是預(yù)測每個節(jié)點的類型。

一個經(jīng)典的例子就是Zach的空手道俱樂部。該數(shù)據(jù)集市一個單一的社交網(wǎng)絡(luò)圖，猶豫政治分歧，講師Hi先生和管理員John之間不和導(dǎo)致空手道俱樂部分裂，其中的學(xué)員一部分效忠于Hi先生，一部分效忠于John。每個節(jié)點代表空手道聯(lián)系著，邊代表空手道之外這些成員的互動，預(yù)測問題就是判斷這些節(jié)點是效忠于誰的。

邊級任務(wù)其實就是預(yù)測每個邊的屬性.

在目標(biāo)檢測的語義分割任務(wù)中,我們也許不止要識別每個目標(biāo)的類型,還需要預(yù)測各個目標(biāo)之間的關(guān)系.我們可以將其描述為邊級別的分類任務(wù):給定表示圖像中的對象的節(jié)點，我們希望預(yù)測哪些節(jié)點共享一條邊，或者該邊的值是多少。如果我們希望發(fā)現(xiàn)實體之間的連接，我們可以考慮圖是完全連通的，并根據(jù)它們的預(yù)測值修剪邊來得到一個稀疏圖。

用圖表示就是這樣的過程:

那么我們要如何使用神經(jīng)網(wǎng)絡(luò)來處理上述各種類型的任務(wù)呢?

首先要考慮的是如何將圖結(jié)構(gòu)數(shù)據(jù)適配到神經(jīng)網(wǎng)絡(luò).

回想一下啊,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)輸入的往往是矩陣形式的數(shù)據(jù),那么要如何把圖作為輸入呢?

圖表示有四種類型的信息:節(jié)點(nodes),邊(edges),全局上下文(global-context),聯(lián)通性(connectivity).對于前三種信息,有一個非常簡單的方案,比如將節(jié)點排序,然后每個節(jié)點表示為一個向量,所有節(jié)點就得到了一個節(jié)點的矩陣,同理,邊和上下文也可以這么搞.

但是要標(biāo)識連通性就沒有這么簡單了,也許你會想到用臨街矩陣來表示,但是這樣表示會有明顯的缺陷,因為節(jié)點數(shù)的規(guī)模往往是巨大的,對于一個數(shù)百萬節(jié)點的圖,那將耗費大量的空間,而且得到的矩陣往往也十分的稀疏,可以說空間利用率會很低.

當(dāng)然,你也許會想,可以用稀疏矩陣來存儲,這樣就只需要存儲連通的情況,空間利用率將大大提升,但是我們還要考慮到一點,就是稀疏矩陣的高性能計算一直是個艱難的,尤其是在用到GPU的情況.

并且,使用鄰接矩陣還有一個問題就是各種不同的鄰接矩陣可以標(biāo)識相同的連通性,而這些矩陣并不能保證在神經(jīng)網(wǎng)絡(luò)中取的相同的效果.比如,同樣的連通性,通過調(diào)換列的順序,就能得到不同的鄰接矩陣:

現(xiàn)在，我們成功的將圖結(jié)構(gòu)成功表示成了置換不變的矩陣格式，終于可以使用圖形神經(jīng)網(wǎng)絡(luò)（GNN）來做圖形預(yù)測任務(wù)了。

GNN是對保持圖對稱性(置換不變性)的圖的所有屬性(節(jié)點、邊、全局上下文)的可優(yōu)化變換。

我們將使用Gilmer等人提出的“消息傳遞神經(jīng)網(wǎng)絡(luò)”框架構(gòu)建GNN,并使用Battaglia等人介紹的圖網(wǎng)絡(luò)網(wǎng)絡(luò)架構(gòu)示意圖。GNNS采用“圖輸入，圖輸出”架構(gòu)，這意味著這些模型類型接受圖作為輸入，其中包含節(jié)點，邊和全局上下文的信息，并逐步地轉(zhuǎn)換這些圖嵌入，而不會更改輸入的連接圖結(jié)構(gòu)。

我們使用最開始提到的那個圖來構(gòu)建一個最簡單的GNN,輸入的圖是相應(yīng)節(jié)點,邊,全局信息的向量,我們針對每個向量使用一個MLP層來作變換,于是得到一個新的圖.

針對上述構(gòu)建的最簡單的GNN，我們?nèi)绾卧谏厦婷枋龅娜魏稳蝿?wù)中進行預(yù)測呢?這里我們僅僅考慮二進制分類的情況，但這個框架可以很容易地擴展到多類或回歸的情況。

如果是對節(jié)點分類,我們只要在最后一層接一個線性類器就可以了:

但是上面的預(yù)測過程有點過于簡單了,完全沒有用到圖的結(jié)構(gòu)信息,我們在此基礎(chǔ)上增加一個pooling操作,以增加它的邊緣信息:

具體操作是把待預(yù)測節(jié)點的鄰居節(jié)點以及全局的信息進行聚合再做預(yù)測,即將這些embedding向量加到一起得到一個新的向量,再輸入到最后的線性分類器.

同理,如果我們只有節(jié)點相應(yīng)邊的信息的話,也可以用類似的方式pooling,然后得到節(jié)點的向量表示再輸入分類器:

反之,如果我們只有節(jié)點的信息,那么也可以用邊所連接的兩個節(jié)點來pooling出邊的向量,然后將器輸入到分類器預(yù)測邊的類型:

顯然,不管是哪種任務(wù),整個GNN的推理過程都是一樣的,可以表示為這樣一個端到端的過程:

不過,顯而易見的,這個簡單的GNN在分類前只是對每個向量進行了一個變換,而沒有用到圖結(jié)構(gòu)的任何信息,雖然在最后做預(yù)測的時候做了一些pooling的聚合,但也始終沒有用到adjacency的信息,因此這個GNN的作用相當(dāng)有限,但是它為我們提供了一個圖結(jié)構(gòu)層變換和堆疊的基本思路.

針對上面最簡單GNN的不足,我們可以在其中根據(jù)連通性增加更加復(fù)雜的變換從而引入整個圖結(jié)構(gòu)的信息,我們將這個過程稱之為信息傳遞.

信息傳遞包含三個步驟:

這個過程有點類似于卷積操作,每個節(jié)點匯聚了其鄰居的節(jié)點,經(jīng)過多個層的變換,它將涵蓋全圖的信息.

于是我們可以將這個節(jié)點信息傳遞應(yīng)用到上述的圖變換過程中:

然后,我們發(fā)現(xiàn)它并沒用用上邊的信息,于是可以把邊信息也加上,變成這樣:

既然把邊的信息加上了,那怎么可以漏掉全局信息呢,于是完整的信息傳遞就可以表示成這樣:

以上,我們梳理了最簡單的GNNs是怎么完成的,你應(yīng)該已經(jīng)對GNN有了一個基本的了解,就像學(xué)會了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中最簡單的全連接網(wǎng)絡(luò)類似,關(guān)于GNN還有更多不同種類的更復(fù)雜的圖需要取了解和學(xué)習(xí),但你只要掌握了以上的思想,學(xué)習(xí)起來也是十分容易的.

二、人工智能論文哪個方向好寫

人工智能與機器人研究這本期刊的領(lǐng)域有這些：智能機器人、模式識別與智能系統(tǒng)、虛擬現(xiàn)實技術(shù)與應(yīng)用、系統(tǒng)仿真技術(shù)與應(yīng)用、工業(yè)過程建模與智能控制、智能計算與機器博弈、人工智能理論、語音識別與合成、機器翻譯、圖像處理與計算機視覺、計算機感知、計算機神經(jīng)網(wǎng)絡(luò)、知識發(fā)現(xiàn)與機器學(xué)習(xí)、建筑智能化技術(shù)與應(yīng)用、人智能其他學(xué)科人工智能與機器人研究這本期刊的領(lǐng)域，你可以參考下：智能機器人、模式識別與智能系統(tǒng)、虛擬現(xiàn)實技術(shù)與應(yīng)用、系統(tǒng)仿真技術(shù)與應(yīng)用、工業(yè)過程建模與智能控制、智能計算與機器博弈、人工智能理論、語音識別與合成、機器翻譯、圖像處理與計算機視覺、計算機感知、計算機神經(jīng)網(wǎng)絡(luò)、知識發(fā)現(xiàn)與機器學(xué)習(xí)、建筑智能化技術(shù)與應(yīng)用、人智能其他學(xué)科

三、圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)在多標(biāo)簽分類中的優(yōu)勢對比

在目前的基于圖結(jié)構(gòu)的多標(biāo)簽圖像分類方法中，圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)都是用于學(xué)習(xí)多標(biāo)簽之間的標(biāo)簽依賴關(guān)系的方法。那么這兩種方法在學(xué)習(xí)標(biāo)簽之間的依賴關(guān)系上有什么對比優(yōu)勢？本文嘗試簡要分析。

首先需要簡單介紹圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)：

1.圖神經(jīng)網(wǎng)絡(luò)

對于每個標(biāo)簽類別，首先通過外部知識（通常是通過詞向量模型）獲取初始的詞向量，每個標(biāo)簽類別作為圖中的一個結(jié)點，結(jié)點的初始表示就是對應(yīng)的標(biāo)簽的詞向量。然后，通過公式：

超圖神經(jīng)網(wǎng)絡(luò)與圖神經(jīng)網(wǎng)絡(luò)很不同的一點是他的結(jié)構(gòu)表示。超圖的矩陣表示和圖不一樣，不再是結(jié)點和結(jié)點的關(guān)系，而是邊和結(jié)點的關(guān)系。即每條邊有幾個結(jié)點，或者說當(dāng)前結(jié)點屬于哪幾條邊。而且，超圖神經(jīng)網(wǎng)絡(luò)的卷積過程相比圖神經(jīng)網(wǎng)絡(luò)的復(fù)雜：

四、我是控制理論與控制工程的研究生 研究生期間 要發(fā)論文 我該怎么寫 因為我們專業(yè)接觸的東西多但是不精，

在這里提一點點建議，希望能幫到你?？刂茖I(yè)雖然學(xué)的東西很廣，但是每個人都有自己的研究方向，比如決策分析，智能控制，嵌入式等等。先確定自己的研究對象，然后寫文章當(dāng)然也就是這一塊了。我是智能控制方向的，所以主要研究模糊控制，神經(jīng)網(wǎng)絡(luò)，專家控制需要大量的實踐操作經(jīng)驗，不好辦。第二，就是寫文章的一些小技巧，主要用于普通期刊，在寫文章中要有創(chuàng)新，但是作為研究生，不可能要國內(nèi)外那些專家，提出某某算法，發(fā)明某某東西，這樣的話，創(chuàng)新就有了更為寬泛的解釋，就是同一個對象，不同的方法，如果你選擇的控制算法比別人的所達到的控制效果要好，那么恭喜你。還有一個就是，同樣的控制策略，不同的控制對象，如果別人沒有實現(xiàn)對這樣對象的控制，而你做了，效果滿意，那么也恭喜你。所以研究生論文，第一要確定你的研究方向，不要想著都學(xué)都研究，不合實際，研究嵌入式比較有前（錢）途，但是比較難，研究PLC的話以后工作出差的可能性比較大，也比較辛苦，單片機什么的，比較廣，但是競爭壓力大。自己好好把握。第二要學(xué)習(xí)兩到三中控制算法，精通兩種，這是寫文章的理論支持，第三要找到有價值的控制對象，什么是有價值，就是這個東西在現(xiàn)實中常用而且很重要。記住一句話，相同的方法，不同的對象；相同的對象，不同的方法。

以上就是小編對于圖神經(jīng)網(wǎng)絡(luò)好發(fā)論文嗎問題和相關(guān)問題的解答了，如有疑問，可撥打網(wǎng)站上的電話，或添加微信。

推薦閱讀：

作圖神器（免費作圖工具）

畫gpt神經(jīng)網(wǎng)絡(luò)（gin圖神經(jīng)網(wǎng)絡(luò)）

微商作圖神器永久免費版

裝修最大的坑是什么

99手游排行榜（《99手游排行榜》）