正文

cvpr論文十大排名（cvpr2020最佳論文）

發(fā)布時(shí)間：2023-05-05 05:06:02 稿源：創(chuàng)意嶺閱讀： 444

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于cvpr論文十大排名的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、CVPR 2019 Oral 論文解讀 | 無監(jiān)督域適應(yīng)語義分割
2、GNN in CVPR2020
3、cvpr一年多少論文
4、EfficientDet : 快又準(zhǔn)，EfficientNet作者在目標(biāo)檢測(cè)領(lǐng)域的移植 | CVPR 2020

cvpr論文十大排名（cvpr2020最佳論文）

一、CVPR 2019 Oral 論文解讀 | 無監(jiān)督域適應(yīng)語義分割

雷鋒網(wǎng) AI 科技評(píng)論按：百度研究院、華中科技大學(xué)、悉尼科技大學(xué)聯(lián)合新作——關(guān)于無監(jiān)督領(lǐng)域自適應(yīng)語義分割的論文《 Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》被 CCF A 類學(xué)術(shù)會(huì)議 CVPR2019 收錄為 Oral 論文。該論文提出了一種從「虛擬域」泛化到「現(xiàn)實(shí)域」的無監(jiān)督語義分割算法，旨在利用易獲取的虛擬場(chǎng)景標(biāo)注數(shù)據(jù)來完成對(duì)標(biāo)注成本高昂的現(xiàn)實(shí)場(chǎng)景數(shù)據(jù)的語義分割，大大減少了人工標(biāo)注成本。本文是論文作者之一羅亞威為雷鋒網(wǎng) AI 科技評(píng)論提供的論文解讀。

論文地址： https://arxiv.org/abs/1809.09478

1.問題背景

基于深度學(xué)習(xí)的語義分割方法效果出眾，但需要大量的人工標(biāo)注進(jìn)行監(jiān)督訓(xùn)練。不同于圖像分類等任務(wù)，語義分割需要像素級(jí)別的人工標(biāo)注，費(fèi)時(shí)費(fèi)力，無法大規(guī)模實(shí)施。借助于計(jì)算機(jī)虛擬圖像技術(shù)，如3D游戲，用戶可以幾乎無成本地獲得無限量自動(dòng)標(biāo)注數(shù)據(jù)。然而虛擬圖像和現(xiàn)實(shí)圖像間存在嚴(yán)重的視覺差異（域偏移），如紋理、光照、視角差異等等，這些差異導(dǎo)致在虛擬圖像上訓(xùn)練出的深度模型往往在真實(shí)圖像數(shù)據(jù)集上的分割精度很低。

2. 傳統(tǒng)方法

針對(duì)上述域偏移問題，一種廣泛采用的方法是在網(wǎng)絡(luò)中加入一個(gè)域判別器Discriminator (D），利用對(duì)抗訓(xùn)練的機(jī)制，減少源域Source (S）和目標(biāo)域Target（T）之間不同分布的差異，以加強(qiáng)原始網(wǎng)絡(luò)（G）在域間的泛化能力。方法具體包括兩方面：

（1）利用源域的有標(biāo)簽數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí)，提取領(lǐng)域知識(shí)：

其中Xs，Ys為源域數(shù)據(jù)及其對(duì)應(yīng)標(biāo)簽。

（2）通過對(duì)抗學(xué)習(xí)，降低域判別器（D）的精度，以對(duì)齊源域與目標(biāo)域的特征分布：

其中XT為目標(biāo)域數(shù)據(jù)，無標(biāo)簽。

3.我們針對(duì)傳統(tǒng)方法的改進(jìn)

以上基于對(duì)抗學(xué)習(xí)的傳統(tǒng)域適應(yīng)方法只能對(duì)齊全局特征分布（Marginal Distribution），而忽略了不同域之間，相同語義特征的語義一致性（Joint Distribution），在訓(xùn)練過程中容易造成負(fù)遷移，如圖2（a）所示。舉例來說，目標(biāo)域中的車輛這一類，可能與源域中的車輛在視覺上是接近的。因此，在沒有經(jīng)過域適應(yīng)算法之前，目標(biāo)域車輛也能夠被正確分割。然而，為了迎合傳統(tǒng)方法的全局對(duì)齊，目標(biāo)域中的車輛特征反而有可能會(huì)被映射到源域中的其他類別，如火車等，造成語義不一致。

針對(duì)這一問題，我們?cè)诮衲闏VPR的論文中，向?qū)箤W(xué)習(xí)框架里加入了聯(lián)合訓(xùn)練的思想，解決了傳統(tǒng)域適應(yīng)方法中的語義不一致性和負(fù)遷移等鍵問題。具體做法見圖2（b），我們采用了兩個(gè)互斥分類器對(duì)目標(biāo)域特征進(jìn)行分類。當(dāng)兩個(gè)分類器給出的預(yù)測(cè)很一致時(shí)，我們認(rèn)為該特征已經(jīng)能被很好的分類，語義一致性較高，所以應(yīng)減少全局對(duì)齊策略對(duì)這些特征產(chǎn)生的負(fù)面影響。反之，當(dāng)兩個(gè)分類器給出的預(yù)測(cè)不一致，說明該目標(biāo)域特征還未被很好地分類，依然需要用對(duì)抗損失進(jìn)行與源域特征的對(duì)齊。所以應(yīng)加大對(duì)齊力度，使其盡快和源域特征對(duì)應(yīng)。

4.網(wǎng)絡(luò)結(jié)構(gòu)

為了實(shí)現(xiàn)上述語義級(jí)對(duì)抗目標(biāo)，我們提出了Category-Level Adversarial Network (CLAN)。遵循聯(lián)合訓(xùn)練的思想，我們?cè)谏删W(wǎng)絡(luò)中采用了互斥分類器的結(jié)構(gòu)，以判斷目標(biāo)域的隱層特征是否已達(dá)到了局部語義對(duì)齊。在后續(xù)對(duì)抗訓(xùn)練時(shí)，網(wǎng)絡(luò)依據(jù)互斥分類器產(chǎn)生的兩個(gè)預(yù)測(cè)向量之差（Discrepancy）來對(duì)判別網(wǎng)絡(luò)所反饋的對(duì)抗損失進(jìn)行加權(quán)。網(wǎng)絡(luò)結(jié)構(gòu)如下圖3所示。

圖3中，橙色的線條表示源域流，藍(lán)色的線條表示目標(biāo)域流，綠色的雙箭頭表示我們?cè)谟?xùn)練中強(qiáng)迫兩個(gè)分類器的參數(shù)正交，以達(dá)到互斥分類器的目的。源域流和傳統(tǒng)的方法并無很大不同，唯一的區(qū)別是我們集成了互斥分類器產(chǎn)生的預(yù)測(cè)作為源域的集成預(yù)測(cè)。該預(yù)測(cè)一方面被標(biāo)簽監(jiān)督，產(chǎn)生分割損失（Segmentation Loss），如式（3）所示：

另一方面，該預(yù)測(cè)進(jìn)入判別器D，作為源域樣本。

綠色的雙箭頭處，我們使用余弦距離作為損失，訓(xùn)練兩個(gè)分類器產(chǎn)生不同的模型參數(shù)：

目標(biāo)域流中，集成預(yù)測(cè)同樣進(jìn)入判別器D。不同的是，我們維持兩個(gè)分類器預(yù)測(cè)的差值，作為局部對(duì)齊程度的依據(jù) (local alignment score map）。該差值與D所反饋的損失相乘，生成語義級(jí)別的對(duì)抗損失：

該策略加大了語義不一致特征的對(duì)齊力度，而減弱了語義一致的特征受全局對(duì)齊的影響，從而加強(qiáng)了特征間的語義對(duì)齊，防止了負(fù)遷移的產(chǎn)生。

最后，根據(jù)以上三個(gè)損失，我們可以得出最終的總體損失函數(shù)：

基于以上損失函數(shù)，算法整體的優(yōu)化目標(biāo)為：

在訓(xùn)練中，我們交替優(yōu)化G和D，直至損失收斂。

5. 特征空間分析

我們重點(diǎn)關(guān)注不常見類，如圖4（a）中黃框內(nèi)的柱子，交通標(biāo)志。這些類經(jīng)過傳統(tǒng)方法的分布對(duì)齊，反而在分割結(jié)果中消失了。結(jié)合特征的t-SNE圖，我們可以得出結(jié)論，有些類的特征在沒有進(jìn)行域遷移之前，就已經(jīng)是對(duì)齊的。傳統(tǒng)的全局域適應(yīng)方法反而會(huì)破壞這種語義一致性，造成負(fù)遷移。而我們提出的語義級(jí)別對(duì)抗降低了全局對(duì)齊對(duì)這些已對(duì)齊類的影響，很好的解決了這一問題。

6. 實(shí)驗(yàn)結(jié)果

我們?cè)趦蓚€(gè)域適應(yīng)語義分割任務(wù)，即GTA5 -> Cityscapes 和 SYNTHIA -> Cityscapes 上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。我們采用最常見的Insertion over Union作為分割精度的衡量指標(biāo)，實(shí)驗(yàn)結(jié)果如下。從表1和表2中可以看出，在不同網(wǎng)絡(luò)結(jié)構(gòu)（VGG16，ResNet101）中，我們的方法（CLAN）域適應(yīng)效果都達(dá)到了 state-of-the-art的精度。特別的，在一些不常見類上（用藍(lán)色表示），傳統(tǒng)方法容易造成負(fù)遷移，而CLAN明顯要優(yōu)于其他方法。

表 1. 由虛擬數(shù)據(jù)集GTA5 遷移至真實(shí)數(shù)據(jù)集 Cityscapes 的域適應(yīng)分割精度對(duì)比。

表 2. 由虛擬數(shù)據(jù)集SYNTHIA 遷移至真實(shí)數(shù)據(jù)集 Cityscapes 的域適應(yīng)分割精度對(duì)比。

第二個(gè)實(shí)驗(yàn)中，我們了展示隱空間層面，源域和目標(biāo)域間同語義特征簇的中心距離。該距離越小，說明兩個(gè)域間的語義對(duì)齊越好。結(jié)果見圖 5。

最后，我們給出分割結(jié)果的可視化效果。我們的算法大大提高了分割精度。

7. 總結(jié)

《Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation》引入了聯(lián)合訓(xùn)練結(jié)合對(duì)抗學(xué)習(xí)的設(shè)計(jì)，在無監(jiān)督域適應(yīng)語義分割任務(wù)中取得了較好的實(shí)驗(yàn)結(jié)果。該算法能應(yīng)用前景廣泛，比如能夠很好地應(yīng)用到自動(dòng)駕駛中，讓車輛在不同的駕駛環(huán)境中也能保持魯棒的街景識(shí)別率。

最后

CVPR 2019 Oral 論文精選匯總，值得一看的 CV 論文都在這里（持續(xù)更新中）

CVPR 2019 即將于 6 月在美國(guó)長(zhǎng)灘召開。今年有超過 5165 篇的大會(huì)論文投稿，最終錄取 1299 篇，其中 Oral 論文近 300 篇。為了方便社區(qū)開發(fā)者和學(xué)術(shù)青年查找和閱讀高價(jià)值論文，AI 研習(xí)社從入選的 Oral 論文中，按應(yīng)用方向挑選了部分精華論文，貼在本文，打開鏈接即可查看~

https://ai.yanxishe.com/page/postDetail/11408

二、GNN in CVPR2020

CVPR 2020一共收錄了67篇GNN相關(guān)論文。有空慢慢更。

1.GraphTER: Unsupervised Learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations [MSAR] https://www.bilibili.com/video/av710708361/

2.Grid-GCN for Fast and Scalable Point Cloud Learning [點(diǎn)云]

https://arxiv.org/abs/1912.02984

摘要：由于點(diǎn)云數(shù)據(jù)的稀疏性和不規(guī)則性，越來越多的方法直接使用點(diǎn)云數(shù)據(jù)。在所有基于point的模型中，圖卷積網(wǎng)絡(luò)（GCN）通過完全保留數(shù)據(jù)粒度和利用點(diǎn)間的相互關(guān)系表現(xiàn)出顯著的性能。然而，基于點(diǎn)的網(wǎng)絡(luò)在數(shù)據(jù)結(jié)構(gòu)化(例如，最遠(yuǎn)點(diǎn)采樣(FPS)和鄰接點(diǎn)查詢)上花費(fèi)了大量的時(shí)間，限制了其速度和可擴(kuò)展性。本文提出了一種快速、可擴(kuò)展的點(diǎn)云學(xué)習(xí)方法--Grid-GCN。Grid-GCN采用了一種新穎的數(shù)據(jù)結(jié)構(gòu)策略--Coverage-Aware Grid Query(CAGQ)。通過利用網(wǎng)格空間的效率，CAGQ在降低理論時(shí)間復(fù)雜度的同時(shí)提高了空間覆蓋率。與最遠(yuǎn)的點(diǎn)采樣（FPS）和Ball Query等流行的采樣方法相比，CAGQ的速度提高了50倍。通過網(wǎng)格上下文聚合(GCA)模塊，Grid-GCN在主要點(diǎn)云分類和分割基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能，并且運(yùn)行時(shí)間比以前的方法快得多。值得注意的是，在每個(gè)場(chǎng)景81920個(gè)點(diǎn)的情況下，Grid-GCN在ScanNet上的推理速度達(dá)到了50fps。

3. Object Relational Graph with Teacher-Recommended Learning for Video Captioning

https://arxiv.org/abs/2002.11566

摘要：充分利用視覺和語言的信息對(duì)于視頻字幕任務(wù)至關(guān)重要?，F(xiàn)有的模型由于忽視了目標(biāo)之間的交互而缺乏足夠的視覺表示，并且由于長(zhǎng)尾（long-tailed）問題而對(duì)與內(nèi)容相關(guān)的詞缺乏足夠的訓(xùn)練。在本文中，我們提出了一個(gè)完整的視頻字幕系統(tǒng)，包括一種新的模型和一種有效的訓(xùn)練策略。具體地說，我們提出了一種基于目標(biāo)關(guān)系圖(ORG)的編碼器，該編碼器捕獲了更詳細(xì)的交互特征，以豐富視覺表示。同時(shí)，我們?cè)O(shè)計(jì)了一種老師推薦學(xué)習(xí)(Teacher-Recommended Learning, TRL)的方法，充分利用成功的外部語言模型(ELM)將豐富的語言知識(shí)整合到字幕模型中。ELM生成了在語義上更相似的單詞，這些單詞擴(kuò)展了用于訓(xùn)練的真實(shí)單詞，以解決長(zhǎng)尾問題。對(duì)三個(gè)基準(zhǔn)MSVD，MSR-VTT和VATEX進(jìn)行的實(shí)驗(yàn)評(píng)估表明，所提出的ORG-TRL系統(tǒng)達(dá)到了最先進(jìn)的性能。廣泛的消去研究和可視化說明了我們系統(tǒng)的有效性。

4. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction

https://arxiv.org/abs/2002.11927

https://github.com/abduallahmohamed/Social-STGCNN

摘要：有了更好地了解行人行為的機(jī)器可以更快地建模智能體（如：自動(dòng)駕駛汽車）和人類之間的特征交互。行人的運(yùn)動(dòng)軌跡不僅受行人自身的影響，還受與周圍物體相互作用的影響。以前的方法通過使用各種聚合方法（整合了不同的被學(xué)習(xí)的行人狀態(tài)）對(duì)這些交互進(jìn)行建模。我們提出了社交-時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)(Social-STGCNN)，它通過將交互建模為圖來代替聚合方法。結(jié)果表明，最終位偏誤差(FDE)比現(xiàn)有方法提高了20%，平均偏移誤差(ADE)提高了8.5倍，推理速度提高了48倍。此外，我們的模型是數(shù)據(jù)高效的，在只有20%的訓(xùn)練數(shù)據(jù)上ADE度量超過了以前的技術(shù)。我們提出了一個(gè)核函數(shù)來將行人之間的社會(huì)交互嵌入到鄰接矩陣中。通過定性分析，我們的模型繼承了行人軌跡之間可以預(yù)期的社會(huì)行為。

5. Unbiased Scene Graph Generation from Biased Training

https://arxiv.org/abs/2002.11949

https://github.com/KaihuaTang/Scene-Graph-Benchmark.pytorch

摘要：由于嚴(yán)重的訓(xùn)練偏差，場(chǎng)景圖生成（SGG）的任務(wù)仍然不夠?qū)嶋H，例如，將海灘上的各種步行/坐在/躺下的人簡(jiǎn)化為海灘上的人。基于這樣的SGG，VQA等下游任務(wù)很難推斷出比一系列對(duì)象更好的場(chǎng)景結(jié)構(gòu)。然而，SGG中的debiasing 是非常重要的，因?yàn)閭鹘y(tǒng)的去偏差方法不能區(qū)分好的和不好的偏差，例如，好的上下文先驗(yàn)(例如，人看書而不是吃東西)和壞的長(zhǎng)尾偏差(例如，將在后面/前面簡(jiǎn)化為鄰近)。與傳統(tǒng)的傳統(tǒng)的似然推理不同，在本文中，我們提出了一種新的基于因果推理的SGG框架。我們首先為SGG建立因果關(guān)系圖，然后用該因果關(guān)系圖進(jìn)行傳統(tǒng)的有偏差訓(xùn)練。然后，我們提出從訓(xùn)練好的圖中提取反事實(shí)因果關(guān)系（counterfactual causality），以推斷應(yīng)該被去除的不良偏差的影響。我們使用Total Direct Effect作為無偏差SGG的最終分?jǐn)?shù)。我們的框架對(duì)任何SGG模型都是不可知的，因此可以在尋求無偏差預(yù)測(cè)的社區(qū)中廣泛應(yīng)用。通過在SGG基準(zhǔn)Visual Genome上使用我們提出的場(chǎng)景圖診斷工具包和幾種流行的模型，與以前的最新方法相比有顯著提升。

6. Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences

https://arxiv.org/abs/2001.06891

在本文中，我們考慮了一項(xiàng)用于多形式句子（Multi-Form Sentences）的時(shí)空Video Grounding（STVG）的任務(wù)。即在給定未剪輯的視頻和描述對(duì)象的陳述句/疑問句，STVG旨在定位所查詢目標(biāo)的時(shí)空管道（tube）。STVG有兩個(gè)具有挑戰(zhàn)性的設(shè)置：(1)我們需要從未剪輯的視頻中定位時(shí)空對(duì)象管道，但是對(duì)象可能只存在于視頻的一小段中；（2）我們需要處理多種形式的句子，包括帶有顯式賓語的陳述句和帶有未知賓語的疑問句。由于無效的管道預(yù)生成和缺乏對(duì)象關(guān)系建模，現(xiàn)有方法無法解決STVG任務(wù)。為此，我們提出了一種新穎的時(shí)空?qǐng)D推理網(wǎng)絡(luò)(STGRN)。首先，我們構(gòu)建時(shí)空區(qū)域圖來捕捉具有時(shí)間對(duì)象動(dòng)力學(xué)的區(qū)域關(guān)系，包括每幀內(nèi)的隱式、顯式空間子圖和跨幀的時(shí)間動(dòng)態(tài)子圖。然后，我們將文本線索加入到圖中，并開發(fā)了多步跨模態(tài)圖推理。接下來，我們引入了一種具有動(dòng)態(tài)選擇方法的時(shí)空定位器，該定位器可以直接檢索時(shí)空管道，而不需要預(yù)先生成管道。此外，我們?cè)谝曨l關(guān)系數(shù)據(jù)集Vidor的基礎(chǔ)上構(gòu)建了一個(gè)大規(guī)模的video grounding數(shù)據(jù)集VidSTG。大量的實(shí)驗(yàn)證明了該方法的有效性。

三、cvpr一年多少論文

cvpr一年300篇論文左右。

國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR）是IEEE一年一度的學(xué)術(shù)性會(huì)議，會(huì)議的主要內(nèi)容是計(jì)算機(jī)視覺與模式識(shí)別技術(shù)。

CVPR是世界頂級(jí)的計(jì)算機(jī)視覺會(huì)議（三大頂會(huì)之一，另外兩個(gè)是ICCV和ECCV），近年來每年有約1500名參加者，收錄的論文數(shù)量一般300篇左右。本會(huì)議每年都會(huì)有固定的研討主題，而每一年都會(huì)有公司贊助該會(huì)議并獲得在會(huì)場(chǎng)展示的機(jī)會(huì)。

簡(jiǎn)介

CVPR有著較為嚴(yán)苛的錄用標(biāo)準(zhǔn)，會(huì)議整體的錄取率通常不超過30%，而口頭報(bào)告的論文比例更是不高于5%。而會(huì)議的組織方是一個(gè)循環(huán)的志愿群體，通常在某次會(huì)議召開的三年之前通過遴選產(chǎn)生。CVPR的審稿一般是雙盲的，也就是說會(huì)議的審稿與投稿方均不知道對(duì)方的信息。

通常某一篇論文需要由三位審稿者進(jìn)行審讀。最后再由會(huì)議的領(lǐng)域主席(area chair)決定論文是否可被接收。

四、EfficientDet : 快又準(zhǔn)，EfficientNet作者在目標(biāo)檢測(cè)領(lǐng)域的移植 | CVPR 2020

論文: EfficientDet: Scalable and Efficient Object Detection

目前目標(biāo)檢測(cè)領(lǐng)域，高精度的模型通常需要很大的參數(shù)量和計(jì)算量，而輕量級(jí)的網(wǎng)絡(luò)則一般都會(huì)犧牲精度。因此，論文希望建立一個(gè)可伸縮的高精度且高性能的檢測(cè)框架。論文基于one-stage的檢測(cè)網(wǎng)絡(luò)范式，進(jìn)行了多種主干網(wǎng)絡(luò)、特征融合和class/box預(yù)測(cè)的結(jié)構(gòu)嘗試，主要面臨兩個(gè)挑戰(zhàn):

FPN是目前最廣泛的多尺度融合方法，最近也有PANet和NAS-FPN一類跨尺度特征融合方法。對(duì)于融合不同的特征，最初的方法都只是簡(jiǎn)單地直接相加，然而由于不同的特征是不同的分辨率，對(duì)融合輸出特征的共享應(yīng)該是不相等的。為了解決這一問題，論文提出簡(jiǎn)單但高效加權(quán)的bi-directional feature pyramid network(BiFPN)，該方法使用可學(xué)習(xí)的權(quán)重來學(xué)習(xí)不同特征的重要性，同時(shí)反復(fù)地進(jìn)行top-down和bottom-up的多尺度融合

論文認(rèn)為除了縮放主干網(wǎng)絡(luò)和輸入圖片的分辨率，特征網(wǎng)絡(luò)(feature network)和box/class預(yù)測(cè)網(wǎng)絡(luò)的縮放對(duì)準(zhǔn)確率和性能也是很重要的。作者借鑒EfficientNet，提出針對(duì)檢測(cè)網(wǎng)絡(luò)的混合縮放方法(compound scaling method)，同時(shí)對(duì)主干網(wǎng)絡(luò)，特征網(wǎng)絡(luò)和box/class預(yù)測(cè)網(wǎng)絡(luò)的分辨率/深度/寬度進(jìn)行縮放

最后，論文將EfficientNet作為主干，結(jié)合BiFPN和混合縮放，提出新的檢測(cè)系列EfficientDet，精度高且輕量，COCO上的結(jié)果如圖1，論文的貢獻(xiàn)有以下3點(diǎn)：

定義多尺寸特征，論文的目標(biāo)是找到變化函數(shù) 來高效融合不同的特征，輸出新特征。具體地，圖2a展示了top-down FPN網(wǎng)絡(luò)結(jié)構(gòu)，一般FPN只有一層，這里應(yīng)該為了對(duì)比寫了repeat形式。FPN獲取3-7層的輸入，代表一個(gè)分辨率為的特征層

top-down FPN操作如上所示，為上采用或下采樣來對(duì)齊分辨率，通常是特征處理的卷積操作

top-down FPN受限于單向的信息流，為了解決這一問題，PANet(圖2b)增加了額外的bottom-up路徑的融合網(wǎng)絡(luò)，NAS_FPN(圖2c)使用神經(jīng)架構(gòu)搜索來獲取更好的跨尺度特征網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，但需要大量資源進(jìn)行搜索。其中準(zhǔn)確率最高的是PANet，但是其需要太多的參數(shù)和計(jì)算量，為了提高性能，論文對(duì)跨尺寸連接做了幾點(diǎn)改進(jìn)：

大多的特征融合方法都將輸入特征平等對(duì)待，而論文觀察到不同分辨率的輸入對(duì)融合輸出的特征的貢獻(xiàn)應(yīng)該是不同的。為了解決這一問題，論文提出在融合時(shí)對(duì)輸入特征添加額外的權(quán)重預(yù)測(cè)，主要有以下方法：

，是可學(xué)習(xí)的權(quán)重，可以是標(biāo)量(per-feature)，也可以是向量(per-channel)，或者是多維tensor(per-pixel)。論文發(fā)現(xiàn)標(biāo)量形式已經(jīng)足夠提高準(zhǔn)確率，且不增加計(jì)算量，但是由于標(biāo)量是無限制的，容易造成訓(xùn)練不穩(wěn)定，因此，要對(duì)其進(jìn)行歸一化限制

，利用softmax來歸一化所有的權(quán)重，但softmax操作會(huì)導(dǎo)致GPU性能的下降，后面會(huì)詳細(xì)說明

，Relu保證，保證數(shù)值穩(wěn)定。這樣，歸一化的權(quán)重也落在，由于沒有softmax操作，效率更高，大約加速30%

BiFPN集合了雙向跨尺寸的連接和快速歸一化融合，level 6的融合操作如上，為top-down路徑的中間特征，是bottom-up路徑的輸出特征，其它層的特征也是類似的構(gòu)造方法。為了進(jìn)一步提高效率，論文特征融合時(shí)采用depthwise spearable convolution，并在每個(gè)卷積后面添加batch normalization和activation

EfficientDet的結(jié)構(gòu)如圖3所示，基于one-stage檢測(cè)器的范式，將ImageNet-pretrained的EfficientNet作為主干，BiFPN將主干的3-7層特征作為輸入，然后重復(fù)進(jìn)行top-down和bottom-up的雙向特征融合，所有層共享class和box網(wǎng)絡(luò)

之前檢測(cè)算法的縮放都是針對(duì)單一維度的，從EfficientNet得到啟發(fā)，論文提出檢測(cè)網(wǎng)絡(luò)的新混合縮放方法，該方法使用混合因子來同時(shí)縮放主干網(wǎng)絡(luò)的寬度和深度、BiFPN網(wǎng)絡(luò)、class/box網(wǎng)絡(luò)和分辨率。由于縮放的維度過多，EfficientNet使用的網(wǎng)格搜索效率太慢，論文改用heuristic-based的縮放方法來同時(shí)縮放網(wǎng)絡(luò)的所有維度

EfficientDet重復(fù)使用EfficientNet的寬度和深度因子，EfficinetNet-B0至EfficientNet-B6

論文以指數(shù)形式來縮放BiFPN寬度 (#channels)，而以線性形式增加深度 (#layers)，因?yàn)樯疃刃枰拗圃谳^小的數(shù)字

box/class預(yù)測(cè)網(wǎng)絡(luò)的寬度固定與BiFPN的寬度一致，而用公式2線性增加深度(#layers)

因?yàn)锽iFPN使用3-7層的特征，因此輸入圖片的分辨率必需能被整除，所以使用公式3線性增加分辨率

結(jié)合公式1-3和不同的，論文提出EfficientDet-D0到EfficientDet-D6，具體參數(shù)如Table 1，EfficientDet-D7沒有使用，而是在D6的基礎(chǔ)上增大輸入分辨率

模型訓(xùn)練使用momentum=0.9和weight decay=4e-5的SGD優(yōu)化器，在初始的5%warm up階段，學(xué)習(xí)率線性從0增加到0.008，之后使用余弦衰減規(guī)律(cosine decay rule)下降，每個(gè)卷積后面都添加Batch normalization，batch norm decay=0.997，epsilon=1e-4，梯度使用指數(shù)滑動(dòng)平均，decay=0.9998，采用和的focal loss，bbox的長(zhǎng)寬比為，32塊GPU，batch size=128，D0-D4采用RetinaNet的預(yù)處理方法，D5-D7采用NAS-FPN的增強(qiáng)方法

Table 2展示了EfficientDet與其它算法的對(duì)比結(jié)果，EfficientDet準(zhǔn)確率更高且性能更好。在低準(zhǔn)確率區(qū)域，Efficient-D0跟YOLOv3的相同準(zhǔn)確率但是只用了1/28的計(jì)算量。而與RetianaNet和Mask-RCNN對(duì)比，相同的準(zhǔn)確率只使用了1/8參數(shù)和1/25的計(jì)算量。在高準(zhǔn)確率區(qū)域，EfficientDet-D7達(dá)到了51.0mAP，比NAS-FPN少使用4x參數(shù)量和9.3x計(jì)算量，而anchor也僅使用3x3，非9x9

論文在實(shí)際的機(jī)器上對(duì)模型的推理速度進(jìn)行了對(duì)比，結(jié)果如圖4所示，EfficientDet在GPU和CPU上分別有3.2x和8.1x加速

論文對(duì)主干網(wǎng)絡(luò)和BiFPN的具體貢獻(xiàn)進(jìn)行了實(shí)驗(yàn)對(duì)比，結(jié)果表明主干網(wǎng)絡(luò)和BiFPN都是很重要的。這里要注意的是，第一個(gè)模型應(yīng)該是RetinaNet-R50(640)，第二和第三個(gè)模型應(yīng)該是896輸入，所以準(zhǔn)確率的提升有一部分是這個(gè)原因。另外使用BiFPN后模型精簡(jiǎn)了很多，主要得益于channel的降低，F(xiàn)PN的channel都是256和512的，而BiFPN只使用160維，這里應(yīng)該沒有repeat

Table 4展示了Figure 2中同一網(wǎng)絡(luò)使用不同跨尺寸連接的準(zhǔn)確率和復(fù)雜度，BiFPN在準(zhǔn)確率和復(fù)雜度上都是相當(dāng)不錯(cuò)的

Table 5展示了不同model size下兩種加權(quán)方法的對(duì)比，在精度損失不大的情況下，論文提出的fast normalized fusion能提升26%-31%的速度

figure 5展示了兩種方法在訓(xùn)練時(shí)的權(quán)重變化過程，fast normalizaed fusion的變化過程與softmax方法十分相似。另外，可以看到權(quán)重的變化十分快速，這證明不同的特征的確貢獻(xiàn)是不同的，

論文對(duì)比了混合縮放方法與其它方法，盡管開始的時(shí)候相差不多，但是隨著模型的增大，混合精度的作用越來越明顯

論文提出BiFPN這一輕量級(jí)的跨尺寸FPN以及定制的檢測(cè)版混合縮放方法，基于這些優(yōu)化，推出了EfficientDet系列算法，既保持高精度也保持了高性能，EfficientDet-D7達(dá)到了SOTA。整體而言，論文的idea基于之前的EfficientNet，創(chuàng)新點(diǎn)可能沒有之前那么驚艷，但是從實(shí)驗(yàn)來看，論文推出的新檢測(cè)框架十分實(shí)用，期待作者的開源

以上就是關(guān)于cvpr論文十大排名相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。