正文

視覺分揀機(jī)器人（視覺分揀機(jī)器人課程設(shè)計(jì)）

發(fā)布時(shí)間：2023-07-02 03:58:51 稿源：創(chuàng)意嶺閱讀： 903

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于視覺分揀機(jī)器人的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

本文目錄:

1、機(jī)器視覺檢測(cè)帶你走進(jìn)工業(yè)4.0，體驗(yàn)人工智能新"視"界
2、機(jī)器人視覺與計(jì)算機(jī)視覺：有什么不同
3、機(jī)器視覺系統(tǒng)在機(jī)器人中主要有哪些功能？
4、機(jī)器人抓取時(shí)怎么定位的？用什么感測(cè)器來檢測(cè)

一、機(jī)器視覺檢測(cè)帶你走進(jìn)工業(yè)4.0，體驗(yàn)人工智能新"視"界

工業(yè)4.0與智能制造密不可分，智能制造與機(jī)器視覺密不可分。機(jī)器視覺是近年來發(fā)展迅速的新技術(shù)，利用光學(xué)和機(jī)電一體化使機(jī)器具有視覺功能。機(jī)器視覺為工業(yè)自動(dòng)化打開了一扇“新窗口”。在智能制造時(shí)代，機(jī)器視覺具有非常大的發(fā)展?jié)摿Α?span style="display:none">aSv創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計(jì)、營(yíng)銷策劃公司

機(jī)器視覺使機(jī)器能夠了解世界

顧名思義，機(jī)器視覺是用機(jī)器代替人眼進(jìn)行測(cè)量和判斷。機(jī)器視覺的應(yīng)用主要表現(xiàn)在四個(gè)方面：

1、導(dǎo)向和定位：裝載和卸載使用機(jī)器視覺定位和引導(dǎo)機(jī)器人手臂準(zhǔn)確抓握。

2、外觀檢查：檢查生產(chǎn)線上的產(chǎn)品是否存在質(zhì)量問題。這個(gè)環(huán)節(jié)也是取代勞動(dòng)力最重要的部分。

3、高精度檢測(cè)：部分產(chǎn)品精度高，達(dá)到0.01~0.02m甚至u，人眼無(wú)法檢測(cè)到，必須用機(jī)器完成。

4、識(shí)別：數(shù)據(jù)可追溯性和收集，適用于汽車零件，食品，醫(yī)藥等其他應(yīng)用。

以檢測(cè)應(yīng)用為例，簡(jiǎn)要介紹機(jī)器視覺的工作原理。使用工業(yè)相機(jī)收集被測(cè)設(shè)備的圖像是機(jī)器視覺中最重要的部分。為了檢測(cè)所有需要的功能，有必要不斷調(diào)整光源和攝像機(jī)的參數(shù)，然后使用專業(yè)的圖像處理軟件將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，然后計(jì)算出來，提取目標(biāo)的檢測(cè)特征，如顏色、器件表面是否有劃痕、尺寸是否合格，表面涂層是否均勻等，然后輸出結(jié)果，反饋到機(jī)械端對(duì)器件進(jìn)行分檢，將不合格器件挑選出來，即圖像獲取、信息處理和完成分揀三個(gè)過程。

在智能制造時(shí)代，機(jī)器視覺具有很大的發(fā)展?jié)摿?

全球機(jī)器視覺行業(yè)主要分布在北美，歐洲和日本，北美占62％，歐洲占15％，日本占10％。

中國(guó)的機(jī)器視覺相關(guān)產(chǎn)業(yè)起步較晚，但發(fā)展速度很快。自2009年以來，它已進(jìn)入快速發(fā)展期，年增長(zhǎng)率為15-20％。目前，中國(guó)已成為僅次于美國(guó)和日本的世界第三大機(jī)器視覺市場(chǎng)。 2015年，其市場(chǎng)規(guī)模達(dá)到22億元，占全球的8.3％，增長(zhǎng)率為22.2％，遠(yuǎn)高于全球平均水平。從2016年到2020年，中國(guó)機(jī)器視覺市場(chǎng)的增長(zhǎng)率預(yù)計(jì)將保持在20％以上，這將達(dá)到10億美元的市場(chǎng)空間。

中國(guó)的機(jī)器視覺系統(tǒng)仍主要用于半導(dǎo)體和電子制造領(lǐng)域。 2015年，它占總數(shù)的46.4％，特別是SMT貼片，AOI/AXI設(shè)備和連接器檢測(cè)。下游機(jī)器視覺應(yīng)用中汽車和醫(yī)藥也占很大比例，2015年分別達(dá)到10.9％和9.7％。

機(jī)器視覺系統(tǒng)的優(yōu)點(diǎn)是提高所生產(chǎn)產(chǎn)品的質(zhì)量和生產(chǎn)線的自動(dòng)化。特別是在一些不適合手工作業(yè)或人眼難以滿足要求的危險(xiǎn)工作中，同時(shí)，在大規(guī)模的工業(yè)生產(chǎn)過程中，產(chǎn)品質(zhì)量通過人工視覺檢查，精度不高，機(jī)器視覺檢測(cè)方法可以大大提高。提高生產(chǎn)效率和生產(chǎn)自動(dòng)化。業(yè)界預(yù)計(jì)機(jī)器視覺的未來將進(jìn)一步開放。

機(jī)器視覺技術(shù)的工業(yè)應(yīng)用

目前，國(guó)內(nèi)機(jī)器視覺技術(shù)廣泛應(yīng)用于電子和半導(dǎo)體制造，汽車制造，工業(yè)測(cè)試，藥品檢測(cè)和包裝，食品包裝，印刷和測(cè)試，鐵路和公路測(cè)試，公共安全，金融，生物醫(yī)學(xué)，娛樂，軍事，化學(xué)研究和其他領(lǐng)域。毫無(wú)疑問，工業(yè)領(lǐng)域是機(jī)器視覺應(yīng)用的最大比例。重要原因是中國(guó)已成為全球制造，高需求零件加工的加工中心及其相應(yīng)的先進(jìn)生產(chǎn)線改造，使機(jī)械視覺產(chǎn)品在工業(yè)制造中得以實(shí)現(xiàn)。

基于機(jī)器視覺的工業(yè)機(jī)器人定位技術(shù)

機(jī)器人的智能程度影響整個(gè)行業(yè)的發(fā)展。傳統(tǒng)機(jī)器人主要通過教學(xué)再現(xiàn)或預(yù)編程來執(zhí)行各種操作，這極大地限制了機(jī)器人的應(yīng)用。具有力感，機(jī)器視覺和各種傳感器的機(jī)器人運(yùn)動(dòng)控制技術(shù)是靈活自動(dòng)化制造技術(shù)的典范。通過機(jī)器人的視覺控制，不需要預(yù)先教導(dǎo)或離線編程工業(yè)機(jī)器人的運(yùn)動(dòng)軌跡，這可以節(jié)省很多錢，編程時(shí)間，提高生產(chǎn)效率和加工質(zhì)量。

工業(yè)在線檢測(cè)系統(tǒng)

機(jī)器視覺在工業(yè)在線檢測(cè)的各種應(yīng)用中非?；钴S，例如：印刷電路板的目視檢查，鋼板表面的自動(dòng)探傷，大型工件的平行度和垂直度測(cè)量，容器體積或雜質(zhì)檢測(cè)，自動(dòng)識(shí)別和分類，機(jī)械零件幾何尺寸測(cè)量等。

例如，ROVER（汽車）800系列車身輪廓尺寸精度的100％在線檢測(cè)是工業(yè)檢測(cè)中使用的機(jī)器視覺系統(tǒng)的典型示例。該系統(tǒng)由62個(gè)測(cè)量單元組成，每個(gè)測(cè)量單元由一個(gè)激光器和一個(gè)CCD攝像頭組成，用于檢測(cè)機(jī)身外殼上的288個(gè)測(cè)量點(diǎn)。檢查系統(tǒng)每40秒檢測(cè)一個(gè)車身的速度，并檢測(cè)三種類型的車身。系統(tǒng)將測(cè)試結(jié)果與CAD模型中的尺寸進(jìn)行比較，測(cè)量精度為±0.1 mm。

二、機(jī)器人視覺與計(jì)算機(jī)視覺：有什么不同

計(jì)算機(jī)視覺與機(jī)器視覺，首先是應(yīng)用場(chǎng)景不一樣，就像視遠(yuǎn)圖像趙旭回答的那樣：你把攝像頭對(duì)著人就是CV，對(duì)著車間就是MV。

計(jì)算機(jī)視覺和機(jī)器視覺應(yīng)用場(chǎng)景不同，就像拉貨車和載客車是的，側(cè)重點(diǎn)不同而已，一個(gè)側(cè)重人工智能分支，一個(gè)側(cè)重工業(yè)應(yīng)用！簡(jiǎn)單說起來的話，計(jì)算機(jī)視覺偏重于深度學(xué)習(xí)并且偏向軟件，機(jī)器視覺偏重于特征識(shí)別同時(shí)對(duì)硬件方面要求也比較高，不過隨著對(duì)智能識(shí)別要求越來越高的發(fā)展，這兩個(gè)方向畢竟會(huì)互相滲透互相融合，區(qū)別也僅僅限于應(yīng)用領(lǐng)域不同而已。

其次，我感覺最大的區(qū)別，在于技術(shù)要求的側(cè)重點(diǎn)不一樣，甚至差別很大。

計(jì)算機(jī)視覺，主要是對(duì)質(zhì)的分析，比如分類識(shí)別，這是一個(gè)杯子那是一條狗?；蛘咦錾矸荽_認(rèn)，比如人臉識(shí)別，車牌識(shí)別?；蛘咦鲂袨榉治觯热缛藛T入侵，徘徊，遺留物，人群聚集等。

機(jī)器視覺，主要側(cè)重對(duì)量的分析，比如通過視覺去測(cè)量一個(gè)零件的直徑，一般來說，對(duì)準(zhǔn)確度要求很高。我記得以前接觸過一個(gè)需求: 視覺測(cè)量鐵路道岔缺口。哥剛畢業(yè)的時(shí)候在鐵路上班，做過控制系統(tǒng)，還開過內(nèi)燃機(jī)車，很清楚道岔缺口的重要性，這玩意兒你說要是測(cè)不準(zhǔn)，呵呵:)

當(dāng)然，也不能完全按質(zhì)或量一刀切，有些計(jì)算機(jī)視覺應(yīng)用也需要分析量，比如商場(chǎng)的人數(shù)統(tǒng)計(jì)。有些機(jī)器視覺也需要分析質(zhì)，比如零件自動(dòng)分揀。但，計(jì)算機(jī)視覺一般來說對(duì)量的要求不會(huì)很高，商場(chǎng)人數(shù)統(tǒng)計(jì)誤差個(gè)百分之幾死不了人的，但機(jī)器視覺真的會(huì)，比如那個(gè)道岔缺口測(cè)量。

既然要求這么高，是不是機(jī)器視覺就比計(jì)算機(jī)視覺難呢？也不是的，應(yīng)該說各有各的難處。

計(jì)算機(jī)視覺的應(yīng)用場(chǎng)景相對(duì)復(fù)雜，要識(shí)別的物體類型也多，形狀不規(guī)則，規(guī)律性不強(qiáng)。有些時(shí)候甚至很難用客觀量作為識(shí)別的依據(jù)，比如識(shí)別年齡，性別。所以深度學(xué)習(xí)比較適合計(jì)算機(jī)視覺。而且光線，距離，角度等前提條件，往往是動(dòng)態(tài)的，所以對(duì)于準(zhǔn)確度要求，一般來說要低一些。

機(jī)器視覺則剛好相反，場(chǎng)景相對(duì)簡(jiǎn)單固定，識(shí)別的類型少(在同一個(gè)應(yīng)用中)，規(guī)則且有規(guī)律，但對(duì)準(zhǔn)確度，處理速度要求都比較高。關(guān)于速度，一般機(jī)器視覺的分辨率遠(yuǎn)高于計(jì)算機(jī)視覺，而且往往要求實(shí)時(shí)，所以處理速度很關(guān)鍵，目前基本上不適合采用深度學(xué)習(xí)。

以上討論的是技術(shù)，商業(yè)方面，計(jì)算機(jī)視覺的應(yīng)用面更廣一些，畢竟很多業(yè)務(wù)是跟人相關(guān)，比如人臉識(shí)別，行為分析等，很多垂直領(lǐng)域都有計(jì)算機(jī)視覺潛在需求，相對(duì)來說，更適合創(chuàng)業(yè)；

而機(jī)器視覺顧名思義，業(yè)務(wù)主要跟機(jī)器相關(guān)，而且對(duì)準(zhǔn)確度甚至安全性要求很高，也就在資質(zhì)品牌方面有較高的門檻，所以寡頭壟斷嚴(yán)重，一般來說，更適合上班而不是創(chuàng)業(yè)。

機(jī)器視覺（Machine Vision, MV） & 計(jì)算機(jī)視覺(Computer Vision, CV)

從學(xué)科分類上，二者都被認(rèn)為是 Artificial Intelligence 下屬科目.

有幾個(gè)分支：

一個(gè)是圖像處理，主要是信號(hào)與系統(tǒng)，統(tǒng)計(jì)，優(yōu)化

一個(gè)是求解景物與圖像之間的關(guān)系，如立體視覺、三維重建，主要是幾何

一個(gè)是模式識(shí)別，例如如何分割圖像、識(shí)別目標(biāo)，主要是人工智能

但實(shí)際提及時(shí)，主觀感覺上

MV 更多注重廣義圖像信號(hào)（激光，攝像頭）與自動(dòng)化控制（生產(chǎn)線）方面的應(yīng)用。

CV 更多注重（2D, 3D）圖像信號(hào)本身的研究以及和圖像相關(guān)的交叉學(xué)科研究（醫(yī)學(xué)圖像分析，地圖導(dǎo)航）。

三、機(jī)器視覺系統(tǒng)在機(jī)器人中主要有哪些功能？

機(jī)器視覺按照功能可以大致區(qū)分為識(shí)別、定位、測(cè)量、檢測(cè)、引導(dǎo)五類。

（1）識(shí)別：機(jī)器視覺可以對(duì)圖像進(jìn)行處理、分析和理解，用于對(duì)一些一維碼或二維碼的解碼、光學(xué)字符的識(shí)別與確認(rèn)、顏色及形狀的識(shí)別等；

（2）機(jī)器視覺采用先進(jìn)的圖像視覺檢測(cè)技術(shù)，對(duì)高速運(yùn)動(dòng)的工業(yè)產(chǎn)品進(jìn)行實(shí)時(shí)全面視覺定位分析，主要用于自動(dòng)生產(chǎn)及裝配；

（3）機(jī)器視覺可以在非接觸的情況下，對(duì)產(chǎn)品尺寸進(jìn)行高精度的測(cè)量，以確定產(chǎn)品外觀的尺寸是否存在誤差；

（4）機(jī)器視覺可以用于產(chǎn)品表面的精密檢測(cè)，包括目標(biāo)方向及位置檢測(cè)，檢測(cè)產(chǎn)品表面的壓傷、破損、刮傷、臟污、變形等問題，及印刷表面的瑕疵檢測(cè)等；

（5）機(jī)器視覺普遍應(yīng)用于智能制造的工業(yè)機(jī)器人領(lǐng)域，當(dāng)前工業(yè)機(jī)器人已經(jīng)大范圍應(yīng)用于自動(dòng)化流水線，機(jī)器視覺系統(tǒng)可以在機(jī)器人操作過程中幫助機(jī)器人實(shí)時(shí)了解工作環(huán)境的變化，相應(yīng)的調(diào)整動(dòng)作以保證任務(wù)的正確完成。【服務(wù)熱線，貼心服務(wù)】

RegemMarr研祥金碼業(yè)務(wù)主要涵蓋新能源、鋰電、半導(dǎo)體、電子元件、包裝、家用電器、汽車、食品、醫(yī)藥、物流及自動(dòng)化設(shè)備等領(lǐng)域。公司產(chǎn)品自上市以來，已在華為、京東方、海信、小米、創(chuàng)維、長(zhǎng)虹、比亞迪、美的、大疆、富士康、元?dú)馍值戎髽I(yè)得到廣泛應(yīng)用，深受贊譽(yù)與信賴。

四、機(jī)器人抓取時(shí)怎么定位的？用什么感測(cè)器來檢測(cè)

機(jī)器人抓取時(shí)怎么定位的？用什么感測(cè)器來檢測(cè)

機(jī)械手動(dòng)作是靠伺服電機(jī)上的編碼器反饋到工控機(jī)處理中心訊號(hào)與預(yù)設(shè)定引數(shù)比較、修正再輸出給伺服電機(jī)執(zhí)行精確定位的。也就是說靠預(yù)先程式設(shè)計(jì)決定的，不是靠感測(cè)器定位的。程式設(shè)計(jì)可解決機(jī)械手三維空間動(dòng)作精確方向、速度、執(zhí)行時(shí)間…………

依靠定位點(diǎn)以及零點(diǎn)位置，機(jī)器手定期修正累加誤差，抓取最高階的是應(yīng)用影象技術(shù)，配合物料定位點(diǎn)。

一般是照相定位的。感測(cè)器是COMS或者CCD。

用預(yù)先程式設(shè)計(jì)及其執(zhí)行中該伺服電機(jī)軸尾的編碼器反饋訊號(hào)至計(jì)算中心精確修整偏差定位的。

機(jī)器人家上了解到，機(jī)器人領(lǐng)域的視覺（Machine Vision）跟計(jì)算機(jī)領(lǐng)域（Computer Vision）的視覺有一些不同：機(jī)器視覺的目的是給機(jī)器人提供操作物體的資訊。所以，機(jī)器視覺的研究大概有這幾塊：

物體識(shí)別（Object Recognition）：在影象中檢測(cè)到物體型別等，這跟 CV 的研究有很大一部分交叉；

位姿估計(jì)（Pose Estimation）：計(jì)算出物體在攝像機(jī)座標(biāo)系下的位置和姿態(tài)，對(duì)于機(jī)器人而言，需要抓取東西，不僅要知道這是什么，也需要知道它具體在哪里；

相機(jī)標(biāo)定（Camera Calibration）：因?yàn)樯厦孀龅闹皇怯?jì)算了物體在相機(jī)座標(biāo)系下的座標(biāo)，我們還需要確定相機(jī)跟機(jī)器人的相對(duì)位置和姿態(tài)，這樣才可以將物 *** 姿轉(zhuǎn)換到機(jī)器人位姿。

當(dāng)然，我這里主要是在物體抓取領(lǐng)域的機(jī)器視覺；SLAM 等其他領(lǐng)域的就先不講了。

由于視覺是機(jī)器人感知的一塊很重要內(nèi)容，所以研究也非常多了，我就我了解的一些，按照由簡(jiǎn)入繁的順序介紹吧：

0. 相機(jī)標(biāo)定

這其實(shí)屬于比較成熟的領(lǐng)域。由于我們所有物體識(shí)別都只是計(jì)算物體在相機(jī)座標(biāo)系下的位姿，但是，機(jī)器人操作物體需要知道物體在機(jī)器人座標(biāo)系下的位姿。所以，我們先需要對(duì)相機(jī)的位姿進(jìn)行標(biāo)定。內(nèi)參標(biāo)定就不說了，參照張正友的論文，或者各種標(biāo)定工具箱；外參標(biāo)定的話，根據(jù)相機(jī)安裝位置，有兩種方式：

Eye to Hand：相機(jī)與機(jī)器人極座標(biāo)系固連，不隨機(jī)械臂運(yùn)動(dòng)而運(yùn)動(dòng)

Eye in Hand：相機(jī)固連在機(jī)械臂上，隨機(jī)械臂運(yùn)動(dòng)而運(yùn)動(dòng) 兩種方式的求解思路都類似，首先是眼在手外（Eye to Hand）

只需在機(jī)械臂末端固定一個(gè)棋盤格，在相機(jī)視野內(nèi)運(yùn)動(dòng)幾個(gè)姿態(tài)。由于相機(jī)可以計(jì)算出棋盤格相對(duì)于相機(jī)座標(biāo)系的位姿、機(jī)器人運(yùn)動(dòng)學(xué)正解可以計(jì)算出機(jī)器人底座到末端抓手之間的位姿變化、而末端爪手與棋盤格的位姿相對(duì)固定不變。這樣，我們就可以得到一個(gè)座標(biāo)系環(huán)

而對(duì)于眼在手上（Eye in Hand）的情況，也類似，在地上隨便放一個(gè)棋盤格（與機(jī)器人基座固連），然后讓機(jī)械臂帶著相機(jī)走幾個(gè)位姿，然后也可以形成一個(gè) 的座標(biāo)環(huán)。

1. 平面物體檢測(cè)

這是目前工業(yè)流水線上最常見的場(chǎng)景。目前來看，這一領(lǐng)域?qū)σ曈X的要求是：快速、精確、穩(wěn)定。所以，一般是采用最簡(jiǎn)單的邊緣提取+邊緣匹配/形狀匹配的方法；而且，為了提高穩(wěn)定性、一般會(huì)通過主要打光源、采用反差大的背景等手段，減少系統(tǒng)變數(shù)。

目前，很多智慧相機(jī)（如 cognex）都直接內(nèi)嵌了這些功能；而且，物體一般都是放置在一個(gè)平面上，相機(jī)只需計(jì)算物體的三自由度位姿即可。另外，這種應(yīng)用場(chǎng)景一般都是用于處理一種特定工件，相當(dāng)于只有位姿估計(jì)，而沒有物體識(shí)別。當(dāng)然，工業(yè)上追求穩(wěn)定性無(wú)可厚非，但是隨著生產(chǎn)自動(dòng)化的要求越來越高，以及服務(wù)類機(jī)器人的興起。對(duì)更復(fù)雜物體的完整位姿估計(jì)也就成了機(jī)器視覺的研究熱點(diǎn)。

2. 有紋理的物體

機(jī)器人視覺領(lǐng)域是最早開始研究有紋理的物體的，如飲料瓶、零食盒等表面帶有豐富紋理的都屬于這一類。當(dāng)然，這些物體也還是可以用類似邊緣提取+模板匹配的方法。但是，實(shí)際機(jī)器人操作過程中，環(huán)境會(huì)更加復(fù)雜：光照條件不確定（光照）、物體距離相機(jī)距離不確定（尺度）、相機(jī)看物體的角度不確定（旋轉(zhuǎn)、仿射）、甚至是被其他物體遮擋（遮擋）。

幸好有一位叫做 Lowe 的大神，提出了一個(gè)叫做 SIFT （Scale-invariant feature transform）的超強(qiáng)區(qū)域性特征點(diǎn)： Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of puter vision 60.2 (2004): 91-110. 具體原理可以看上面這篇被引用 4萬(wàn)+ 的論文或各種部落格，簡(jiǎn)單地說，這個(gè)方法提取的特征點(diǎn)只跟物體表面的某部分紋理有關(guān)，與光照變化、尺度變化、仿射變換、整個(gè)物體無(wú)關(guān)。因此，利用 SIFT 特征點(diǎn)，可以直接在相機(jī)影象中尋找到與資料庫(kù)中相同的特征點(diǎn)，這樣，就可以確定相機(jī)中的物體是什么東西（物體識(shí)別）。

對(duì)于不會(huì)變形的物體，特征點(diǎn)在物體座標(biāo)系下的位置是固定的。所以，我們?cè)讷@取若干點(diǎn)對(duì)之后，就可以直接求解出相機(jī)中物體與資料庫(kù)中物體之間的單應(yīng)性矩陣。如果我們用深度相機(jī)（如Kinect）或者雙目視覺方法，確定出每個(gè)特征點(diǎn)的 3D 位置。那么，直接求解這個(gè) PnP 問題，就可以計(jì)算出物體在當(dāng)前相機(jī)座標(biāo)系下的位姿。

↑ 這里就放一個(gè)實(shí)驗(yàn)室之前畢業(yè)師兄的成果當(dāng)然，實(shí)際操作過程中還是有很多細(xì)節(jié)工作才可以讓它真正可用的，如：先利用點(diǎn)云分割和歐氏距離去除背景的影響、選用特征比較穩(wěn)定的物體（有時(shí)候 SIFT 也會(huì)變化）、利用貝葉斯方法加速匹配等。而且，除了 SIFT 之外，后來又出了一大堆類似的特征點(diǎn)，如 SURF、ORB 等。

3. 無(wú)紋理的物體

好了，有問題的物體容易解決，那么生活中或者工業(yè)里還有很多物體是沒有紋理的：

我們最容易想到的就是：是否有一種特征點(diǎn)，可以描述物體形狀，同時(shí)具有跟 SIFT 相似的不變性？不幸的是，據(jù)我了解，目前沒有這種特征點(diǎn)。所以，之前一大類方法還是采用基于模板匹配的辦法，但是，對(duì)匹配的特征進(jìn)行了專門選擇（不只是邊緣等簡(jiǎn)單特征）。

簡(jiǎn)單而言，這篇論文同時(shí)利用了彩色影象的影象梯度和深度影象的表面法向作為特征，與資料庫(kù)中的模板進(jìn)行匹配。由于資料庫(kù)中的模板是從一個(gè)物體的多個(gè)視角拍攝后生成的，所以這樣匹配得到的物 *** 姿只能算是初步估計(jì)，并不精確。但是，只要有了這個(gè)初步估計(jì)的物 *** 姿，我們就可以直接采用 ICP 演算法（Iterative closest point）匹配物體模型與 3D 點(diǎn)云，從而得到物體在相機(jī)座標(biāo)系下的精確位姿。

當(dāng)然，這個(gè)演算法在具體實(shí)施過程中還是有很多細(xì)節(jié)的：如何建立模板、顏色梯度的表示等。另外，這種方法無(wú)法應(yīng)對(duì)物體被遮擋的情況。（當(dāng)然，通過降低匹配閾值，可以應(yīng)對(duì)部分遮擋，但是會(huì)造成誤識(shí)別）。針對(duì)部分遮擋的情況，我們實(shí)驗(yàn)室的張博士去年對(duì) LineMod 進(jìn)行了改進(jìn)，但由于論文尚未發(fā)表，所以就先不過多涉及了。

4. 深度學(xué)習(xí)

由于深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域得到了非常好的效果，我們做機(jī)器人的自然也會(huì)嘗試把 DL 用到機(jī)器人的物體識(shí)別中。

首先，對(duì)于物體識(shí)別，這個(gè)就可以照搬 DL 的研究成果了，各種 CNN 拿過來用就好了。有沒有將深度學(xué)習(xí)融入機(jī)器人領(lǐng)域的嘗試？有哪些難點(diǎn)？ - 知乎這個(gè)回答中，我提到 2016 年的『亞馬遜抓取大賽』中，很多隊(duì)伍都采用了 DL 作為物體識(shí)別演算法。然而，在這個(gè)比賽中，雖然很多人采用 DL 進(jìn)行物體識(shí)別，但在物 *** 姿估計(jì)方面都還是使用比較簡(jiǎn)單、或者傳統(tǒng)的演算法。似乎并未廣泛采用 DL。如 @周博磊所說，一般是采用 semantic segmentation neork 在彩色影象上進(jìn)行物體分割，之后，將分割出的部分點(diǎn)云與物體 3D 模型進(jìn)行 ICP 匹配。

當(dāng)然，直接用神經(jīng)網(wǎng)路做位姿估計(jì)的工作也是有的

它的方法大概是這樣：對(duì)于一個(gè)物體，取很多小塊 RGB-D 資料（只關(guān)心一個(gè)patch，用區(qū)域性特征可以應(yīng)對(duì)遮擋）；每小塊有一個(gè)座標(biāo)（相對(duì)于物體座標(biāo)系）；然后，首先用一個(gè)自編碼器對(duì)資料進(jìn)行降維；之后，用將降維后的特征用于訓(xùn)練Hough Forest。

5. 與任務(wù)/運(yùn)動(dòng)規(guī)劃結(jié)合

這部分也是比較有意思的研究?jī)?nèi)容，由于機(jī)器視覺的目的是給機(jī)器人操作物體提供資訊，所以，并不限于相機(jī)中的物體識(shí)別與定位，往往需要跟機(jī)器人的其他模組相結(jié)合。

我們讓機(jī)器人從冰箱中拿一瓶『雪碧』，但是這個(gè) 『雪碧』被『美年達(dá)』擋住了。我們?nèi)祟惖淖龇ㄊ沁@樣的：先把『美年達(dá)』移開，再去取『雪碧』。所以，對(duì)于機(jī)器人來說，它需要先通過視覺確定雪碧在『美年達(dá)』后面，同時(shí)，還需要確定『美年達(dá)』這個(gè)東西是可以移開的，而不是冰箱門之類固定不可拿開的物體。當(dāng)然，將視覺跟機(jī)器人結(jié)合后，會(huì)引出其他很多好玩的新東西。由于不是我自己的研究方向，所以也就不再班門弄斧了。

機(jī)器作定位由先由工程式設(shè)計(jì)決定空前、左右、位置定位精度由伺服電機(jī)同軸尾端編碼傳器反饋訊號(hào)經(jīng)伺服電機(jī)驅(qū)卡至處理處理再輸作自微量調(diào)整

機(jī)器人多工位動(dòng)作及其執(zhí)行中定位全部由人工編寫操作程式而決定的，此與感測(cè)器暫不搭界。若要根據(jù)生產(chǎn)工藝改進(jìn)，則要重新編寫程式，或在原程式中作修改調(diào)整。

機(jī)器人抓取定位是預(yù)先程式設(shè)計(jì)的，工控機(jī)輸出帶動(dòng)伺服電機(jī)精確定位，包括伺服電機(jī)編碼器反饋訊號(hào)經(jīng)電機(jī)驅(qū)動(dòng)卡直至工控機(jī)進(jìn)一步調(diào)整。若用感測(cè)器檢測(cè)定位誤差極大，根本不可能細(xì)微修正定位精度。

機(jī)器人抓取目前最常用的是通過視覺定位，CCD/CMOS感測(cè)器拍攝當(dāng)前視野內(nèi)圖片，找到MARK點(diǎn)，算出偏移的座標(biāo)和角度，再通過網(wǎng)口或者串列埠將資料反饋到機(jī)器人，機(jī)器人作出相應(yīng)修正

----------眾合航迅科技有限公司鄧經(jīng)理為您解答

機(jī)器人動(dòng)作定位由先由人工程式設(shè)計(jì)決定它在空中前后、左右、上下位置的。定位精度由伺服電機(jī)同軸尾端編碼感測(cè)器反饋訊號(hào)經(jīng)此伺服電機(jī)驅(qū)動(dòng)卡至處理中心處理后再輸出作自動(dòng)微小量調(diào)整

以上就是關(guān)于視覺分揀機(jī)器人相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。