視覺(jué)是人類最重要的感覺(jué)器官，占人類信息獲取的80%以上。機(jī)器視覺(jué)作為一種替代人眼的強(qiáng)大技術(shù)，已經(jīng)取得了巨大的突破并得到了廣泛的應(yīng)用。機(jī)器視覺(jué)系統(tǒng)可以代替人眼完成測(cè)量、定位、識(shí)別和檢測(cè)，在制造業(yè)、安防、文化等行業(yè)有大量的應(yīng)用機(jī)會(huì)。
機(jī)器視覺(jué)不僅可以克服人眼標(biāo)準(zhǔn)的不一致性、不重復(fù)性和主觀性，還可以為行業(yè)制定質(zhì)量控制的數(shù)字化標(biāo)準(zhǔn)。在高速度、高光譜、高分辨率、高可靠性、工作連續(xù)性、環(huán)境適應(yīng)性等方面也能超越人眼的極限。
背景介紹和案例總結(jié)
近年來(lái)，隨著工業(yè)自動(dòng)化和物流技術(shù)的不斷發(fā)展，如何利用自動(dòng)化設(shè)備提高物流效率，減少人工已經(jīng)成為物流行業(yè)最關(guān)心的問(wèn)題。機(jī)器視覺(jué)系統(tǒng)能夠快速獲取大量圖像信息并自動(dòng)處理，使得機(jī)器視覺(jué)幫助物流行業(yè)快速走向智能化和自動(dòng)化。目前，在工業(yè)自動(dòng)化應(yīng)用中，機(jī)器視覺(jué)廣泛應(yīng)用于缺陷檢測(cè)、掃描識(shí)別、定位判斷和位置測(cè)量。可以在節(jié)省人力成本，提高整體運(yùn)營(yíng)效率的同時(shí)，大大提高空間利用率，從而降低運(yùn)輸成本。
隨著電子商務(wù)和物流業(yè)的快速發(fā)展，分揀模式的發(fā)展迫在眉睫。人工分揀存在效率低、出錯(cuò)率高、成本高等缺點(diǎn)。特別是在碼垛應(yīng)用中，由于人工工作強(qiáng)度大、工作內(nèi)容單一、質(zhì)量和效率普遍較低，自動(dòng)碼垛系統(tǒng)應(yīng)運(yùn)而生。在傳統(tǒng)的自動(dòng)碼垛應(yīng)用中，經(jīng)常要求“拆包”和“編碼”的對(duì)象是規(guī)則和單一尺寸的貨物。在這種情況下，傳統(tǒng)的手工教學(xué)方法難度大，效率低。為了解決這一問(wèn)題，海康機(jī)器人研發(fā)了一套基于機(jī)器視覺(jué)引導(dǎo)的機(jī)械臂拆包碼垛方案，可以解決多SKU、無(wú)序來(lái)料的問(wèn)題。
海康機(jī)器人采用自主研發(fā)的高精度3D攝像頭、機(jī)器人運(yùn)動(dòng)控制平臺(tái)軟件和智能算法的方案，將AI算法和深度學(xué)習(xí)緊密結(jié)合，突破了傳統(tǒng)自動(dòng)碼垛的局限性，可以應(yīng)對(duì)復(fù)雜多變的碼垛形狀、多樣隨機(jī)的箱子。
方案介紹
在該方案中，3D攝像機(jī)負(fù)責(zé)獲取工作范圍內(nèi)盒子(如托盤或傳送帶)的深度信息和高清2D圖像，并將深度信息和2D圖像信息發(fā)送給機(jī)器人控制平臺(tái)軟件。平臺(tái)軟件內(nèi)置3D視覺(jué)算法和智能軌跡規(guī)劃算法。3D視覺(jué)算法通過(guò)AI深度學(xué)習(xí)+3D點(diǎn)云分割，可以快速準(zhǔn)確定位盒子在托盤或帶線上的位置，智能軌跡規(guī)劃算法提供精確的抓取點(diǎn)、放置點(diǎn)和軌跡點(diǎn)，引導(dǎo)機(jī)械臂快速抓取和堆疊。
三維視覺(jué)引導(dǎo)碼垛系統(tǒng)
方案中使用的3D攝像機(jī)是海康機(jī)器人新推出的寬視場(chǎng)雙目結(jié)構(gòu)光立體攝像機(jī)，具有精度高、景深大、視場(chǎng)大的特點(diǎn)。相機(jī)的探測(cè)精度達(dá)到3 mm，探測(cè)范圍達(dá)到1800mm，近視視場(chǎng)為1350mm×1200mm，遠(yuǎn)視視場(chǎng)為3650mm×2750mm(如圖2所示)，可以輕松適配1.2m * 1m * 1。同時(shí)具有極高的檢測(cè)效率和穩(wěn)定性，從拍照到軌跡算法輸出抓取點(diǎn)的時(shí)間小于1.5s。
3D攝像機(jī)視野示意圖
為了更方便客戶自主搭建機(jī)械臂拆包碼垛的控制系統(tǒng)，海康機(jī)器人專門開(kāi)發(fā)了機(jī)器人運(yùn)動(dòng)控制平臺(tái)軟件。軟件采用圖形化無(wú)代碼編程界面，簡(jiǎn)單易用(如圖3)。軟件內(nèi)置軌跡規(guī)劃、碰撞檢測(cè)、抓取規(guī)劃等智能算法，軟件可適配國(guó)內(nèi)外各種主流品牌的機(jī)器人。
碼垛視覺(jué)定位模塊采用AI深度學(xué)習(xí)+3D點(diǎn)云分割的方案。使用RGBD相機(jī)對(duì)堆積物進(jìn)行實(shí)時(shí)拍照，獲取包裹和托盤的三維數(shù)據(jù)(深度圖+RGB圖)。定位處理流程如圖4所示。首先，使用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)RGB圖像包進(jìn)行粗略定位。然后利用物體表面的紋理特征和點(diǎn)云的邊緣特征進(jìn)行包裹的精確定位，并基于包裹表面的點(diǎn)計(jì)算最優(yōu)抓取點(diǎn)坐標(biāo)。最后，利用預(yù)先獲得的手眼標(biāo)定關(guān)系，將視覺(jué)位姿轉(zhuǎn)換到機(jī)械臂的坐標(biāo)系中進(jìn)行抓取處理。
視覺(jué)定位的技術(shù)路線
海康機(jī)器人3D攝像機(jī)具有出色的抗環(huán)境光能力。在典型的工廠光照條件下(20000lx)，海康機(jī)器人3D相機(jī)的點(diǎn)云數(shù)據(jù)明顯優(yōu)于其他相機(jī)，對(duì)比圖片如圖5所示。同時(shí)，海康機(jī)器人3D相機(jī)在渲染高反光和黑色物體的點(diǎn)云方面也優(yōu)于其他相機(jī)，對(duì)比圖像如圖6所示。在實(shí)際測(cè)試樣本中，其他3D相機(jī)在高反光金屬和黑色紙箱中的點(diǎn)云數(shù)據(jù)都有很大程度的丟失，而海康機(jī)器人3D相機(jī)仍然可以保證比較完整的呈現(xiàn)。
反環(huán)境光對(duì)比度
高反射和黑色物體的對(duì)比測(cè)試
該方案采用2D+3D組合視覺(jué)定位處理，具有精度高、魯棒性強(qiáng)、抗環(huán)境光能力強(qiáng)、不怕黑暗物體等特點(diǎn)。可精確應(yīng)用于各種盒子、包裝盒、雜志、編織袋、工件等物體，定位效果和精度不受物體位置和姿態(tài)的影響。
定位效果圖
智能軌跡規(guī)劃算法包括拆包過(guò)程和堆垛過(guò)程的點(diǎn)規(guī)劃。如圖8所示，通過(guò)解包分析/堆疊分析確定路徑規(guī)劃的終端配置，然后根據(jù)感知信息和環(huán)境配置，通過(guò)碰撞檢測(cè)規(guī)劃出安全的解包/堆疊路徑。拆包分析和堆疊分析的一般過(guò)程如下:
拆垛分析是基于三維視覺(jué)分類的點(diǎn)云，通過(guò)平面擬合計(jì)算出相應(yīng)的法向量、重心位置等信息，從而得到每類點(diǎn)云的拆垛點(diǎn)位置。同時(shí)，在路徑規(guī)劃過(guò)程中，物體的大小由用于碰撞檢測(cè)的外接矩形決定；然后，通過(guò)基坐標(biāo)與托盤的轉(zhuǎn)換關(guān)系、機(jī)器人狀態(tài)和拆垛方式來(lái)評(píng)估拆垛姿態(tài)的代價(jià)，最終確定最優(yōu)的拆垛構(gòu)型。
碼垛分析是對(duì)用戶編輯或自動(dòng)生成的碼垛圖案進(jìn)行解碼(如圖9所示)，通過(guò)基坐標(biāo)/托盤變換關(guān)系的計(jì)算，對(duì)每個(gè)擺放姿態(tài)的代價(jià)進(jìn)行評(píng)估和排序，從而得到擺放構(gòu)型序列，并根據(jù)輸入的擺放指標(biāo)和機(jī)械臂逆運(yùn)動(dòng)姿態(tài)得到最終的擺放構(gòu)型，同時(shí)內(nèi)部存儲(chǔ)碼垛盒的信息，用于路徑規(guī)劃過(guò)程中的碰撞檢測(cè)。
開(kāi)箱和碼垛的整個(gè)過(guò)程
碼垛規(guī)則定義示意圖
摘要
海康機(jī)器人三維視覺(jué)引導(dǎo)碼垛系統(tǒng)旨在解決非結(jié)構(gòu)化環(huán)境下無(wú)法抓取形狀未知的物體或抓取成功率低的問(wèn)題。基于高精度三維相機(jī)的抓斗和環(huán)境的2D彩色圖像信息，結(jié)合三維點(diǎn)云數(shù)據(jù)，精確提取抓斗的邊緣輪廓，通過(guò)智能算法選擇最優(yōu)抓斗點(diǎn)，并基于軟件中設(shè)置的環(huán)境約束輸出最優(yōu)軌跡點(diǎn)，提高了整個(gè)系統(tǒng)的精度和可靠性。通過(guò)使用該系統(tǒng)，用戶可以輕松應(yīng)對(duì)多SKU、完全隨機(jī)來(lái)料的場(chǎng)景，在滿足自動(dòng)化碼垛要求的同時(shí)，進(jìn)一步提高生產(chǎn)效率，降低生產(chǎn)成本。