請留神，本文所表現的信息、用途及使用完整是Video-Touch客座作者的概念。
你能夠看過一些科幻電影，片子中的人可以用身體舉措去節制機器人。現在，借助古代計算機視覺跟機器人方式，咱們可能把這類體驗釀成理想，并且跟片子一樣出色奇奧。
受新冠病毒影響，正在如斯艱苦的期間，為了讓近程節制跟近程操縱變得切實可用，咱們開啟了VideoTouch名目。
Video-Touch是第一個人機交互體系。它容許多名用戶，正在世界任何處所經由過程視頻通話使用（例如GoogleMeet、Zoom、Skype）對其停止節制。
咱們思量過，是不是有能夠只用本人的手來近程節制機器人，而沒有借助手套、操縱桿等任何額定的設備，同時沒有發生較著的耽誤。因而，咱們決意利用計算機視覺去及時辨認舉措，并及時傳送給機器人。正在MediaPipe的資助下，咱們將其變成了理想。
操作系統大抵以下：
1.經由過程視頻會議使用，正在用戶設備上獲得收集攝像頭視頻，然后將其發送至機器人計算機；
2.用戶的收集攝像頭視頻串流經由過程OBS虛構攝像頭對象被捕捉到機器人的計算機顯示器上；
3.辨認模塊正在MediaPipe的資助下讀取用戶的舉措跟手勢，并經由過程ZeroMQ發送給下一個模塊；
4.正在舉措捕獲數據的根底上，機器臂及其抓手由Python節制。
從計劃中可以清晰天看出，用戶正在操縱機器人時只需不變的互聯網毗鄰跟一個視頻會議使用。一切的如屏幕捕獲、手部追蹤、手勢辨認跟機器人節制等計較，皆可以正在Wi-Fi與機器人毗鄰的零丁設備上停止。接下來，咱們將對流水線的各個環節停止具體解釋。
物流分揀機器人是怎么工作的分揀機器人分析用戶可以利用任何一臺可能實現跨設備傳輸視頻的軟件。正在試驗中，咱們利用的是視頻會議的桌面使用。用戶正在其設備上呼喚一臺顯示器與機器人相連的計算機。如許，機器人便可以看到來自用戶收集攝像頭的視頻串流。
此刻，咱們須要某種機制去把用戶的視頻從視頻會議傳送到辨認模塊。咱們利用的是OpenBroadcasterSoftware及其虛構攝像頭對象去捕獲翻開視頻會議的窗口。如許咱們便取得了一個虛構攝像頭，它此刻有來自用戶收集攝像頭的幀及其怪異的設備索引，可以正在辨認模塊中進一步利用。
辨認模塊
辨認模塊的作用是捕獲用戶的舉措并將其傳送給機器人節制模塊。MediaPipe會正在此發揮作用。咱們為捕獲手部舉措探求了最無效、最正確的計算機視覺軟件。咱們發明了許多令人興奮的解決方案，但事實證明，關于如斯存在挑戰性的使命，MediaPipe是獨一得當的對象。
咱們對MediaPipe手部追蹤模塊停止了兩項要害點竄：增長了手勢辨認計算器并集成了ZeroMQ消息傳遞機制。
兩項要害點竄
正在前次發表文章的時間，咱們有兩個版本的手勢辨認實現。第一個版本以下圖3所示，一切的計較均正在手部姿式辨認計算器內停止。計算器將特點面作為輸入停止縮放，也就是說，這些特點面依據腳的鴻溝框巨細停止標準化。接下來，它會辨認4種手勢：“挪動”、“傾斜”、“抓取”跟“無手勢”（論文中的“手指距離”手勢是實驗性內容，不包羅正在終極演示版中），并輸出手勢類稱號。只管這個版本非常穩重實用，但它只是基于簡略的啟發式劃定規矩，如：“若是此特點面［i］.x《特點面［j］.x，那么它是一個‘挪動’手勢”，并且關于手部扭轉那類現實生活中的環境，此版本沒法辨認。
發表文章
為了減緩泛化不良的問題，咱們實行了第二個版本。咱們正在手動網絡跟加標簽的1000個關鍵點的數據集上鍛煉了來自scikit-learn的梯度晉升分類器：“挪動”、“傾斜”跟“抓取”類各有200個，而“無手勢”類有400個。趁便道一下，現在可以經由過程比來宣布的JestureAISDKrepo（注：咱們團隊部門成員的另一個名目）輕松獲得此類數據散。
JestureAISDK
咱們利用縮放的特點面、樞紐間的角度和成對的特點面距離作為模子的輸入，去猜測手勢類。接下來，咱們測驗考試只傳送縮放的特點面，而沒有傳送任何角度跟距離，成果正在200個關鍵點的當地驗證集上取得了91%的近似多類準確率。關于這個版本的手勢分類器，另有一點是咱們沒法間接正在C++中運轉scikit-learn模子，以是咱們用Python停止實現，作為機器人節制模塊的一部分。
高速分揀機器人價格多少頒發后，咱們立刻推出了一個正在Keras中鍛煉的齊毗鄰神經網絡，它采取的數據散與梯度晉升模子不異，而失掉的成果更好，準確率到達93%。咱們將這個模子轉換為TensorFlowLite格局，此刻咱們可以正在手部姿式辨認計算器中間接運轉手勢辨認ML模子。
失掉以后手部地位跟以后手勢類后，咱們須要將其傳送給機器人節制模塊。停止那一步時，咱們借助了高性能的異步動靜功用庫ZeroMQ。為了正在C++中實現那一點，咱們利用了libzmq庫跟cppzmq標頭。應用要求-復興計劃：辨認模塊C++代碼中的REP跟機器人節制模塊Python代碼中的REQ。
libzmq
cppzmq
要求-復興
是以，借助咱們點竄過的手部追蹤模塊，此刻可能將運動捕獲信息及時傳送給機器人。
機器人節制模塊
物流分揀機器人原理機器人節制模塊是一個Python劇本，它將手部特點面跟手勢類作為輸入，并輸出機器人挪動下令。運轉該劇本的計算機經由過程Wi-Fi與機器人毗鄰。咱們的試驗中利用了搭載NvidiaGTX1050TiGPU的MSI筆記本電腦。同時測驗考試正在IntelCorei7CPU上運轉全部體系，因為有高度優化的MediaPipe計較圖實現，該運轉也是及時的，耽誤可以忽略不計。
正在現階段的流水線中，咱們利用了UniversalRobotics的6DoFUR10機器人。因為利用的抓手是雙指的，咱們沒有須要每一個特點面與機器人手指關鍵點的完全映射，只須要腳中間的地位。借助此中間坐標跟python-urx軟件包，咱們此刻可能正在所需的方位跟標的目的上轉變機器人的速率：正在每一幀上，咱們計較以后手中心坐標與前一幀坐標之差，從而得出速率變更矢量或角度。最初，此機制看起來與人們用操縱桿節制機器人的方法十分類似。
python-urx
高密度觸覺傳感器的觸覺感知
靈活的支配要求存在較下的空間分辨率跟對物體跟情況的高保真觸覺感知。最新的傳感器數組非常適合機器人支配，由于它們可以很簡單地掛接到任何機器人末尾執行器上，并順應任何接觸面。
源宣布文章
Video-Touch嵌入了一種高密度的觸覺傳感器數組。它們裝置正在雙指機器人抓手中。每一個指尖上皆掛接一個傳感器數組。單個電極數組可以感到5.8平方厘米的幀面積，每幀分辨率為100面。感到頻次即是120赫茲。每一個面的力檢測規模為1至9牛頓。是以，機器人以200面的分辨率檢測施加正在機器人手指抓取的固體或柔性物體上的壓力。
從傳感器數組處網絡的數據顛末處置懲罰后，以靜態手指打仗映射圖的情勢向用戶顯現。壓力傳感器數組讓用戶可能感知被抓物體的順應性、硬度、粗糙度、外形、標的目的等物理特性。
圖8：多用戶機器臂節制功用。用戶可能正在通例的視頻通話進程中履行COVID-19檢測［源視頻］
尾注
如此一來，借助MediaPipe跟機器人，咱們樹立了一個無效的多用戶機器人近程操作系統。正在將來，近程操作系統的潛伏用途將包羅醫療檢測，和正在難以進入的情況中停止的試驗。該體系的多用戶功用辦理了無效近程協作的實際問題，容許正在多人小組中停止須要手動近程節制的名目事情。
咱們流水線的另一個劣勢特色是，人們可以利用任何帶有攝像頭的設備，例如手機，去節制機器人。除機器臂，人們借可以操縱其他如，邊緣設備、移動機器人或無人機等硬件設備。當然，現階段的解決方案存在必然的局限性：延遲時間、z坐標的應用，和手勢類型的便利性皆有改善的空間。咱們非常等候試用MediaPipe團隊的更新，并等候著測驗考試新類型的抓手、雙手節制，以至是全身節制。
愿望那篇文章對你跟你的事情有所資助。珍重身體，保持編碼。十分感謝您的存眷！
中國分揀機器人在外國打工廣州分揀機器人碼垛智能視覺分揀機器人設計思路