注意看，這個機器人靈巧手，主打的就是能和人手靈活程度媲美的操作能力。
可适應不同場景，靈活規劃動作，還能自主完成操作。
它的名字叫TRX-Hand，是騰訊 Robotics X 實驗室公布的最新機器人研究進展，同時亮相的還有自研機器人機械臂 TRX-Arm——這是 Robotics X 實驗室首次展示在靈巧操作領域的成果。
與靈巧手不同，機械臂 TRX-Arm 主要針對人居環境研發，擁有七自由度和拟人的特性，具有靈巧、爆發力強、觸控一體以及柔順安全等特點。
8 個可獨立控制關節
展示過程中，設定了一個花式調酒的場景。
要調制一杯酒，機器人需要對多種物體連續進行 30 多次操作，不僅涉及瓶子、杯子、攪拌棒等多種常見物體，還需要機器人用多種動作操作這些物體。
其中，既有抓、放、倒這些常規操作，還有旋轉、搖晃等雙手協同動作，以及更高難度的抛接、翻轉等動态操作和插孔、穿刺、攪拌等精細操作動作。
一般來說，機器人技術根據智能程度可分爲三個階段：
隻能完成固定命令的程序機器人；
能夠感知周圍環境的自适應機器人；
能夠自主學習和決策的智能機器人。
常見的工廠流水線機械臂以及拉面機器人等，屬于第一階段，隻能在單一的場景内重複固定動作。
具備靈巧操作能力的機器人則屬于第二和第三階段，現實生活中有大量操作場景，如拾取物品、倒水等。
想要在各類場景裏靈活操作物體，機器人必須能感知環境、理解物體、評估狀态、預測行爲并自主規劃完成物體操作，這意味着機器人必須得感知豐富、能決策、執行力可靠。
運動能力方面，得益于創新的剛柔混合驅動專利技術和自研高功率密度驅動器，騰訊靈巧手 TRX-Hand 兼具高靈巧和高負載速度的特性。
它擁有 8 個可獨立控制關節，自重僅 1.16 千克，最大持續指尖力可達 15 牛，最大關節速度不低于 600 度 / 秒，可輕松應對不同形狀尺寸物體的抓取和操作，對高動态的抛接動作也遊刃有餘。
同時，柔性驅動的指尖設計有效提升了手指的抗沖擊能力。
多傳感器融合
在感知能力上，靈巧手在指尖、指腹和掌面均覆蓋了自研的高靈敏度柔性觸覺傳感器陣列，掌心處安裝有微型激光雷達和接近傳感器。
同時每一個關節均集成了角度傳感器，保證靈巧手在抓取和操作過程中能準确地感知自身與物體狀态信息。
考慮到人居環境中充斥着透明、反光、細小的物體，以及由遮擋、光照、打滑等因素造成的各種不确定性，機器人想要精準可靠地獲取物體信息，就需要結合多種傳感信息，如視覺、接近覺、觸覺和力覺等。
這些不同模态傳感信息各有各的特點——
如，相機可以看到場景全貌，爲機器人做全局運動規劃提供必要信息；
接近覺在機器人靠近環境物體過程中提供更實時的反饋，彌補系統建模的誤差，使機器人更精準地獲取物體；
觸覺可以感知相機無法看到的接觸細節，包括接觸位置和形狀，實時感知手内物體的狀态；
力覺使機器人感知與環境 / 物體交互時的整體受力情況，使交互更爲輕柔和自然。
騰訊 Robotics X 實驗室對不同傳感器進行了建模與标定，采用多傳感器信息融合技術，使機器人能在各種操作任務中更全面及時地感知物體信息、自身運動狀态以及與環境的物理交互，從而更可靠地完成任務。
軟硬結合，讓機器人 " 動手 "
造機器人，不僅對本體和傳感器等硬件有着極高要求，軟件算法也核心要件之一。
Robotics X 本次展示的機器人能夠順暢完成一系列操作，是因爲在六自由度工業機械臂上搭載靈巧機器手 TRX-Hand 以及自主開發的感知與控制算法。
針對抓放物體與倒水等常規動作，首先基于視覺和觸覺對物體進行實時識别與定位，利用在線規劃算法，讓機器人能夠計算出臂手的最佳構型與安全運動軌迹。
随後，在執行中利用手上三種傳感器進行自适應調整，進一步保證動作執行的精度與可靠性，同時借助機械臂末端六維力傳感器感知與環境的交互力，避免猛烈碰撞。
讓機器人的 " 雙手 " 在高速運動的同時保持協同極具挑戰，協同失誤會産生過大沖擊或應力，損傷被操作物體甚至機器人本身。
調酒過程中，騰訊 Robotics X 實驗室展示的機器人結合視觸覺融合的手内物體姿态估計與基于機械臂末端力傳感信号的力位混合控制，實現了酒瓶與搖酒器高速旋轉倒酒、大小搖酒器相扣搖酒等雙手協同動作。
本次展示中，騰訊 Robotics X 實驗室讓機器人順利完成 " 抛接 " 等高難度的動作，這類動作有很高的實時性要求，感知或執行上的細微誤差都會導緻操作失敗。
這個過程中，研究團隊創新性地提出了基于機器人本體感知的抓抛過程建模與物體飛行軌迹預測方法，有效彌補傳統視覺算法在短距離、強遮擋、高動态操作場景下的局限性，實現了高精度、高時效的抓抛物體飛行軌迹預測。
此外，團隊還提出了飛行物體的最優攔截時間、最優攔截位姿與最優攔截軌迹的計算方法，以動作持續時間、機器人運動能量以及與物體的接觸力爲優化目标，能在數毫秒内完成計算，實現對快速飛行物體的平穩攔接。
在攪拌棒插孔和使用簽子插葡萄的任務中，不鏽鋼攪拌棒和金屬簽子都是無紋理、高反光的細長物體，攪拌棒直徑 8mm，與孔直徑相差僅 1mm，簽子直徑不足 2mm，這給物體的識别與定位帶來不少挑戰。
尤其是攪拌棒在經過一系列攪拌動作後并不一定停留在原來的手内位置，其在接近孔時會對孔造成遮擋，它的反光表面更會倒映出孔造成視覺的混淆。
對此，研究團隊在僅依靠機器人頭部相機的條件下，通過對物體間相對位置的估計，并融入觸覺感知，獲得了穩定的攪拌棒、孔和簽子的識别與定位。
此後，通過力覺感知到插孔失敗後能擡起手臂再次嘗試，通過幾次試探使攪拌棒逐漸接近真實孔位、确保完成插孔操作，展示了機器人能實時感知任務狀态，識别失敗并自主調整策略，最終成功完成任務的調整和容錯能力。
此外，高分辨率的指尖觸覺讓機器人精巧的手内操作成爲可能。
所謂手内操作，指的是僅利用手指來操控手裏的物體，改變其位姿和狀态。這是一種充分發揮手指運動能力的技能，能以最小能耗達到操作物體的目的，同時也對手部的感知能力和控制精度有極高要求，是 " 靈巧 " 性的集中體現。
人類在日常生活中大量使用手内操作，例如攪拌湯勺、寫字、使用筷子等。但對于機器人來說，手内操作非常有挑戰性，在 " 感知——控制 " 回環的任一部分稍有差池，就會造成物體掉落和任務失敗。
演示中，機器人以指尖抓住一根細長的攪拌棒，先以臂手協同的方式大力攪拌杯子裏的液體，然後靜止手臂，以純手指運動的方式平滑柔順地攪拌。
其中，後者的手内操作結合了深度強化學習和 sim2real 等技術，使用了指尖傳感器實時反饋接觸狀态，生成三個手指的協同運動，同時對攪拌棒施加合适的力，在保證攪拌棒不掉落的前提下，驅動攪拌棒按期望軌迹攪拌杯子裏的液體，充分展現機器人的靈巧操作能力。
繩索傳動與差分驅動相結合的機械臂
騰訊自主研發的高性能七自由度拟人機械臂 TRX-Arm也首次對外亮相。
不同于傳統的協作型機械臂，TRX-Arm 采用了繩索傳動與差分驅動相結合的方式，不僅有效降低了傳動摩擦和運動慣量，還實現了多電機多關節協同驅動，具有高動态運動的能力。
其最大速度 7.4m/s，最大加速度 44.5m/s（2），可負載 6kg 以上。同時，其前臂集成了 768 點的觸覺陣列，其刷新頻率高達 1000Hz，以此實現了酒瓶在滾動和平衡過程中的高頻實時定位。
據悉，騰訊 Robotics X 實驗室将繼續推動自研機器人靈巧手 TRX-Hand 和機械臂 TRX-Arm 的融合，并引入深度學習等前沿算法，提升機器人的靈巧操作能力和解決複雜問題的能力，讓其更好地服務現實需求。
騰訊 Robotics X 實驗室緻力于機器人前沿技術的研究，打造人機共存、共創和共赢的未來，此前已經推出多模态四足機器人 Max和輪腿式機器人 Ollie等多款自研機器人。
接下來，騰訊将繼續探索機器人前沿技術，推動機器人技術在養老護理、居家服務、智能制造等領域的落地應用。
