拿紗布、抓針頭，英偉達與多所高校合作，開發手術機器人

　　英偉達（NVIDIA）正與學術研究人員合作，研究手術機器人。

　　NVIDIA 聯合多倫多大學、加州大學伯克利分校、蘇黎世聯邦理工學院和佐治亞理工學院的研究人員開發了 ORBIT-Surgical，一個訓練機器人的模擬框架，可以提高手術團隊的技能，同時減少外科醫生的認知負擔。

　　受腹腔鏡手術（又稱微創手術）訓練課程的啟發，它支持十多種操作，比如抓住像針頭這樣的小物體，從一只手臂傳遞到另一只手臂，并高精度地放置它們。

　　基于物理的框架是使用 NVIDIA Isaac Sim 構建的，這是一個用于設計、訓練和測試基于 AI 的機器人的機器人模擬平臺。

　　研究人員在 NVIDIA GPU 上訓練強化學習和模仿學習算法，并使用 NVIDIA Omniverse——一個用于開發和部署基于通用場景描述 (OpenUSD) 的高級 3D 應用程序和管道的平臺，來實現照片級真實感渲染。

　　ORBIT-Surgical 將在 IEEE 國際機器人與自動化會議 (ICRA) 2024 上發表。

　　GitHub 開源代碼：https://orbit-surgical.github.io/

　　論文地址：https://arxiv.org/abs/2404.16027

　　在下面的視頻中，ORBIT-Surgical 研究團隊演示了如何在模擬中訓練數字孿生轉移到實驗室環境中的物理機器人。

　　ORBIT-Surgical 基于 Isaac Orbit，這是一個基于 Isaac Sim 構建的機器人學習模塊化框架。Orbit 支持各種強化學習和模仿學習庫，其中人工智能代理經過訓練可以模仿真實的專家示例。

　　該手術框架使開發人員能夠訓練達芬奇研究套件（da Vinci Research Kit，dVRK）等機器人，使用在 NVIDIA RTX GPU 上運行的強化學習和模仿學習框架來操縱剛性和軟物體。

　　ORBIT-Surgical 引入了十多項外科訓練基準任務，包括單手任務，例如拿起一塊紗布、將分流器插入血管或將縫合針舉到特定位置。它還包括雙手任務，例如將針從一只手臂遞到另一只手臂，將螺紋針穿過環形桿，以及將兩只手臂伸到特定位置，同時避開障礙物。

　　ORBIT-Surgical 的基準測試之一是插入分流器（左圖為現實世界的機器人，右圖為模擬圖。）

　　通過開發利用 GPU 加速和并行化的手術模擬器，該團隊能夠將機器人的學習速度比現有手術框架提高一個數量級。他們發現，經過訓練，機器人數字孿生可以在單個 NVIDIA RTX GPU 上在兩小時內完成插入分流器和提起縫合針等任務。

　　借助 Omniverse 渲染實現的視覺真實感，ORBIT-Surgical 還允許研究人員生成高保真合成數據，這有助于訓練 AI 模型執行感知任務，例如在手術室捕獲的真實視頻中分割手術工具。

　　該團隊的概念驗證表明，將模擬和真實數據相結合顯著提高了人工智能模型從圖像中分割手術針的準確性，有助于減少訓練此類模型時對大型、昂貴的現實數據集的需求。