蓋世汽車訊 在動畫片《杰森一家》中，機器人女仆羅西可以無縫切換，從打掃房間、做飯再到倒垃圾。但在現實生活中，訓練通才機器人仍是一項重大挑戰。通常情況下，工程師會收集特定于某個機器人和任務的數據，然后利用這些數據在受控環境中訓練機器人。然而，收集這些數據的成本高且耗時，而且機器人可能很難適應以前從未見過的環境或任務。

通過結合大量數據，這種方法可以訓練機器人執行各種任務，而無需每次都從頭開始。該方法比傳統技術更快、成本更低，因為需要的特定任務數據要少得多。此外，在模擬和現實世界實驗中，其表現比從頭開始訓練高出20%以上。電子工程和計算機科學研究生Lirui Wang表示:“在機器人技術領域，人們經常聲稱沒有足夠的訓練數據。但在我看來，另一個大問題是這些數據來自這么多不同的域、模式和機器人硬件。這項工作展示了如何將這些數據整合在一起以訓練機器人。”

受大語言模型啟發

機器人“策略”通過傳感器觀察，如攝像頭圖像或本體感知測量，跟蹤機器人手臂的速度和位置，然后告訴機器人如何移動以及移動到何處。通常情況下，人們通過模仿學習來訓練策略，這意味著需要人類演示動作或遠程操作機器人以生成數據，這些數據被反饋到學習策略的AI模型中。由于這種方法使用少量特定于任務的數據，因此機器人在環境或任務發生變化時經常會失敗。

為了開發更好的方法，研究人員從GPT-4等大語言模型中汲取靈感。這些模型使用大量不同的語言數據來進行預訓練，接著輸入少量特定任務數據進行微調。基于如此多數據進行預訓練，有助于模型適應并良好執行各種任務。Wang表示:“在語言使用域，數據全部都是句子。在機器人技術中，考慮到數據中的所有異質性，如果想要以類似的方式進行預訓練，我們需要一種不同的架構。”

機器人數據接受多種形式，如攝像頭圖像、語言指令和深度圖。同時，每個機器人都具有獨特的機械性，它們的手臂、夾持器和傳感器的數量和方向都不同。此外，收集數據的環境差異很大。MIT團隊開發了一種名為異構預訓練轉換器的新架構，可以統一來自不同模式和域的數據。研究人員將一個機器學習模型(稱為轉換器)置于架構中心，以處理視覺和本體感覺輸入。轉換器與構成大語言模型主干的模型屬于同一類型。

研究人員將視覺和本體感覺數據對齊為同類型輸入，以供轉換器處理。每個輸入都使用相同固定數量的通證(token)表示。然后，轉換器將所有輸入映射到共享空間，通過處理和學習更多的數據成長為巨大的預訓練模型。轉換器越大，其性能就越好。用戶只需向HPT提供關于機器人的設計、設置和他們希望其執行任務的少量數據。然后，HPT會將轉換器在預訓練中獲得的知識轉移到學習新任務中。

實現靈巧的動作

開發HPT的最大挑戰之一是創建大規模數據集來預訓練轉換器，其中包括四類52個數據集，包括人類演示視頻和模擬。研究人員還需要開發一種有效方法，將來自傳感器陣列的原始本體感覺信號轉化為轉換器可以處理的數據。Wang表示:“本體感覺是實現許多靈巧動作的關鍵。我們架構中的通證數量總是相同的，所以我們同樣重視本體感覺和視覺。”

當測試HPT時，與每次從頭開始訓練相比，它在模擬和現實世界任務中的表現提高20%以上。即使任務與預訓練數據非常不同，HPT仍然可以提高性能。卡內基梅隆大學機器人研究所副教授David Held(未參與這項工作)表示:“本文提供了一種新穎的方法，以訓練跨多個機器人實施例的單一策略。這可以跨多種數據集進行訓練，使機器人能夠學習方法，從而明顯擴大它們可以進行訓練的數據集規模。它還允許模型快速適應新的機器人實施例，隨著新的機器人設計不斷涌現，這具有重要意義。”

未來，研究人員希望探討如何通過數據多樣性來提高HPT的性能。他們還希望增強HPT，使其能夠處理未標記數據，如同GPT-4和其他大語言模型。David Held表示:“我們的夢想是擁有一個通用機器人大腦，人們可以下載并將其用于自己的機器人，而無需進行任何訓練。雖然這還處于早期階段，但我們將繼續努力，并希望通過擴展實現機器人策略突破，就像大語言模型一樣。”