HKAIWeb 原創封面:真人示範動作與機械臂模仿操作物體HKAIWeb 原創封面:真人示範動作與機械臂模仿操作物體; 圖片由 HKAIWeb 原創生成。

Runway 已把 Praxis-1 以 Apache 2.0 授權公開,提供模型權重、推論程式、模擬環境及微調程式碼。此模型最初於 2026 年 9 月公布,當時只向合作夥伴提供;今次公開讓 robotics 開發者及研究人員下載、檢視及按自身硬件需求調整。

27B 模型同時預測影片與動作

Praxis-1 是一個 27B 參數的 mixture-of-experts diffusion transformer。每次呼叫時,模型會同時預測下一段影片及相應動作,機器人再執行該動作。Runway 表示,模型在 NVIDIA RoboLab-120 的 1,200 回合測試中取得 46.2% 成功率,高於 FLUX 3 Action 的 42.9%、Cosmos3 Nano 的 36.8% 及 π0.5 的 28.0%。

官方程式庫提供 DROID 單臂、YAM 雙臂及 SO-100/SO-101 的相關 checkpoint。README 的模擬 Quick Start 要求 Python 3.12、CUDA 13.0 驅動程式、至少 80 GB 記憶體的 NVIDIA GPU,以及一次 Hugging Face 驗證;官方亦提供 checkpoint checksum 驗證步驟。

開放權重與商業使用

Runway 表示,Praxis-1 的權重、推論及微調程式碼全部以 Apache 2.0 發布,包括商業使用。模型支援完整微調及 LoRA,可在 NVIDIA H100、B200、RTX 5090、RTX PRO 6000 及 Jetson Thor 等硬件執行,亦已提供 Hugging Face 的 LeRobot 支援、vLLM-Omni 整合及 Reactor 託管推論。

Runway 表示,模型已在 Noble Machines 的人形機械人、Standard Bots 的六軸工業臂及 Ultra 的雙臂倉儲機械人測試。適配特定硬件仍需要專門資料;例如以 DROID 資料微調 Franka 機械臂約需 277 小時記錄,而雙臂系統使用約 1,400 至 2,600 小時的訓練材料。

實際採用前仍需驗證的環節

  • 硬件成本:官方最低 Quick Start 涉及 80 GB GPU,並非一般消費級電腦即可輕易執行。
  • 新機械臂適配:LoRA 可降低調整成本,但不能消除機械臂專屬資料及工程整合需求。
  • 複雜規劃限制:The Decoder 指出,模型仍可能混淆外觀相近的物件,也未能獨立可靠規劃複雜動作序列。
  • 供應鏈檢查:部署前應核對官方 commit、依賴版本、checkpoint SHA-256,以及在隔離環境驗證下載與推論流程。

來源

圖片說明:真人示範動作與機械臂模仿操作物體,象徵 Praxis-1 由影片學習轉化為真實動作控制。

圖片 credit:HKAIWeb 原創封面,CC BY 4.0。

作者: hkaiweb

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Social Media Auto Publish Powered By : XYZScripts.com