具身智能機(jī)器人的種類多種多樣，有雙足機(jī)器人、四組機(jī)械狗、四輪機(jī)器人、四輪 機(jī)械臂、兩輪 機(jī)械臂，和自動(dòng)駕駛仿真類似，機(jī)器人也需要逼真的環(huán)境去驗(yàn)證各類算法，下面就為大家盤點(diǎn)下領(lǐng)域常用的一些通用機(jī)器人和面向真實(shí)場(chǎng)景的機(jī)器人仿真框架。

1）Isaac Sim

NVIDIA Isaac Sim是一款參考應(yīng)用程序，它使開(kāi)發(fā)人員能夠在基于物理的虛擬環(huán)境中設(shè)計(jì)、模擬、測(cè)試和訓(xùn)練基于人工智能的機(jī)器人和自主機(jī)器。Isaac Sim 建立在 NVIDIA Omniverse 的基礎(chǔ)上，具有完全的可擴(kuò)展性，使開(kāi)發(fā)人員能夠構(gòu)建基于通用場(chǎng)景描述（OpenUSD）的自定義模擬器，或者將 Isaac Sim 的核心技術(shù)集成到他們現(xiàn)有的測(cè)試和驗(yàn)證流程中。

項(xiàng)目主頁(yè)：https://developer./isaac/sim

2）AirSim

2017年，微軟研究院創(chuàng)建了AirSim，作為一個(gè)用于人工智能研究和實(shí)驗(yàn)的模擬平臺(tái)。AirSim 是一款基于 Unreal Engine的無(wú)人機(jī)、汽車等多種設(shè)備的模擬器。它是開(kāi)源的、跨平臺(tái)的，并支持與流行的飛行控制器（如 PX4 和 ArduPilot）進(jìn)行軟件在環(huán)（Software-in-the-Loop, SIL）模擬，以及與 PX4 進(jìn)行硬件在環(huán)（Hardware-in-the-Loop, HIL）模擬，以實(shí)現(xiàn)物理和視覺(jué)上逼真的模擬。AirSim 被開(kāi)發(fā)為一個(gè) Unreal 插件，可以簡(jiǎn)單地插入到任何 Unreal 環(huán)境中。同樣也為 Unity 插件提供了一個(gè)實(shí)驗(yàn)性版本。AirSim 作為一個(gè) AI 研究平臺(tái)，主要用于實(shí)驗(yàn)深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)算法在自動(dòng)駕駛車輛中的應(yīng)用。為此，AirSim 還提供了 API，以便以平臺(tái)無(wú)關(guān)的方式檢索數(shù)據(jù)和控制車輛。

項(xiàng)目鏈接：https://github.com/microsoft/AirSim

3）V-REP

V-REP（Virtual Robot Experimentation Platform，現(xiàn)已更名為CoppeliaSim）是一款功能強(qiáng)大的機(jī)器人仿真軟件，為開(kāi)發(fā)者提供了一個(gè)集成的3D開(kāi)發(fā)環(huán)境，用于快速原型驗(yàn)證、遠(yuǎn)程監(jiān)控、快速算法開(kāi)發(fā)、機(jī)器人相關(guān)教育和工廠自動(dòng)化系統(tǒng)仿真。這款軟件因其全面的功能和用戶友好的界面，在機(jī)器人研究和教育領(lǐng)域廣受好評(píng)。

V-REP具備幾個(gè)核心特點(diǎn)，首先是其跨平臺(tái)的能力，支持Windows、MacOS和Linux操作系統(tǒng)，為不同用戶提供了靈活的選擇。其次，V-REP提供了多種編程方法和編程語(yǔ)言支持，包括嵌入式腳本（支持Lua）、插件、附加組件、ROS節(jié)點(diǎn)、遠(yuǎn)程客戶端應(yīng)用編程接口等，且支持C/C 、Python、Java、Matlab、Octave等多種編程語(yǔ)言，極大地方便了不同技術(shù)背景的開(kāi)發(fā)者。

在物理仿真方面，V-REP集成了多個(gè)物理引擎，包括ODE、Bullet、Vortex和Newton，能夠根據(jù)物體的物理屬性計(jì)算運(yùn)動(dòng)、旋轉(zhuǎn)和碰撞，提供逼真的仿真效果。此外，V-REP還提供了完整的運(yùn)動(dòng)學(xué)解算器，支持任何機(jī)構(gòu)的逆運(yùn)動(dòng)學(xué)和正運(yùn)動(dòng)學(xué)計(jì)算，使得仿真結(jié)果更加準(zhǔn)確。

V-REP在機(jī)器人仿真方面的功能也十分強(qiáng)大，內(nèi)置了豐富的機(jī)器人模型和控制接口，支持路徑規(guī)劃、圖像處理、動(dòng)態(tài)顆粒仿真等多種高級(jí)功能。通過(guò)詳細(xì)的API和腳本功能，用戶可以輕松地將各種功能集成和組合，實(shí)現(xiàn)復(fù)雜的機(jī)器人仿真任務(wù)。

除了上述功能外，V-REP還提供了豐富的視覺(jué)化工具，如數(shù)據(jù)記錄與可視化（時(shí)距圖、X/Y圖或三維曲線）、圖形編輯模式等，方便用戶實(shí)時(shí)查看和分析仿真結(jié)果。此外，V-REP還支持多層取消/重做、影像記錄、油漆仿真等功能，提高了用戶的操作效率。

項(xiàng)目主頁(yè)：https://www./

4）Unity

Unity機(jī)器學(xué)習(xí)agent工具包（ML-Agents）是一個(gè)開(kāi)源項(xiàng)目，它使游戲和模擬能夠作為訓(xùn)練智能agent的環(huán)境。我們提供了基于PyTorch的最先進(jìn)算法的實(shí)現(xiàn)，使游戲開(kāi)發(fā)者和愛(ài)好者能夠輕松地為2D、3D以及VR/AR游戲訓(xùn)練智能agent。研究人員還可以使用提供的易于使用的Python API，通過(guò)強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、神經(jīng)進(jìn)化或任何其他方法來(lái)訓(xùn)練agent。這些訓(xùn)練好的agent可用于多種目的，包括控制NPC行為（在各種設(shè)置中，如多agent和對(duì)抗性）、游戲構(gòu)建的自動(dòng)化測(cè)試以及在發(fā)布前評(píng)估不同的游戲設(shè)計(jì)決策。ML-Agents工具包對(duì)游戲開(kāi)發(fā)者和AI研究人員來(lái)說(shuō)是互惠互利的，因?yàn)樗峁┝艘粋€(gè)中心平臺(tái)，可以在Unity的豐富環(huán)境中評(píng)估AI的進(jìn)步，然后將這些進(jìn)步提供給更廣泛的研究和游戲開(kāi)發(fā)者社區(qū)。

項(xiàng)目主頁(yè)：https://github.com/Unity-Technologies/ml-agents

5）Pybullet

PyBullet 是一個(gè)用于機(jī)器人學(xué)、游戲開(kāi)發(fā)和圖形研究的開(kāi)源物理仿真庫(kù)。它是基于 Bullet Physics SDK，這是一個(gè)成熟的、廣泛使用的開(kāi)源物理引擎。PyBullet 提供了 Python 接口，使得開(kāi)發(fā)者能夠利用 Bullet 強(qiáng)大的物理仿真能力，同時(shí)享受 Python 的易用性。主要優(yōu)勢(shì)：

多體動(dòng)力學(xué)仿真: PyBullet 能夠精確模擬多體系統(tǒng)的動(dòng)態(tài)行為，包括剛體和軟體動(dòng)力學(xué)。

機(jī)器人學(xué)支持: 它支持加載 URDF（統(tǒng)一機(jī)器人描述格式）文件，這是一種在機(jī)器人學(xué)中廣泛使用的標(biāo)準(zhǔn)格式。

逆向動(dòng)力學(xué)和運(yùn)動(dòng)規(guī)劃: PyBullet 提供了逆向動(dòng)力學(xué)求解器和運(yùn)動(dòng)規(guī)劃算法，這對(duì)于機(jī)器人的路徑規(guī)劃至關(guān)重要。

渲染和可視化: 它包括一個(gè)簡(jiǎn)單的直接渲染器，也可以通過(guò) VR 接口進(jìn)行更高級(jí)的渲染。

強(qiáng)化學(xué)習(xí)環(huán)境: PyBullet 與 OpenAI Gym 兼容，為強(qiáng)化學(xué)習(xí)提供了標(biāo)準(zhǔn)化的環(huán)境和接口。

跨平臺(tái): 它可以在 Windows、Linux 和 macOS 上運(yùn)行。

項(xiàng)目主頁(yè)：https://github.com/bulletphysics/bullet3

6）PhyScene

PhyScene是一種新穎的方法，用于生成具有真實(shí)布局、可移動(dòng)目標(biāo)和豐富物理交互性的交互式3D場(chǎng)景，這些特性專為具身agent量身定制?；跅l件擴(kuò)散模型來(lái)捕獲場(chǎng)景布局，并設(shè)計(jì)了新穎的基于物理和交互性的引導(dǎo)函數(shù)，這些函數(shù)包含了來(lái)自物體碰撞、房間布局以及agent交互性的約束。

項(xiàng)目主頁(yè)：https://physcene./

7）RoboGen

RoboGen，這是一種生成式機(jī)器人agent，它通過(guò)生成式模擬自動(dòng)學(xué)習(xí)多樣化的機(jī)器人技能。RoboGen利用了基礎(chǔ)和生成模型領(lǐng)域的最新進(jìn)展，并沒(méi)有直接使用或調(diào)整這些模型來(lái)生成策略或低級(jí)動(dòng)作，而是倡導(dǎo)一種生成式方案，該方案利用這些模型自動(dòng)生成多樣化的任務(wù)、場(chǎng)景和訓(xùn)練監(jiān)督，從而在最小人為監(jiān)督的情況下擴(kuò)大機(jī)器人技能學(xué)習(xí)的規(guī)模。RoboGen方法使機(jī)器人agent具備了自我引導(dǎo)的“提出-生成-學(xué)習(xí)”循環(huán)：agent首先提出有趣的任務(wù)和技能來(lái)開(kāi)發(fā)，然后通過(guò)填充相關(guān)目標(biāo)和資產(chǎn)以適當(dāng)?shù)目臻g配置來(lái)生成相應(yīng)的模擬環(huán)境。之后，agent將提出的高級(jí)任務(wù)分解為子任務(wù)，選擇最佳學(xué)習(xí)方法（強(qiáng)化學(xué)習(xí)、運(yùn)動(dòng)規(guī)劃或軌跡優(yōu)化），生成所需的訓(xùn)練監(jiān)督，然后學(xué)習(xí)策略以獲得所提出的技能。這項(xiàng)工作試圖提取大規(guī)模模型中嵌入的廣泛且多功能的知識(shí)，并將其轉(zhuǎn)移到機(jī)器人領(lǐng)域。我們的完全生成式流程可以反復(fù)查詢，產(chǎn)生與各種任務(wù)和環(huán)境相關(guān)的無(wú)窮無(wú)盡的技能演示。

項(xiàng)目主頁(yè)：https://robogen-ai./

8）ThreeDWorld

ThreeDWorld（TDW）是一個(gè)用于交互式多模態(tài)物理模擬的平臺(tái)。TDW能夠在豐富的3D環(huán)境中模擬移動(dòng)agent與物體之間的高保真感官數(shù)據(jù)和物理交互。其獨(dú)特屬性包括：實(shí)時(shí)接近照片級(jí)真實(shí)的圖像渲染；目標(biāo)和環(huán)境的庫(kù)，以及用于自定義它們的例程；用于高效構(gòu)建新環(huán)境類別的生成程序；高保真音頻渲染；包括布料、液體和可變形物體在內(nèi)的多種材料類型的真實(shí)物理交互；體現(xiàn)AIagent的可定制agent；以及對(duì)人類與VR設(shè)備交互的支持。TDW的API允許多個(gè)agent在模擬中交互，并返回一系列代表世界狀態(tài)的傳感器和物理數(shù)據(jù)。

項(xiàng)目主頁(yè)：https://www./

9）iGibson 1.0

iGibson是一個(gè)基于Bullet的快速視覺(jué)渲染和物理模擬環(huán)境。iGibson配備了十五個(gè)完全可交互的高質(zhì)量場(chǎng)景，數(shù)百個(gè)從真實(shí)家庭和辦公室重建的大型3D場(chǎng)景，并且與CubiCasa5K和3D-Front等數(shù)據(jù)集兼容，提供了12000多個(gè)額外的可交互場(chǎng)景。iGibson的一些特點(diǎn)包括領(lǐng)域隨機(jī)化、與運(yùn)動(dòng)規(guī)劃器的集成以及易于使用的工具來(lái)收集人類演示。通過(guò)這些場(chǎng)景和功能，iGibson允許研究人員訓(xùn)練和評(píng)估使用視覺(jué)信號(hào)來(lái)解決導(dǎo)航和操縱任務(wù)的機(jī)器人agent，如開(kāi)門、拿起和放置物體或在柜子里搜索。

項(xiàng)目主頁(yè)：https://svl./igibson/

10）SAPIEN

SAPIEN模擬器為機(jī)器人、剛體和鉸接物體提供物理模擬。它通過(guò)純Python接口支持強(qiáng)化學(xué)習(xí)和機(jī)器人技術(shù)。此外，它還提供了多種渲染模式，包括深度圖、法線圖、光流、活動(dòng)光和光線追蹤。

項(xiàng)目主頁(yè)：https://sapien./

11）Habitat

Habitat是一個(gè)用于研究具身人工智能（AI）的平臺(tái)。Habitat能夠在高度逼真的3D模擬環(huán)境中訓(xùn)練具身agent（虛擬機(jī)器人）。具體來(lái)說(shuō)，Habitat由以下部分組成：

（i）Habitat-Sim：一個(gè)靈活、高性能的3D模擬器，具有可配置的agent、傳感器和通用的3D數(shù)據(jù)集處理能力。Habitat-Sim運(yùn)行速度快—在渲染Matterport3D場(chǎng)景時(shí)，它能夠在單線程下達(dá)到數(shù)千幀每秒（fps）的速度，而在單個(gè)GPU上進(jìn)行多進(jìn)程處理時(shí)，速度可超過(guò)10,000 fps。

（ii）Habitat-API：一個(gè)模塊化的高級(jí)庫(kù)，用于具身AI算法的端到端開(kāi)發(fā)——定義任務(wù)（如導(dǎo)航、指令跟隨、問(wèn)題回答）、配置、訓(xùn)練和評(píng)估具身agent。

項(xiàng)目主頁(yè)：https://github.com/facebookresearch/habitat-sim