3D虚拟环境的最新发展让我们可以训练和评估AI算法。然而，以往的研究大多针对视觉导航，并未关注物理交互。

最近arXiv.org上的一篇论文提出了一项新的嵌入式AI任务。代理必须在现实的虚拟环境中移动和改变各种对象的状态。特别是，具有两个九自由度臂的代理必须探索虚拟房屋，寻找分散在不同房间的物体，并将它们带到所需的位置。此外，容器被放置在房子里。代理可以使用它们一次传输两个以上的对象。

为训练开发了一个完全基于物理的API。结果表明，纯强化学习模型难以完成任务。基于分层规划的代理取得了更好的结果，但仍然无法解决任务。

我们引入了一个视觉引导和物理驱动的任务和运动规划基准，我们称之为ThreeDWorld运输挑战。在这个挑战中，一个配备了两个9自由度关节臂的实体代理在模拟的物理家庭环境中随机生成。代理需要找到散落在房子周围的一小组物体，捡起它们，然后将它们运送到所需的最终位置。我们还在房屋周围放置容器，这些容器可用作帮助有效运输物品的工具。为了完成任务，实体代理必须计划一系列动作，以在面对现实的物理约束时改变大量对象的状态。我们使用ThreeDWorld模拟构建了这个基准挑战：一个虚拟3D环境，其中所有对象都响应物理，以及可以使用完全物理驱动的导航和交互API控制的位置。我们在这个基准上评估了几个现有的代理。实验结果表明：1)纯RL模型难以应对这一挑战;2)基于分层规划的代理可以传输一些对象，但离解决这个任务还很远。我们预计该基准将使研究人员能够为物理世界开发更智能的物理驱动机器人。