Esther｜编辑

前不久，NVIDIA在Omniverse平台发布机器人仿真训练功能Isaac Sim，可以让企业在3D模拟的规模化场景中精准训练AI机器人。可用于训练抓取机器人、机械臂、四足机器人、物理模拟等等。

而近期，Facebook推出Habitat 2.0版，在AI Habitat基础上提升了速度、物理模拟和交互性，加速机器人在练习拾取、开关抽屉/门、补货、整理房间等动作上的培训过程。此外，Facebook还推出3D场景数据集ReplicaCAD，以及全新的机器人仿真培训标准HAB，并与3D解决方案公司Matterport合作，发布交互式3D室内场景数据集Habitat-Matterport 3D（HM3D），其中包含1000份高分辨率3D扫描场景（商用建筑或住宅），这可能是目前公开的最大3D场景数据集。

实际上，早在2019年时，Facebook就已推出开源的AI Habitat平台，该平台专注实体AI训练和研究，也是一种机器人仿真训练平台。AI仿真机器人可以在数百种3D场景中进行训练，并快速得到相当于几年时间的模拟数据。

据了解，机器人仿真是上世纪70年代就兴起的一项技术，它指的是在计算机中生成机器人的几何图形，让模拟的机器人在虚拟环境中进行训练，以获取实际应用所需的训练经验。

在训练计算机视觉和自然语言处理所采用的AI模型时，通常使用文字、图像、音频、视频等数据来训练。但在训练实体AI（机器人或虚拟化身）时，则将需要3D渲染的空间数据，因为实体AI/机器人需要像人一样理解物理环境，并与之交互，或是识别和区分周围的物体。

随着3D技术发展，机器人仿真也逐渐从几何图形升级为更加逼真的3D仿真，让3D可视化的机器人在逼真的3D场景中训练各种任务，速度可比实际训练要快数百万倍。而随着Isaac Sim和Habitat 2.0的发布，在3D场景中模拟机器人训练逐渐成为一种趋势。

关于Habitat 2.0和HAB

而与此前的AI Habitat相比，Habitat 2.0的区别在于支持更多交互，而且支持AI机器人可视化，不过为了保证训练速度，机器人的可视化效果可能还不够保真。

同时，与AI2的Manipula THOR AI框架等同类产品相比，Habitat 2.0的优势在于速度，大约是其他同类方案的50到100倍，也就是说在单一GPU中，机器人的训练效率可高达8200 SPS（帧/秒）。高速培训效率将大大降低培训时间，通常需要6个多月完成的实验在2天内即可完成，而这将大大提升机器人技术的发展速度。

Facebook认为，Habitat 2.0是AI领域中公开的最快速仿真模拟平台，速度可能比科研和工业领域的大多数3D模拟方案快两个数量级。

与其他仿真机器人模拟方案相比，Habitat 2.0的另一个不同之处在于，它模拟机器人移动并不是基于机器人与地面的接触动作，而是通过导航网格来寻路。在交互模拟上，会考虑物体的体积和阻力，逼真模拟物理特性。

此外，Habitat的优势在于，通过高仿真室内场景进行训练，可帮助AI机器人学习如何在真实空间中移动，适用于培训酒店机器人或家用机器人。而且Habitat 2.0和ReplicaCAD数据包含更多支持交互的3D模型，科研人员可以用它来训练更复杂的机器人动作，比如清洁厨房或整理桌面等，而这可能是一些较低速度的仿真模拟平台无法做到的。

另一方面，为了检验机器人仿真训练效果，Facebook还推出全新的机器人仿真培训标准HAB，其特点是要求机器通过RGBD摄像头、相机自运动、关节位置传感器等设备，人从0开始熟悉新的3D场景，可测试整理桌面、清理冰箱和房间、导航、捡拾、摆放、开抽屉、开门等动作。

关于ReplicaCAD

Facebook在发布AI Habitat时，就已推出基于摄像头扫描、SLAM和AI重建算法来实现的3D模型数据集Replica，其中包含18个不同大小的场景扫描，场景基于公寓、零售店、会议室、两层楼房等，这些环境中包含了已经标记的物品，比如窗户、楼梯、书籍或植物。据悉，Replica中3D场景的环境纹理通过视频来重建，支持高分辨率渲染和动态变化。

AI Habitat采用的Replica数据集基于静态的3D扫描数据，而Habitat 2.0所采用的ReplicaCAD数据集则是基于由设计师3D重建，升级为 3D模型组成的场景，具有物理参数的数据。ReplicaCAD中包含111种布局，以及支持语义和几何理解的3D模型，支持标记，可定制训练动作。

与此前的Replica Scan数据集相比，ReplicaCAD所包含的3D场景具备更多细节（材质成分、几何和纹理等），而且光影效果更自然、色彩更饱满。从整体来看，ReplicaCAD由5名设计师重新设计了场景的布局，而从细节上，由92名设计师3D重建并重新摆放了场景中的家具。此外，桌子等平面加入更多标记。

实际上，ReplicaCAD就是加入定制3D模型的3D扫描室内场景。该数据集需要花费大量人工，目前Facebook正在探索规模化创建数据的方式。ReplicaCAD数据集对于AI机器人仿真模拟来说足够重要。

关于HM3D

此前，AI Habitat已经支持Matterport 3D数据集，而近期推出的HM3D则是Facebook正式与Matterport合作，专门为Habitat 2.0仿真训练平台推出的大规模开源3D数据集。其中包含1000种不同的3D扫描场景，在3D扫描领域，这些数据具有相当大规模。

Matterport CEO RJ Pittman表示：Habitat-Matterport中包含接近每种类型的室内建筑，比如：住宅、高楼、医院、办公楼、游轮、喷气飞机、Taco Bells餐厅、麦当劳，等等。这些3D场景中包含的所有“数字孪生”信息对于训练AI非常重要。尽管HM3D中的3D场景还不支持交互，它的优势在于基于真实数据，效果足够逼真、准确，而且多样化。

据悉，HM3D中包含的数据已获得建筑主人的主动授权，未来还将继续扩大规模，并提供可通过API使用的参数化数据，甚至提供基于3D场景数据的SaaS服务。

Matterport表示：未来还将将丰富数据库规模，并有望加入语义标记，以优化机器人在目标提取、动态环境理解等方面的训练，帮助机器人在周围有人或宠物移动的空间中，自然移动，并追踪位置不断改变的目标物体（手机、钱包、鞋等日常物品）。

仿真机器人模拟的未来

从Habitat 2.0和HM3D数据集的发布，可以看出Facebook在3D仿真平台上持续的探索。而机器人培训作为3D仿真平台的一项应用，也在NVIDIA等公司推动下持续发展。那么，3D仿真、机器人仿真模拟可以有哪些实际应用场景呢？

长远来看，有的人可能认为3D仿真是一种“元宇宙”技术，通过3D扫描来重建大规模的真实场景，实现虚实结合。而短期来看，更实际的应用场景则主要是提升酒店、家用机器人算法的培训效率。

对此Pittman认为，Habitat 2.0可用来训练计算机视觉模型，或是机器人识别物体，这项技术抓住了实体AI培训的痛点。此外，还可以用于AR场景，比如：训练AR形式的实体AI助手可根据空间信息，帮你定位钥匙等物品。也就是说，Habitat 2.0不仅可以训练机器人，也可以将AI导航和AR结合，训练可用于AR眼镜或移动端AR的助手。

也就是说，通过3D仿真培训，可开发具有空间感知能力的实体AI，而这将提升人们的生活质量，并且可以在任何设备上运行。

不过，目前Habitat 2.0还不能模拟液体、薄膜、布料、绳子等可变性的材质，也不支持音频或体感感知。

接下来，除了进一步优化系统、提升速度，以及丰富训练数据外，还将重新调整机器人学习的过程和相互作用（渲染+物理模拟+强化）。同时，还将解决多任务处理的难题，帮助机器人学习连贯的动作。

参考：

https://ai.facebook.com/blog/habitat-20-training-home-assistant-robots-with-faster-simulation-and-new-benchmarks

https://techcrunch.com/2021/06/30/facebook-and-matterport-collaborate-on-realistic-virtual-training-environments-for-ai/

（ END）

青亭网

青亭网--链接科技前沿，服务商业创新

2368篇原创内容

公众号

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网