ICCV'21 竞赛+workshop | 人机交互导航挑战赛

让创新获得认可将门创投今天

收录于话题

#ICCV

2个

近日，由蒙纳什大学，阿德莱德大学联合举办的 International Conference on Computer Vision (ICCV) 人机交互导航挑战赛正式开赛。人机交互导航是一种沉浸式，多模态的导航任务。它使用人类自然语言指令来引导机器人完成室内导航任务，旨在为人工智能领域提供一个普适的、高效的人机交互解决方案，让人们能用自然语言操控机器人。

ICCV 2021 Workshop:

https://human-interaction4robotic-navigation.github.io/

随着深度学习和强化学习的发展，基于深度学习的导航应用也越来越可行。相比于传统基于规则的方法和SLAM，基于深度学习的导航方法有很多优点：深度网络能更好地识别图片，深度强化学习鲁棒性更高，可以接受自然语言指令等等。因为训练深度导航的模型需要大量的数据，研究人员们提出了很多虚拟环境来高效地采样数据，比如Matterport3D, Habitat，Gibson，AI2-THOR等等。

训练和测试导航模型的虚拟环境

为了探究虚拟环境中的导航，研究人员基于这些虚拟环境提出了各种各样的导航任务，比如PointGoal，Object Goal，Room Goal 等等，通过给定一个点、物体或者房间作为机器人导航的目标。更近一步的，后来的工作提出了引入自然语言的导航，通过提供句子或者对话来指示机器人如何走到终点。

一个视觉-自然语言导航的示意图

但是之前的视觉-自然语言导航提供的是逐步的指令，几乎提供了每步的线索来指示机器人一步一步到达终点。但事实上，这在现实场景中是不可能的。现实中的导航要求机器人进行探索并对周围环境有高层次的感知而不仅仅是逐步地识别和导航。为了解决这个问题，我们收集并标注了大量的以目标为中心的自然语言，提供了以下两个沉浸式、多模态的大规模数据集，SOON[1]和REVERIE [2]。

SOON 任务是通过一段详细的自然语言来指导一个机器人从大范围到小范围地在房间里找到一个唯一确定的物体。

REVERIE 任务给定日常生活中高度抽象的简短指令，旨在让机器人找到一个远处的目标物体。

基于这两个数据集，我们发布了这个人机交互导航挑战赛。本次挑战赛分为两个分赛，SOON挑战赛和REVERIE挑战赛。目前两个挑战赛都已经正式上线。两个数据集都在同一个虚拟环境（Matterport3D Simulator）中运行。参赛者可以在比赛中提交结果，并将研究成果投至我们的ICCV Workshop (9月22日截止)。

SOON 赛事主页:

https://scenario-oriented-object-navigation.github.io/

REVERIE 赛事主页:

https://yuankaiqi.github.io/REVERIE_Challenge/index.html

由IEEE主办的ICCV国际计算机视觉大会，是计算机视觉方向的三大顶级会议之一，被中国计算机学会等权威机构评为最高级别学术会议，业内极具影响力。作为ICCV重要环节，由全球科技巨头及顶级研究机构主办的各项计算机视觉类挑战赛同样备受关注，吸引了大批世界顶尖专家、学者、工程师前来参赛。

此外，主办方也将在10月16日举办2021 ICCV Workshop: Human Interaction for Robot Navigation。挑战赛优胜团队将与斯坦福大学教授 Silvio Savares、卡耐基梅隆大学教授 DhruvBatra、北卡罗莱纳大学教授Mohit Bansal、微软研究院深度学习组负责人 Jianfeng Gao等业内顶级学者进行前沿理论和实践成果分享。

SOON结果提交地址:

https://eval.ai/web/challenges/challenge-page/1188/overview

RERVERIE结果提交地址：

https://eval.ai/web/challenges/challenge-page/606/overview

References:

[1] Fengda Zhu, Xiwen Liang, Yi Zhu, Qizhi Yu, XiaojunChang, Xiaodan Liang. “SOON: Scenario Oriented Object Navigation withGraph-based Exploration.” CVPR 2021

[2] Yuankai Qi, Qi Wu, Peter Anderson, Xin Wang, WilliamYang Wang, Chunhua Shen, and Anton van den Hengel. 2020. “REVERIE: RemoteEmbodied Visual Referring Expression in Real Indoor Environments.” CVPR 2020

Illustrastion by Alexandra Manokhina from Icons8

-The End-