https://rhobin-challenge.github.io/
在CVPR'23上成功举办了第一届Rhobin研讨会后,此次为期半天的第二届Rhobin研讨会将继续为展示和讨论从图像中重构人与物体交互的前沿研究提供平台。与第一届研讨会相比,本次研讨会的重点将不仅限于基于图像的交互重构,还将扩展到对交互过程的跨时间跟踪,并寻求与相关主题的联系,例如以自我为中心的视觉和动态场景交互。第二届Rhobin挑战赛将包括五个赛道,其中新增了两项人与物体交互跟踪和基于图像的接触估计任务,使用两个新的数据集InterCap和DAMON以及BEHAVE。
鉴于人与物体交互的重要性,正如本次研讨会所强调的,竞赛提出一项挑战,即从单色RGB图像中重建3D人体和物体,并估计3D人体-物体和人体-场景接触。竞赛已经在从单张图像中重建人体网格或估计6自由度物体姿态方面取得了令人鼓舞的进展。然而,大多数这些工作都专注于无遮挡的图像,这在近距离的人体-物体交互场景中并不现实,因为人类和物体会相互遮挡。这使得推理更加困难,并对现有的顶级方法提出了挑战。同样,估计3D接触的方法也取得了快速进展,但仅限于扫描或合成数据集,在泛化到野外场景方面存在困难。在这次研讨会上,我们希望考察现有的人体和物体重建以及接触估计方法在更现实的场景下的表现,更重要的是,了解它们如何相互受益以实现准确的交互推理。最近发布的BEHAVE(CVPR'22)、InterCap(GCPR'22)和DAMON(ICCV'23)等数据集,使竞赛可以在真实环境中对人与物体的交互进行联合推理,并评估在野外环境中的接触预测。
竞赛分为五个赛道(track):
T1:3D人体重建
T2:6自由度刚体物体姿态估计
T3:人体与物体关节重构
T4:基于视频的跟踪
T5:从2D图像预测3D接触
vRobotit实验室成绩:
实验室组织3个队伍,以北京邮电大学为牵头单位参加了3个赛道的比赛,获得T1(亚军) 、T3 (冠军)、T5(第4)。