机器之心专栏
除了这两个要求之外,物体可以在整个视频中自由移动,甚至经历严重的遮挡。英伟达的方法在目标上与物体级 SLAM 的先前工作类似,但放松了许多常见的假设,从而能够处理遮挡、反射、缺乏视觉纹理和几何线索以及突然的物体运动。
英伟达方法的关键在于在线姿态图优化过程,同时进行神经重建过程和一个内存池以促进两个过程之间的通信。相关论文已被 CVPR 2023 会议接收。
(资料图片)
论文地址:/abs/
项目主页:/
项目代码:/NVlabs/BundleSDF
本文的贡献可以总结如下:
一种用于新颖未知动态物体的因果 6 自由度姿态跟踪和 3D 重建的新方法。该方法利用了并发跟踪和神经重建过程的新颖共同设计,能够在几乎实时的在线环境中运行,同时大大减少了跟踪漂移。
引入了混合 SDF 表示来处理动态物体为中心的环境中由于噪声分割和交互引起的不确定自由空间的挑战。
在三个公共基准测试中进行的实验显示了本文方法与主流方法的最先进性能。
英伟达方法的鲁棒性在下图 1 中得到了突出显示。
与相关工作的对比
此前的 6D 物体姿态估计旨在推断出目标物体在相机帧中的三维平移和三维旋转。最先进的方法通常需要实例或类别级别的物体 CAD 模型进行离线训练或在线模板匹配,这限制了它们在新颖未知物体上的应用。尽管最近有几项研究工作放宽了假设并旨在快速推广到新颖未见的物体,但它们仍然需要预先捕获测试物体的姿态参考视图,而英伟达的设定中并不假设这一点。
除了单帧姿态估计之外,6D 物体姿态跟踪利用时间信息在整个视频中估计每帧物体姿态。与单帧姿态估计方法类似,这些方法在不同的假设条件上进行,例如训练和测试使用相同的物体,或者在相同类别的物体上进行预训练。
然而,与所有以往工作不同的是,英伟达的追踪和重建协同设计采用了一种新颖的神经表示,不仅在实验证实中实现了更强大的跟踪能力,还能够输出额外的形状信息。
此外,虽然 SLAM(同时定位与地图构建)方法解决的是与本研究类似的问题,但其专注于跟踪相机相对于大型静态环境的姿态。动态 SLAM 方法通常通过帧 - 模型迭代最近点(ICP)与颜色相结合、概率数据关联或三维水平集似然最大化来跟踪动态物体。模型通过将观察到的 RGBD 数据与新跟踪的姿态聚合实时重建。
相比之下,英伟达的方法利用一种新颖的神经对象场表示,允许自动融合,同时动态矫正历史跟踪的姿态以保持多视角一致性。英伟达专注于物体为中心的场景,包括动态情景,其中常常缺乏纹理或几何线索,并且交互主体经常引入严重遮挡,这些是在传统 SLAM 中很少发生的困难。与物体级 SLAM 研究中研究的静态场景相比,动态交互还允许观察物体的不同面以进行更完整的三维重建。
方法概览
英伟达方法的概述如下图所示。给定单目 RGBD 输入视频以及仅在第一帧中感兴趣物体的分割掩码,该方法通过后续帧跟踪物体的 6D 姿态并重建物体的纹理 3D 模型。所有处理都是因果的(无法访问未来帧的信息)。英伟达假设物体是刚体,但适用于无纹理的物体。
此外不需要物体的实例级 CAD 模型,也不需要物体的类别级先验知识(例如事先在相同的物体类别上训练)。
整个框架的流程可以概括为:首先在连续的分割图像之间匹配特征,以获得粗略的姿态估计(第 节)。其中一些具有姿态的帧被存储在内存池中,以便稍后使用和优化(第 节)。从内存池的子集动态创建姿态图(第 节);在线优化与当前姿态一起优化图中的所有姿态。
然后,这些更新的姿态被存储回内存池中。最后,内存池中的所有具有姿态的帧用于学习基于 SDF 表示的神经物体场(在单独并行的线程中),该对象场建模物体的几何和视觉纹理(第 节),同时调整它们先前估计的姿态,以鲁棒化 6D 物体姿态跟踪。
在这项工作中,一个独特的挑战在于交互者引入的严重遮挡,导致了多视几何不再一致。并且完美的物体分割掩码通常无法得到。为此,英伟达进行了独特的建模以增加鲁棒性。
下面左图:使用视频分割网络(第 节)预测的二值掩码进行高效的射线追踪的 Octree 体素表示,该物体分割掩码由于来自神经网络的预测难免存在错误。射线可以落在掩码内部(显示为红色)或外部(黄色)。右图:神经体积的 2D 俯视示意图,以及沿着射线进行的混合 SDF 建模的点采样。蓝色样本接近表面。
实验和结果
数据集:英伟达考虑了三个具有截然不同的交互形式和动态场景的真实世界数据集。有关野外应用和静态场景的结果,请参阅项目页面。
HO3D:该数据集包含了人手与 YCB 物体交互的 RGBD 视频,由近距离捕捉的 Intel RealSense 相机进行拍摄。
YCBInEOAT:该数据集包含了双臂机器人操作 YCB 物体的第一视角的 RGBD 视频,由中距离捕捉的 Azure Kinect 相机进行拍摄。操作类型包括:(1)单臂拾取和放置,(2)手内操作,以及(3)双臂之间的拾取和交接。
BEHAVE:该数据集包含人体与物体交互的 RGBD 视频,由 Azure Kinect 相机的预校准多视图系统远距离捕捉。然而,我们将评估限制在单视图设置下,该设置经常发生严重遮挡。
评估指标:英伟达分别评估姿态估计和形状重建。对于 6D 物体姿态,他们使用物体几何来计算 ADD 和 ADD-S 指标的曲线下面积(AUC)百分比。对于 3D 形状重建,英伟达计算最终重建网格与地面真实网格之间在每个视频的第一帧定义的规范坐标系中的 Chamfer 距离。
对比方法:英伟达使用官方的开源实现和最佳调整参数与 DROID-SLAM (RGBD) [61]、NICE-SLAM [85]、KinectFusion [43]、BundleTrack [69] 和 SDF-2-SDF [53] 进行比较。此外还包括它们在排行榜上的基准结果。
团队介绍
该论文来自于英伟达研究院。其中论文一作是华人温伯文,博士毕业于罗格斯大学计算机系。曾在谷歌 X,Facebook Reality Labs, 亚马逊和商汤实习。研究方向为机器人感知和 3D 视觉。
©THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@
关键词:
-
对未知物体进行6D追踪和3D重建,英伟达方法取得新SOTA,入选CVPR 2023
机器之心专栏机器之心编辑部如今,计算机视觉社区已经广泛展开了对物体
-
天天热讯:中科江南:上半年净利润预增51%-81%
中科江南发布业绩预告,预计2023年上半年归属于上市公司股东的净利润92
-
环球新动态:紫荆花开26载 香港明天会更好
7月1日,香港各界举行多姿多彩的活动庆祝香港回归祖国26周年。从庄严肃
-
京津冀和新疆4省(区、市)6月平均气温均为历史同期最高-焦点讯息
据国家气候中心消息,今年以来,我国高温日数为1961年以来历史同期最多
-
强制灌肠憋尿-全球观热点
1、如果你想作践自己,很简单,用绳子在冠状沟处绑紧就行。2、但要有所
-
金汤水不漏套什么定额 金汤水不漏|环球今头条
1、水不漏主要是吸收国内外先进技术开发的高效、防潮、抗渗、堵漏材料
-
买房应注意哪些问题 买房要注意哪些问题 环球微速讯
今天来聊聊房应注意哪些问题,买房要注意哪些问题的文章,现在就为大家
-
how are you 怎么回答?_how are you 怎么回答
1、1 在外国人问你好之前,先问对方:你好吗?让老外先说,你在根据对
-
环球要闻:我国现有律师67.7万多人,律所3.9万多家
新华社新华社北京7月2日电(记者白阳)截至目前,我国律师队伍人数已达
-
春秋故事读后感200字 春秋故事读后感
今天来聊聊秋故事读后感200字,春秋故事读后感的文章,现在就为大家来
-
我国多个迎峰度夏重点电网工程建成投运
在河北,北京东1000千伏变电站扩建工程几天前投运
-
每日简讯:型号:m2007j17c(m2007j17c是什么型号多少钱)
这款型号为M2007J17C,代号为Gauguin,,价格2000元左右将配备一亿像素
-
全网吵翻,iOS 可能真的不如安卓好用了
曾经号称世界第一的iOS,现在,真的越来越摆烂了。月初发布的新一代iOS
-
你的名字没什么大不了简谱歌谱完整版_你的名字主题曲没什么大不了歌词大全 环球头条
1、《なんでもないや(没什么大不了)》为新海诚监督动画电影新作《你
-
小法退役,梅西发文:愿你在新的篇章一切顺利,我们很爱你_环球速看
36岁的法布雷加斯宣布挂靴,梅西在ins发文,向自己的好友、前队友送去
-
暴君我来自军情9处潇湘冬儿番外(暴君我来自军情9处潇湘冬儿)_全球播资讯
1、女特工穿越的,女强文,两个男主都很好很痴情,女主本世和其中一个
-
关注|威马再次被曝出停薪,仅发中高层工资
文:懂车帝原创邢秋鸿[懂车帝原创行业]近日,据国内媒体报道,在此前缩
-
壳牌喜力全合成机油的换油周期_壳牌喜力全合成机油
1、壳牌超凡喜力是全合成润滑油。2、壳牌喜力汽车发动机油包括:壳牌喜
-
千岛群岛发生5.0级地震
中国地震台网正式测定:07月01日17时15分在千岛群岛(北纬49 95度,东
-
【全球报资讯】51岁国寿集团副总裁赵鹏出任中国人保集团党委副书记
中国人保将迎新任总裁。2023年7月1日下午,受中央组织部领导委派,中央
- 环球观速讯丨奥飞娱乐(002292)12月29日主力资金净卖出1187.28万元
- 吃橘子有什么好处?吃多会上火吗?-世界今日报
- 长沙本科生租房补贴在哪里办理?
- 【洋腔队】非洲留学生看中国人与米的不解之缘_天天讯息
- 2022佛山市医院招聘信息汇总(不断更新) 环球新资讯
- 【世界新要闻】200多元就能买到1Tb的固态SSD了
- 东方电气(01072)拟摊薄对于东方锅炉、东方汽轮机和东方研究院的实际控制权益_每日热闻
- 母亲老了句子精选419句
- 世界要闻:涨停复盘:旅游酒店板块持续爆发,陕西本地股最活跃!血氧仪卖脱销,概念股崛起
- 秦川机床:2022年公司运营质量继续改善 剔除原材料价格上涨因素 毛利率水平不断提升_每日热闻