文 / Google 地图研究员 Eduard Trulls

从一系列图像中重建 3D 物体和建筑物是计算机视觉中众所周知的一类问题,这类问题也被称为运动推断结构 。

388棋牌登入SfM 在摄影和 文化遗产保护方面有着多种应用(如:让人们在 浏览器中探索复活节岛上的神秘石像),并为 Google 地图中的多个服务提供支持,例如从 街景和航拍图像创建 3D 模型。在这些示例中,操作员通常在受控条件下获取图像。虽然这样能够保证数据在图像和最终重建外观效果上高度统一,但也导致无法同时从多个地点获取图像,以及从多个视角查看对象。如果可以借助 SfM 技术,获取互联网上免费提供的大量非结构化图像集合,而不是使用有严格控制条件的图像,是否能更好展现这个丰富多彩的世界呢?

如何加速对这一主题以及更好地利用已公开的大量数据的研究,我们与 UVIC、CTU 和 EPFL 展开合作,发表了题为《 跨宽基线的图像匹配:从论文到实践》 的论文,其中提出了用于评估 3D 重建方法的全新公开基准。在 CVPR 2019举行的首次 图像匹配:局部特征及其他研讨会的结果基础上,该项目现已包含超过 25,000 张图像,每张图像都包含准确的成像方位信息(地点和方向)。该数据以及论文提出的 开源基准是 CVPR 2020举办的 2020 年图像匹配挑战赛的基础内容,两者都 已公开。

388棋牌登入从混乱的图像中恢复 3D 结构

388棋牌登入Google 地图已开始使用 用户提供的图像来告知游客热门景点或者更新营业时间。然而,使用这种类型的数据来构建 3D 模型要困难得多,因为用户提供的图像往往有不同的视角、光照和天气条件、人物和车辆的遮挡以及偶尔会出现的用户滤镜。下方的示例将着重说明用户拍摄的罗马特雷维喷泉图像的多样性:

特雷维喷泉的不同视角:来自图像匹配挑战赛数据集中的部分示例

388棋牌登入3D 重建效果图:由超过 3000 张图像(包含来自上图的图像)生成

用于评估 3D 重建局部特征的基准

但是,比较局部特征算法的性能一直都比较困难,因为为此目的收集“基准真相”数据的方式并不明确。一些计算机视觉任务依赖于众包,如:Google 的 OpenImages 数据集通过将 机器学习技术与人工注释 结合的方式,用边界框或像素蒙版标记“对象”。而这在我们所描述的情况中不可行,因为我们无法从事实推断出 构成一个“良好”局部特征的要素 ,因而标记这种方法不可行。此外,像 HPatches这类现有基准的规模通常很小,或者转换范围很窄,都有可能会影响评估。

重要的是保证重建的质量,以及基准能够反映真实世界的规模和挑战,这样才有望开发出新方法。 为此,我们创建了图像匹配基准,这是第一个包含用于训练和评估的大型图像数据集的基准。该数据集包含超过 25,000 张图像(来源于公开的 YFCC100m 数据集),每张都增加了准确的成像方位信息(地点和方向)。我们可从大规模 SfM(每个场景 100 至 1000 秒的图像)中获得这个“伪”基准真相,该基准真相将提供准确且稳定的成像方位。然后我们将在较小子集(10 秒的图像)上进行评估,而这是一个更为困难的问题。这种方法不需要昂贵的传感器或人工标记,并且相比以前的基准测试(仅限于小型且同质的数据集),可提供更好的代理指标。

(责任编辑:388棋牌登入)

本文地址:http://www.web-actu-blog.com/kuajiesheji/2020/1017/2714.html

上一篇:韦海军:张一鸣有望建立一个全388棋牌登入球生态级的公司 下一篇:iPhone 12:继续真香,持续破圈

发表评论

您的电子邮件地址不会被公开。必填字段已标记*