来自复旦、谷歌和Nuro,Inc提出一种深度BA方法来实现SFM重建,通过设计一种基于物理原理的架构来实现优化过程中的结构约束。架构中包含了两个cost volum来估计深度和位置,迭代的进行改进。其中不仅加入图像度量来保证输入间的连续性,同时还添加了几何连续性保证不同视角间的深度一致。位置和深度的显式约束结合了BA和深度学习的共同优势,实现了非常好重建性能。
来自牛津大学、百度和港中文的研究人员提出了一种具有域不变性的立体匹配网络,通过域归一化的手段来正则化学习到的分布,同时利用可训练的非局域图滤波器抽取结构和几何特征进一步增强域不变性的的泛化性。下图显示了域归一化和文中使用的图结构。
来自康奈尔和浙大的研究人员提出了一种弱监督的特征描述子学习方法,基于图像和相机间的相对位置来进行监督。为此采用了包含极线约束的损失函数和完全可差分的高效模型架构。由于脱离了逐像素约束的限制,这种方法可以在更为广泛的数据集上训练得到更无偏更通用的描述子。下图显示了仅仅依赖相机位置的极线约束训练过程(相同颜色对应点和极线):
下图则是极线约束的具体示意图:
可差分层和由粗到细的模块结构:
来自清华、慕尼黑理工和谷歌的研究人员提出的自监督单目6D位姿估计,消除了对于标注数据的需求。研究人员首先在合成的RGB数据集上进行训练,随后利用大量非标记数据和神经渲染方法来改进训练结果。
下图展示了完整的训练架构:
谷歌的研究人员针对深度估计领域提出了双相机双像素的估计方法,获得了具有边缘感知在遮挡情况下精度更高的深度结果。通过大垂直极限的双相机和小水平基线的双像素缓解了孔径问题和遮挡问题。这篇文章使用了新颖的架构融合双目立体视觉和双像素立体视觉,克服了单纯立体视觉在遮挡、重复纹理、边缘误差方面的劣势。