下式显示了优化网络的损失函数,P(q)为位置q处的遮挡概率。损失函数综合了遮挡概率作用下的深度、法向量以及遮挡概率图,并用权重调节各部分的重要性:
实验结果
在模型训练过程中,研究人员使用了ScanNet作为训练数据,并在7Scenes和SUND3D数据集上进行了测试。训练过程首先对DepthNet进行训练,而后固定其权重再训练RefineNet,最后再共同对整个模型进行调优。
下图显示了这种方法与多种深度估计方法在7-Scenes数据上的比较,可以看到针对多个指标都取得了优异的结果:
下图显示了模型重建的结果,可以看到深度图中边缘更为锐利、更好地保留了形状的规则外形:
在得到的表面法向量上也达到了优异性能:
在视觉质量上也超过了其他方法,CNM约束可以更好的保留局部和全局的几何结构信息。
从最终的三维重建结果中可以看到,即便是对于像沙发、白墙这样的弱纹理结构也能轻松重建,重建的颜色也更接近于基准、形状更为连续噪声也更少。
此外研究人员还分析了局域/全局法向量CNM、优化模块和遮挡概率图等不同模块的有效性: