港大研究员提出融合自适应法向量约束和遮挡注意力的深度估计新方法

将门创投
关注

下式显示了优化网络的损失函数,P(q)为位置q处的遮挡概率。损失函数综合了遮挡概率作用下的深度、法向量以及遮挡概率图,并用权重调节各部分的重要性:

实验结果

在模型训练过程中,研究人员使用了ScanNet作为训练数据,并在7Scenes和SUND3D数据集上进行了测试。训练过程首先对DepthNet进行训练,而后固定其权重再训练RefineNet,最后再共同对整个模型进行调优。

下图显示了这种方法与多种深度估计方法在7-Scenes数据上的比较,可以看到针对多个指标都取得了优异的结果:

下图显示了模型重建的结果,可以看到深度图中边缘更为锐利、更好地保留了形状的规则外形:

在得到的表面法向量上也达到了优异性能:

在视觉质量上也超过了其他方法,CNM约束可以更好的保留局部和全局的几何结构信息。

从最终的三维重建结果中可以看到,即便是对于像沙发、白墙这样的弱纹理结构也能轻松重建,重建的颜色也更接近于基准、形状更为连续噪声也更少。

此外研究人员还分析了局域/全局法向量CNM、优化模块和遮挡概率图等不同模块的有效性:

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存