将三维形貌转为艺术简体画?神经轮廓算法助力绘制三维形状精准轮廓

将门创投
关注


针对图像分支,研究人员使用了图像迁移网络模块来绘制对应的线条表示。其输入包含了给定视角下的深度图和六个不同尺度的渲染结果,它们一同堆叠在一起同时输入到类似pix2pixHD的编解码器中,得到图像分支的线条结果。

随后将几何分支和图像分支的线稿图通过最大化的方式合并在一起最终得到线稿绘制结果。阈值参数对于几何线条的去留十分重要,它决定了几何线条以多大的程度为最终图像做出贡献。研究人员在测试的时候将计算这一阈值,由于不同的三维模型在渲染时可能有不同的几何线条组合,研究人员使用了神经排序模块NRM来为绘制的线稿评分,在测试时阈值t就被用于对NRM分值进行优化。

实验和结果

为了对这一模型进行训练,由于缺乏大规模的针对三维形状的手绘线稿,研究人员通过合成的方法生成了自己的数据集。针对每一个形状,利用不同的阈值和线条的结合生成一系列线稿,随后请志愿者对结果进行选择,通过多人多次投票的方法来选出最好的线稿结果作为基准。下图显示了本文中使用了众包软件,从多个结果中基于人类投票选择得到基准线稿数据。

研究中所使用的数据来自于ShapeNet、Models Resource和Thingi10K等数据集,在数据集中针对每一个类别进行采样避免类别间的不均衡,移除了重复和低分辨率的形状,并修正了网格面元和连接的缺陷,最终得到了23,477个形状。

为了生成候选的线稿图案,研究人员针对每一个3D模型选择了两个随机相机位姿,在一系列约束下每个相机生成256中可能的合成线稿结果。同时他们还利用了Canny算子和保边滤波器来对三维形状渲染的图像进行处理,这种方法针对形状在每个视点下得到了256个可能的线稿结果,并从中选出8个最独特的线稿。在获得了一系列线稿数据的基础上,项目利用亚马逊的MTurk系统来利用众包方式选出针对每个形状在特定视角下效果最好的线稿作为基准数据。

在经过充分地训练后,这一模型在视觉上和各种指标下都取得了良好的效果,下图显示了针对一个曲面得到的线稿结果,可以看到本文的方法不仅使生成的线稿线条更为连续顺滑,而且可以很好地反映曲面的隐含特征。

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存