现代生活中,我们P图的方式多种多样,比如去除红眼、镜头曝光,等等。但是,拍照眨眼仍然很难处理。不过,最近Facebook的一项AI新研究能够让照片中闭眼的你“眼界大开”。
这一技术被誉为智能“内画”(intelligent in-painting),用开眼代替闭眼只是其中的用例之一。简单来说,就是程序会自动向空间填充那些它认为本该存在里面的东西。Adobe目前已经在”上下文感知检索“中充分利用了这项技术,让用户能够无缝替换掉那些不想要的功能。
当然,替换眼睛是这项技术面临的挑战之一。因为,眼睛具有复杂性和多变性的特点,所以系统很难改变或者是创建此类内容。
不过,由于Facebook掌握巨大的图片数据库,拥有许多人眨眼的照片,所以决定要尝试去破解这个难题。
想要实现这一点,就需要依靠生成式对抗性网络(Generative Adversarial Network,以下简称GAN),其本质上就是一个机器学习系统。这个系统要学会欺骗自己,让自己觉得所造的事物是真实可靠的。在GAN中,系统的其中一部分要学习去识别内容,而另一部分则负责去创造内容。当然,内容创造会根据内容识别的反馈信息来进行。
在这一条件下,这个网络既能够识别眼周环境,同时也能创建一双眼睛。正如上图所示,目前这项技术已经可以使用了,但是仍有一些不太理想的地方。系统似乎只是单一地复制粘贴人类的眼睛,但是并没有考虑到图像的一致性。
机器就是这么傻,他们没有办法理解的是,当人们睁开眼睛时,眼周的颜色并不会随之改变。或者换句话说,机器对于眼睛、颜色等信息都没有直观理解。
在Facebook研究人员输入的样本数据中,实验对象的眼睛都是睁开的。这样一来,GAN就能了解到眼睛在人体的位置、特定的形状,以及颜色,等等。
结果显示,并没有明显的色差或者是缝合痕迹。这是因为,系统中负责识别的部分非常清楚,真实的人类不长那样儿。
在测试中,人们经常会没办法判断,哪些照片是真的睁眼,哪些只是系统模拟的睁眼照片;误判率高达一半以上。
当然,这个系统也并非十全十美。在某些情况下,其仍然会出现失误。比如说,当一个人的眼睛被头发遮盖住,或者是颜色矫正出现偏差的时候,系统生成的照片中就会出现一些奇怪的阴影。当然,这些问题都是可以解决的。
可以想象,当Facebook未来某天在平台上审阅用户照片的时候,如果一旦发现某个用户的照片闭眼了,那么它就会自动用这个系统把用户眼睛打开…说实话,这是有点让人毛骨悚然。但是,至少这个系统可能可以拯救你相册里面的不少照片。