人工智能驱动的新型相机
现如今,格拉斯哥大学的数据科学家 Alex Turpin 和物理学家 Daniele Faccio 及他们的同事,发明了一种方法来生成具有单个像素但是没有图案化闪光的 3D 图像。他们利用闪电般快速的单光子探测器,以均匀的闪光照亮了一个场景,并简单地测量了反射时间。
探测器的精度为四分之一纳秒,可以计算出到达的光子数量与时间的函数关系,研究人员仅凭这些信息即可重建场景图像
这是一种新奇的方法,因为原则上场景中物体的排列和时间信息之间没有一一对应的关系。例如,从探测器 3 米远的任何表面反射的光子,无论朝向表面的任意方向,都将在 10 纳秒内到达。
而所谓的飞行时间相机可以增加深度,通过精确计算从物体反射到不同像素的闪光时间来制作 3D 图像。
新型的 3D 成像设备从一个简单、廉价的单点检测器开始,这种探测器被调整为充当光子的秒表。与测量颜色和强度空间分布的相机不同,探测器仅记录由瞬间激光脉冲产生的光子从任意给定场景中的每个物体反弹并到达传感器所需的时间。物体距离越远,每个反射光子到达传感器所需的时间就越长。
有关场景中反射的每个光子的时间信息(研究人员称为时间数据)都收集在一个非常简单的图表中。
由人工智能驱动的系统使用光回声来制作3D图像(左),尽管其分辨率低于3D摄像机的分辨率
然后,借助复杂的神经网络算法将这些图转换为 3D 图像。研究人员对算法进行了训练,向它展示了团队在实验室中移动和携带物体的数千张常规照片,以及同时由单点检测器捕获的时间数据。同时,他们还使用了一个非飞行时间的摄影机来拍摄场景的真实 3D 图像。
最终,这种神经网络已经足够了解时间数据与照片的对应关系,从而仅凭时间数据就可以创建高度准确的图像。它与飞行时间相机相比,时间图像模糊且缺乏细节。然而,却清楚地揭示了人们的形态。
新型成像系统或将引发相机革命
加州大学伯克利分校的计算机科学家兼电气工程师 Laura Waller 表示:“乍一看,这种模棱两可的方法似乎使问题无法解决。单像素成像,当我第一次听到这个概念时,我想,这应该行得通。但仔细一想,这应该不起作用。”
格拉斯哥大学计算科学学院数据科学研究员 Alex Turpin 博士说:“如果我们只考虑空间信息,而单点探测器没有空间信息,所以单像素成像是不可能的。然而,这样的探测器仍然可以提供有价值的时间信息。与传统图像制作不同的是,我们的方法能够完全将光与过程分离。”
而且为了能实现这一目的,Alex Turpin及其同事采用了一种称为神经网络的机器学习程序,在使用数据集训练神经网络后,该程序能够自行对场景中移动的人进行成像。
与传统的摄像机不同的是,收集时间数据的单点探测器体积小、重量轻且价格便宜,这意味着它们可以轻松地添加到现有系统中,例如被用作自动驾驶汽车的摄像头,以提高寻路的准确性和刹车反应速度。
另外,它们可以增强移动设备中现有的传感器,例如 Google Pixel 4,该传感器已经具有基于雷达技术的简单手势识别系统,甚至可以用下一代技术来监视医院患者胸腔的上升和下降,提醒着患者的呼吸变化或跟踪运动,从而用符合数据安全的方式了来确保他们的安全。
Alex Turpin 博士补充说:“我们对自己开发的系统的潜力感到非常兴奋,我们期待着继续挖掘其潜力。我们的下一步目标是开发一个独立的、便携式的即装即用系统,我们迫切希望开始研究我们的选择,并通过商业合作伙伴的帮助进一步开展研究。”