Synthesize:
第四种方法Synthesize是将感知数据融合在一起,你可能会遇到这样的情况,传感器X和传感器Z都没有在各自的视场内探测到物体。在这种情况下,没有传感器知道这个物体的存在,但是可以通过一些其他的感观数据,比如声音,间接地弄清楚在视场之外的物体情况。自动驾驶汽车是时刻运动的,所以要求这种预判是瞬间发生的,像上文提到的一样,是实时的。
基于以上四种方法的解释,当各种不同传感器收集回来的数据结合在一起时,使用什么方法来处理这些数据呢?
绝对排序法:在这种方法中,需要事先决定一个传感器的排序。比如,摄像投的级别高于雷达,或者雷达的级别高于摄像头等等。在传感器融合过程中,子系统使用预先确定的排序。比如,在Reconcile情况中,在交叉的视场FOV中,X检测到了物体,但是Z没有检测到,而摄像头传感器X的级别高于雷达传感器Z,那么Z的检测结果不纳入考虑范围内也是允许的。这个方法简单、快速、易实现,但是综合考虑,这种方法并不严谨。
情况排序法:这种方法与绝对排名法相似,但不同之处在于,根据所处的环境,排名是可变的。例如,我们可能已经设置好,如果有下雨的天气,摄像头容易受到雨水干扰,进而摄像头优先级降低,雷达拥有最高优先级。这种方法相对简单、快速、易于实现。然而,从全局角度看,它依然有所不足。
平等投票(协商一致)法:在这种方法中,允许每个传感器进行投票且投票能力都是平等的。然后使用一个计数算法,该算法与投票结果相匹配。如果传感器的某个阈值都同意某个物体,而某些阈值不同意,那么就允许这个阈值决定人工智能系统做出判断。同样,这种方法综合看起来依然有所不足。
加权投票法:有点类似于平等投票的方法,这种方法增加了一个权重,并选择假设一些传感器比另一些传感器更重要。比如,系统可能倾向于认为摄像头比雷达更可靠,所以给摄像头一个更高的加权系数等。
概率投票法:还可以引入概率概念。传感器有自己的控制子系统,可以确定传感器是否得到了真实的数据,然后将概率使用到多个传感器的投票方法中。
争论方法:还有一种新的方法是让每个传感器“辩论”为什么他们的报告是合适的。这是一个比较有趣的概念。相关研究和实验正在进行中。
优先到达法:即优先报告结果的传感器获胜。出于计时的目的,系统不会等待其他传感器报告,从而加快传感器的融合工作。但是从另一个角度讲,无法预测下一秒钟其他传感器是否会报告相反的判断,这存在一定的安全隐患。
最可靠法:在这种方法中,需要跟踪自动驾驶汽车上无数传感器的可靠性。当存在各个传感器之间的数据争议时,最可靠的传感器将“获胜”。
在设计自动驾驶汽车时,可以在传感器融合子系统中使用以上的几种方法。当子系统确定一种方法可能优于另一种方法时,它们就可以各自发挥作用。当然,MSDF也可以通过很多其它的本文未提及的方法进行。
多个传感器之间的差异非常重要
人类的听觉和视觉是不一样的。当人类听到警报声时,使用耳朵这种感官。耳朵不像眼睛,眼睛不能听声音。这个例子可以生动地说明,在自动驾驶领域,一定有许多不同类型的传感器,多传感器融合MSDF的首要任务是,要利用不同种传感器的优势,同时最小化或弱化每种传感器的弱点。
上图中,每一种传感器的一个重要特征都是它能够探测到目标的距离。传感器能够探测到的距离越远,人工智能驾驶任务的提前时间和优势就越大。但是,一些研究结果标明,较远端的数据可能缺乏特征或者缺乏可信度。随着技术的日新月异,需要根据所涉及的距离确定传感器融合的优缺点。以下是一些常用传感器的探测数据(随着技术的进步,以下数据可能随时更新):
Main Forward Camera: 150 m (about 492 feet) typically, condition dependent
Wide Forward Camera: 60 m (about 197 feet) typically, condition dependent
Narrow Forward Camera: 250 m (about 820 feet) typically, conditions dependent
Forward Looking Side Camera: 80 m (about 262 feet) typically, condition dependent
Rear View Camera: 50 m (about 164 feet) typically, condition dependent
Rearward Looking Side Camera: 100 m (about 328 feet) typically, condition dependent
Radar: 160 m (about 524 feet) typically, conditions dependent
Ultrasonic: 8 m (about 26 feet) typically, condition dependent
LIDAR: 200 m (about 656 feet) typically, condition dependent
有专家称,在比较各种类型的传感器时,业内有许多图表试图描述这些传感器的优点和缺点。专家建议不要盲目相信的这些对比图表。因为用于比较传感器的标准非常多,但是一些常见图表仅仅提取几个典型特征进行对比,缺乏可信度。如下图(仅供参考):
笔者观点:在自动驾驶领域,传感器是一个非常博眼球的字眼。但是,一旦涉及具体技术和鲁棒性,目前并没有太多的企业或技术型公司给出一份值得信服的答卷。业内普遍认为,自动驾驶汽车的未来是保障人的安全,而保障人的安全都依赖于多传感器融合MSDF。人类每时每刻都在做着“多传感器融合”的工作,想要将自动驾驶汽车的多传感器融合做到像人类一样尽善尽美,还有很多复杂的工作要做。