六、对比 SOTA
与最近的深度度量学习方法对比,我们在四个检索数据库上效果均大幅提升,这里仅列出 VehicleID 的效果,其他数据集的效果见原论文。
简单来说,不同于部分文章中使用更好的网络结构,更大的输出维度,或者更大的 mini-batch 来提升效果,强行 SOTA。我们列出 XBM 在 64 的 mini-batch 在不同的主干网络下及各种维度下的效果,其效果一直是最好的。
七、可视化
更多可视化见论文补充材料,有更多实例说明效果。
八、总结与展望
第一,本文提出的 XBM 方法能够记住过去的特征,使得模型的训练不再仅仅依靠当前 mini-batch 的样本,而是可以跨越时空进行样本配对。从而用极小的代价,提供了巨量的样本对,为 pair-based 的深度度量学习方法取得了巨大的效果提升。这种提升难例挖掘效果的方式,也是突破了过去两个传统思路:加权和聚类,并且效果也更加简单、直接,很好地解决了深度度量学习的痛点。
第二,其实 Memory 机制并不是本文原创,但是用 Memory 来做难例挖掘是一个全新的尝试。同样在 CVPR 2020 获得 Oral,也是由 Kaiming He 作为一作的 MoCo 也是这种思路。本文的方法其实可以认为是 MoCo 在 m=0 的特例,Kaiming 通过动量更新 key encoder,可以直接控制住特征偏移。作者认为,这种方法还会在很多任务带来提升,不局限于 Kaiming 的自监督表示学习,以及此前我们一直关注研究的度量学习(或者说监督表示学习)。
第三,在本文中,虽然 XBM 在所有的 pair-based 的方法都有提升,但是明显在对比损失(Contrastive Loss)上提升最大,具体原因待考。另外,我们也把在无监督表示上表现很好的 infoNCE 方法用到了深度度量学习,但效果并不显著。作者认为这两个问题的答案是同一个,且有值得深究的价值,希望在后续研究中进行进一步跟进探索。
关于我“门”▼
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。
将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。
将门创投基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在近四年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。