ECCV 2020 | 利用全局优化算法处理事件相机运动估计问题

彭欣 将门创投 今天
收录于话题
#ECCV 6
#人工智能 8
#算法 4

关注并星标

从此不迷路

Jiangmen

作者：上海科技大学在读博士生 彭欣


ECCV 2020系列文章专题

第·20·期



本文将分享来自上海科技大学在读博士生彭欣等人在ECCV的工作。文章关注的是事件相机运动估计问题，并提出了基于BnB的全局优化算法，将其应用在朝地面看的事件相机运动估计上进行实验验证，取得了很好的效果。

更多ECCV精彩内容，后台回复“ECCV”即可查看！




什么是事件相机（event camera）

                           

图1 事件相机和传统相机对比，只有亮度发生变化才事件相机有输出。

 

事件相机是一种受生物启发设计的新型视觉传感器，其工作原理完全不同于传统相机。传统相机以固定的时间间隔周期性采集一张完整的图片，而事件相机的每个像素都是独立异步工作的。当某个像素点的亮度变化达到一定阈值时，事件相机就会输出一个“事件”（“event”），如图1所示。相比于传统相机，事件相机具有低延迟(<𝟏𝝁𝒔)、高动态范围(𝟏𝟒𝟎𝒅𝑩)、极低功耗(𝟏𝒎𝑾)等特性。


对比度最大化


图2 “对比度最大化”算法流程


由于事件相机的特殊性质，传统的视觉算法不能直接应用在事件相机上，因而需要新的针对于事件相机的算法。Gallego et.al. [1] 提出了“对比度最大化”作为目标函数用于基于事件相机的光流、运动和深度估计，如图2。其原理是基于当使用正确的参数将事件转换到参考帧时，其形成的图片（IWE, Imageof Warped Events）是最清晰的。[2]和[3]中列举了用于表征图片清晰的目标函数，包括对比度，像素亮度平方和，熵等。

      

基于BnB的全局优化算法


图3 目标函数的能量图。可见“对比度最大化”是一个非凸问题。


虽然“对比度最大化”被广泛应用在基于事件相机的计算机视觉问题，但是已有的算法都是基于局部优化（如梯度法）。由于目标函数是非凸的（图3），因而局部优化极易被困在局部解中。针对这个问题，我们提出了基于分支定界法（BnB）的全局优化算法，推导出针对六个不同目标函数的递归的上界和下界，从而高效地估算出全局最优解。

 

图4 下界（lower bound）的计算方法


图5 上界（upper bound）的计算方法


上界和下界的计算方法如图4和图5所示，详细推导过程请参考我们的论文[4]。下表列举了我们推导的六个目标函数的上界和下界。

 


实验


我们把提出的全局优化算法应用在朝地面看的事件相机运动估计上。这种场景下的纹理重复性高特征点少，基于传统相机的算法在这种场景下很难工作，然而事件相机可以很好的工作。


准确度和鲁棒性


“对比度最大化”针对椒盐噪声的鲁棒性很好。

 


不同目标函数



事件相机vs 传统相机


全局优化 vs 局部优化


不同纹理场景



参考文献：
滑动查看文献！

[1] Gallego G , Rebecq H , Scaramuzza D . AUnifying Contrast Maximization Framework for Event Cameras, with Applicationsto Motion, Depth, and Optical Flow Estimation[J]. 2018

[2] Stoffregen T, Kleeman L. Event cameras,contrast maximization and reward functions: an analysis[C] CVPR. 2019:12300-12308.
[3] Gallego G, Gehrig M, Scaramuzza D.Focus is all you need: Loss functions for event-based vision[C] CVPR. 2019:12280-12289.
[4] Peng X , Wang Y , Gao L , et al.Globally-Optimal Event Camera Motion Estimation[C]// European Conference onComputer Vision (ECCV). 2020


作者介绍：

彭欣，上海科技大学（ShanghaiTech）计算机科学与技术专业二年级博士生在读，导师为Laurent Kneip。她的研究方向是visual-SLAM，event-based camera的视觉算法。

邮箱：pengxin1@shanghaitech.edu.cn

课题组网页：http://mpl.sist.shanghaitech.edu.cn/

欢迎联系！




想看更多内容？点击下方卡片即可直接🔎搜索啦～
将门创投推荐搜索
ECCV
ICRA
Talk
将门好声音

本周上新！


关于我“门”

▼


将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。


将门创新服务专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。


将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。


将门创投基金专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在近四年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。


如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给“门”: 

bp@thejiangmen.com

    

点击右上角，把文章分享到朋友圈


扫二维码｜关注我们

微信：thejiangmen

bp@thejiangmen.com


点击“❀在看”，让更多朋友们看到吧~