今天读了论文"v2e: From Video Frames to Realistic DVS Events",讲的是从video生成event,详细分析了本文event生成过程中的一些不理想的模拟方法(ESIM和VID2E)只考虑噪声和对比度,缺乏其他考虑。作者有Tobi Delbruck,可见大佬组越多,研究内容越基础。
事件成因
简单总结事件的原因,当光照时,photodiode产生电流Ip,对应的电容Cpd相当于放电,在C左侧产生电压Vp,放大器后Vd,与参考电压相比,产生高低极性事件。
极暗的环境
PD存在电流Idark,当环境光照良好时,可以忽略这一点,认为光强直接决定事件。但当极暗时,Idark不可忽视,造成误差。同时,由于容性装置的存在,当亮度发生变化时,会有响应带宽。如果光线太暗,电流太小,时间常数t与I,时间常数大,响应慢。这两点共同造成的影响是:暗环境下,事件产生速度变慢,且时间抖动更明显。如下图所示。
运动模糊
由于以上分析,作者指出,当环境极暗时,很容易出现运动模糊。上图左边是明亮的环境,右边是极暗的环境,上面是24ms内部事件,下面是align事件发生后,可见极暗环境下的边界较宽,存在模糊。
延迟
作者测试了真相DVS延迟,即关灯后收到关灯事件的时间间隔。环境亮度越高,整体延迟越低。DVS在biased for speed更大的模使用更大bias电流使响应更加敏感。
小结
虽然没有研究论文的生成网络,但前面的分析非常详细,这是我第一次看到真实的测量数据。