Labits: Layered Bidirectional Time Surfaces Representation for Event Camera-based Continuous Dense Trajectory Estimation

Lbits是一种为基于事件的视觉提供密集轨迹估计的新方法，通过优化信息损失，保留精细的时间细节、稳定的二维特征和一致的信息密度。它包括一个APLOF提取模块，在MultiFlow数据集上与最先进的方法相比，实现了49%的轨迹端点误差减少。Lbits通过捕获异步事件特性，保留局部运动趋势，提供一种简单而有效的密集轨迹估计解决方案。它在TEPE指标上优于当前最先进的技术，减少了49%的误差。Lbits通过引入时间表面结构，控制累积时间范围，将其分割成更小的区间，创建层次化表示。通过结合未来事件并考虑过去和未来的运动，Lbits减少了预测误差，增加了信息密度，并利用每个区间内的所有事件。这种方法提高了轨迹估计的准确性，并支持高时间分辨率和高级运动理解的连续时间光学流生成，适用于需要这些特性的任务。Lbits-to-APLOF Net模型利用事件摄像头的局部运动信息，通过一个高效的单层输入组件提高跟踪准确性，解决解码稀疏、噪声和时间上遮挡数据的挑战。它使用U-Net和实例归一化增强稳定性和效率。主动像素遮罩（APM）聚焦于可靠的速度估计，围绕活跃像素，通过辅助输出头预测低分辨率局部速度流。细调设置活跃像素阈值，优化跨中间探测时间的轨迹预测。Lbits-RAFT架构结合Lbits生成相关块、内容特征和APLOF特征，指导主动像素遮罩（APM）的创建。APM层与相应的APLOF特征进行点乘。特征计算相关矩阵，生成并细化贝塞尔曲线，用于像素轨迹的迭代。Lbits-to-APLOF Net预测瞬时APLOF、端点光学流和像素级贝塞尔轨迹，与地面真实值紧密对齐。它使用Lbits层的APLOF特征和相关块，增强ConvGRU的初始隐藏状态，提高轨迹估计性能。Lbits-RAFT在MultiFlow数据集上表现出色，与RAFT、RAFT-GMA、E-RAFT和DCT-RAFT等基线相比，减少TEPE和TAE误差49%，在密集轨迹预测任务中表现出优越性能。Lbits-RAFT准确处理小对象和细节，提供额外的指导给主模型。