喜报|我所一篇基于光场图像的遮挡物去除工作被国际顶级顶级期刊IEEE TVCG录用

发布时间：2025年04月28日

      由我所师生合作完成的一篇论文Progressive Multi-Plane Images Construction for Light Field Occlusion Removal被CCF A类国际顶级期刊IEEE Transactions on Visualization and Computer Graphics（TVCG）录用，该论文由博士生常松和我所张硕老师，林友芳老师合作完成。

      因为光场包含了场景的多个视角图像，使得在某些视角中被遮挡的物体在其他视角中可能可见，因而在去除前景遮挡方面，尤其是离散分布的遮挡物（如栏杆、铁丝网、树木和草丛等），展现出巨大潜力。然而，现有的基于光场的方法隐式地对场景进行建模，且仅能去除单一中心视图中具有正视差的遮挡物。本文提出了一种专为光场遮挡去除设计的渐进式多平面图像（Multi-Plane Images, MPI）构建方法。与先前MPI构建方法不同，我们采用从近到远的顺序逐层渐进构建MPI，将较近层中前景遮挡物的位置作为遮挡先验精确建模当前层。具体而言，我们提出一种遮挡感知注意力网络（Occlusion-Aware Attention Network），通过遮挡区域的可靠信息生成每一层MPI。对于每一层，当前层的遮挡物被滤除，从而仅利用可见视角（而非其他被遮挡视角）更好地恢复背景。通过简单移除含遮挡物的层级并从多视角渲染MPI，即可生成不同视角的遮挡去除结果。在合成和真实场景上的实验表明，该方法在定量指标和视觉效果上均优于当前最先进的光场去遮挡方法。此外，我们还将所提出的渐进式MPI构建方法应用于视图合成任务。合成结果中遮挡边缘的质量显著提升，进一步验证了我们的方法能更好地建模被遮挡区域。

面向遮挡物去除的由近及远多平面图像构建方法

多视角多层次遮挡去除demo