喜报 | 我所一篇论文被国际顶级学术期刊ACM TOMM录用

发布时间：2024年03月22日

      由我所师生合作完成的一篇论文Building Category Graphs Representation with Spatial and Temporal Attention for Visual Navigation被计算机视频处理与多媒体分析领域的权威期刊ACM Transactions on Multimedia Computing, Communications, and Applications录用，论文由我所博士生胡小波，王硕、在吕凯老师、林友芳老师、武志昊老师，以及浙江大学范鹤鹤老师的指导下共同完成。

      物体视觉导航的目标是根据第一个角度视觉观察结果到达物体的位置。现有的方法大多不考虑对象类别关系，也没有利用观测的长期时空依赖性，因此这些模型不能感知环境的布局信息。为此，我们提出了一个基于CRG-TSR模型来学习基于代理观察的CRG-TSR环境布局信息。类别关系图（CRG）将一个类别邻接矩阵集成到深度神经网络中，并在没有外部知识数据的训练过程中使用基于强化学习奖励对其进行更新。另外我们提出时空区域注意机制（TSR）旨在感知观测结果的长期时空依赖性。基于该方法提取的视觉表示，代理可以更好地感知环境，学习更优越的导航策略。在AI2-THOR上的实验表明，我们的CRG-TSR方法在有效性和效率方面都显著优于现有的方法。