喜报|我所一篇基于生理信号的情绪识别研究被国际顶级情感计算期刊IEEE TAFFC录用

发布时间：2025年04月22日

      由我所师生与西安交通大学、中国科学院自动化所合作完成的一篇论文Two-stream Dynamic Heterogeneous Graph Recurrent Neural Network for Multi-label Multi-modal Emotion Recognition。被情感计算领域顶级期刊IEEE Transactions on Affective Computing (简称IEEE TAFFC)录用，该论文由我所林友芳老师、王晶老师、博士生宁晓军，硕士生冯志洋和西安交通大学陈霸东老师、中国科学院自动化研究所贾子钰老师共同合作完成。

      针对多媒体刺激下受试者情感状态与生理信号关联关系的研究是新兴交叉领域，目前已取得诸多重要进展，但仍面临以下挑战：1）如何有效利用生理信号时频空域信息的互补性；2）如何协同建模多模态生理信号的异质性与相关性；3）如何提升模型在通道数据缺失时的鲁棒性；4）如何表征不同情绪维度间的依赖关系。我们提出一种双流动态异质图递归神经网络（DHGRNN）。首先，我们提出一种基于图结构的双流框架实现时频空域信息的联合表征，同时分别采用图变换网络与演化图卷积网络建模多模态生理信号的异质性与相关性。其次，针对通道数据缺失导致的鲁棒性问题，我们将其转化为动态图建模问题，并通过动态图神经网络实现稳健表征。最后，我们设计了一种多标签分类器以显式的刻画情绪维度间的关联特性。在三个公开数据集上的实验表明，DHGRNN在多项评估指标上均表现优秀。