近日,我院赵东副教授联合澳大利亚昆士兰大学Xin Yu教授,印度信息技术学院PattathalV. Arun博士,日本国立情报学研究所Yuta Asano博士,以及西安电子科技大学物理学院周慧鑫教授团队在高光谱目标跟踪领域取得重要进展,相关研究成果《HyperspectralVideoObjectTrackingwithCross-modalSpectralComplementary andMemoryPromptNetwork》于2025年10月4日在线出版于国际知名学术期刊Knowledge-Based Systems(中科院SCI一区Top)。我院赵东副教授为通讯作者,我院为第一通讯单位。原文链接:https://doi.org/10.1016/j.knosys.2025.114595(图1)。
该研究提出了一种基于跨模态谱互补和记忆感知网络的高光谱跟踪器(HCSMP)。为了实现特征融合中的光谱互补性,团队成员设计了一个跨模态提示网络(CPN),该网络采用光谱互补适配器(SCA)生成基于模态差异的自适应权重,进行跨模态光谱提示学习。CPN的优势在于能够显著提高光谱信息的利用效率。此外,还引入了一个记忆提示网络(MPN)以融入时间条件。MPN通过编码器生成包含历史特征的记忆提示,并使用通道-空间渐进注意力(CSPA)增强空间-光谱表示,然后通过解码器查询和检索目标特征。MPN的优势在于模型能够通过历史帧信息实现鲁棒的目标状态建模。大量实验表明,HCSMP在与现有最先进(SOTA)方法的比较中,尤其在尺度变化和遮挡挑战下,表现出非常好的跟踪性能。

图1 论文首页
(图、文:赵东;审核:李松斌)