北航新闻网3月13日电 近日，北航电子信息工程学院郎荣玲副教授团队在稀疏点匹配实现未知目标协同跟踪方向取得重要研究进展，相关研究论文《基于稀疏点匹配的协同式未知目标跟踪方法》发表在《航空学报》上。论文由郎荣玲、 魏才伦、范亚、高飞共同完成，范亚博士为论文通讯作者。

在安防监控、灾害搜救等实际任务中，智能系统常需跟踪其未曾见过的目标。然而，传统跟踪方法严重依赖大量标注数据与目标先验，在缺乏训练样本的开放环境中泛化能力受限。同时，单个智能体视野有限，多智能体协同跟踪又面临通信带宽的制约。因此，在零训练样本条件下，实现稳定、高效的多智能体协同未知目标跟踪仍然是一个亟待解决的问题。

不同于传统的依赖密集特征图或掩膜传播的思路，本文采用一种更轻量、更通用的信息表示——稀疏特征点。整体框架如图1所示，首先通过提示点引导任意分割模型（Segment Anything Model，SAM）分割出初始帧中的未知目标；随后利用SuperPoint特征点检测网络提取目标区域的稀疏特征点，并通过SuperGlue匹配网络在后续帧中跟踪这些特征点，从而实现目标信息的跨帧传递。相比于依赖密集特征的方法，这种基于稀疏特征点的表示与匹配机制具有显著优势：一方面，其特征提取与匹配过程仅关注图像中的关键局部结构，避免了冗余计算，提升了算法效率；另一方面，特征的稀疏性使得目标表示的数据量大幅减少，为通信带宽受限的协同感知场景提供了实用解决方案，为多智能体协同跟踪提供了可能。

图1 协同式目标跟踪与分割算法框架图

在基于稀疏特征点匹配的目标跟踪框架中，特征匹配的准确性直接影响最终的分割效果。然而，在实际应用中，由于图像噪声、遮挡、视角变化等因素，特征匹配过程不可避免地会产生错误匹配点（即离群点）。若将所有匹配点不加区分地直接输入分割模型，这些错误的匹配点会作为噪声提示干扰模型判断，导致分割结果严重偏离真实目标边界，产生完全错误的分割。

为解决这一问题，本文受经典随机采样一致性（Random Sample Consensus，RANSAC）算法的思想启发，设计了迭代式点一致性掩膜预测模块（Iterative SAM with Point Consensus，ISPC）。该模块的核心创新在于将分割结果的评估标准量化为分割掩膜与所有匹配点的一致性程度，通过迭代优化策略寻找最优分割。在完成多轮采样和分割后，ISPC模块引入了一个基于点一致性的评估机制。该机制计算每个候选分割掩膜与全部匹配点的一致性得分，最终选择得分最高的候选掩膜作为最终输出，显著提升了分割的准确性与鲁棒性。

为实现多智能体系统对未知目标的协同感知与跟踪，本文设计了一种基于稀疏特征点的轻量化目标共享机制。该机制的核心创新在于将传统协同跟踪中传输的稠密视觉信息（如整张图像或密集特征图）转化为更具压缩性的稀疏特征点表示，从而在保证跟踪性能的同时显著提升系统通信效率。如表1所示，相较于目标图像表示，该表示方法将每个目标的通信数据量降低了约45.6%。

表1 稀疏特征与图像的数据占用对比

当某个智能体成功定位并分割目标后，仅需从目标区域内提取一组包含像素坐标与256维特征描述子的稀疏特征点，将这些构成目标共享信息的数据包通过通信网络广播给协同系统中的其他智能体。接收方智能体在获取共享特征点后，首先在本机当前帧图像中提取局部特征点，随后通过SuperGlue匹配器与共享特征点进行相似度计算，建立两点集之间的对应关系。考虑到匹配过程中可能存在的误差及多目标干扰，本文进一步采用基于密度的空间聚类算法DBSCAN对匹配成功的特征点进行聚合分析，通过寻找空间分布最密集、匹配数量最多的点簇来精确定位目标在当前视野中的最可能区域。这一处理流程有效克服了不同智能体间视角差异、尺度变化等带来的匹配挑战。

为验证方法性能，本文在公开数据集DAVIS 2017与自建近红外数据集上进行了大量实验。

1）DAVIS 2017数据集验证结果

在DAVIS 2017验证集上，该方法在无需任何视频训练的条件下，取得了与其他主流方法相当的竞争力。在固定监控或稳定平台场景下，本方法的平均性能优于对比方法（表2、表3）。

表2 DAVIS 2017验证集目标跟踪分割方法定量对比结果

表3 DAVIS 2017验证集中固定监控或稳定平台拍摄数据片段的定量对比结果

2）自构建近红外数据集验证结果

在自建近红外数据集（包含无人机、车载、手持平台数据）的测试中，该方法对小目标（无人机视角）、快速运动目标（车载视角）以及形状不规则目标（雨伞、手推车）均展现了稳定的跟踪与分割能力。

3）协同目标跟踪结果

如图2所示，协同模式下，系统仅需一个智能体通过交互初始化目标，其余智能体即可通过共享的稀疏特征点识别并开始跟踪同一目标。此机制有效扩展了系统的感知范围。

图2 协同模式目标跟踪分割结果

针对开放环境中未知类别目标跟踪的挑战，本文提出了一种基于稀疏点匹配的协同式目标跟踪方法。该方法构建了一个无需视频训练、不依赖目标类别先验的跟踪分割框架，通过将提示驱动分割与稀疏特征点匹配相结合，实现了零样本泛化能力。实验结果表明，该方法在监控固定区域、无人机巡检等实际应用场景中表现出良好的实用价值。未来研究工作将聚焦于提升方法在高速运动导致运动模糊及长期严重遮挡等极端场景下的性能表现，进一步拓展其在复杂动态环境中的应用潜力。

（审核：戴飞）

编辑：贾爱平