摘要:现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在 MSVD 与 MSR-VTT 数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。

摘要:针对现有的仪表自动化读数算法占用空间大、推理速度较慢以及不能有效分割图像中密集细小目标的问题,提出改进的 DeepLabV3+指针式仪表分割算法。首先以轻量化的 MobileNetV2来构建网络主干达到降低参数量和推理权重、提高检测速度的目的。其次通过分块并归策略设计 CSP-ASPP 结构,在保证网络性能的同时降低参数量。之后使用改进后的SKFF模块通过自注意力机制以非线性方式融合多尺度特征,将原网络解码器中的二尺度特征融合变为四尺度特征融合。最后使用交叉熵损失联合加权的 Dice损失作为网络的总损失函数,解决仪表分割中各类别像素分布不均的问题。最后通过实验证明,改进后的 DeepLabV3+算法在仪表分割数据集上的平均交并比(mIoU)和平均像素准确率(mPA)达到了89.3%和94.8%,相对原网络分别提高了0.7%、0.6%,参数量和推理权重却仅有原网络的约7%,同时在 GPU 和 CPU 上的推理速度分别达到91和16fps,解决了嵌入式设备部署困难的问题,达到了实时检测的要求,提高了仪表自动化读数的效率。

摘要:红外小目标跟踪过程中由于背景、外界杂波等干扰，导致跟踪精确度和实时性欠佳，为此，提出基于深度学习的红外过采样扫描图像小目标跟踪算法。首先构建了红外过采样扫描图像模型，通过背景估计、形态学开运算，对图像中背景以及外界杂波进行多级滤除；然后增加设计特征融合模块和区域选取模块来改进孪生网络，生成融合特征图输入目标区域，通过分类和回归计算提高图像的特征表征能力和跟踪精度；最后建立损失函数训练孪生网络，输出红外过采样扫描图像小目标跟踪结果。实验结果表明，利用所提算法进行图像滤除后，信噪比能够高达35 dB,所提算法的区域重叠率较高、跟踪精度高，且算法的实时性强，帧率达到200 fps以上，整体跟踪效果好。

摘要:图像分类是极化合成孔径雷达（PolSAR）图像解译的关键。传统卷积神经网络（CNN）逐像素的分类，造成卷积的重复计算。PolSAR图像存在丰富的信息，包括极化相干信息与极化分解信息，因此如何融合信息实现高效分类至关重要。本文基于极化散射特征分析，以U_net网络模型为基础，提出了双通道特征融合编解码网络，该网络使用注意力机制特征融合模块将极化相干信息和极化分解特征整合到语义分割框架中，辅助深度CNN分类器训练，实现高精度像素级的标记，加入空间金字塔结构有效的提取多尺度特征。该网络结构避免了逐像素切片重复计算，有效提升计算效率。利用AIRSAR获取的旧金山地区PolSAR数据和海南博鳌地区机载PolSAR数据进行试验研究，试验结果两个地区精度(OA)分别达到97.11%与99.97%，验证了本文提出的分类方法的有效性与较好的应用价值。