摘要:现有的视频描述生成方法提取的特征及特征组合的方式较为简单,导致模型丢失了部分与视频描述相关的重要语义信息,限制了对视频内容的准确描述和理解。分析存在的不足,提出了一种基于增强全局-局部特征融合的视频描述生成方法。首先采用不同特征提取器分别对视频片段提取局部特征和全局特征,为了建模不同级别特征(局部和全局)的相关性,利用特征融合增强网络进行特征融合,丰富模型的特征信息。解码器使用的双向长短期记忆网络,并在其后加入重构网络,重构经编码器处理得到的视频特征序列,最终经过长短期记忆网络生成视频的描述语句。在 MSVD 与 MSR-VTT 数据集上的实验结果表明,提出的模型可以显著提高生成的描述语句的准确性。

摘要:针对现有的仪表自动化读数算法占用空间大、推理速度较慢以及不能有效分割图像中密集细小目标的问题,提出改进的 DeepLabV3+指针式仪表分割算法。首先以轻量化的 MobileNetV2来构建网络主干达到降低参数量和推理权重、提高检测速度的目的。其次通过分块并归策略设计 CSP-ASPP 结构,在保证网络性能的同时降低参数量。之后使用改进后的SKFF模块通过自注意力机制以非线性方式融合多尺度特征,将原网络解码器中的二尺度特征融合变为四尺度特征融合。最后使用交叉熵损失联合加权的 Dice损失作为网络的总损失函数,解决仪表分割中各类别像素分布不均的问题。最后通过实验证明,改进后的 DeepLabV3+算法在仪表分割数据集上的平均交并比(mIoU)和平均像素准确率(mPA)达到了89.3%和94.8%,相对原网络分别提高了0.7%、0.6%,参数量和推理权重却仅有原网络的约7%,同时在 GPU 和 CPU 上的推理速度分别达到91和16fps,解决了嵌入式设备部署困难的问题,达到了实时检测的要求,提高了仪表自动化读数的效率。

摘要:针对目前大多数图像去雾算法由于细节丢失导致去雾后的图像颜色失真，雾霾残留以及纹理细节模糊等问题，提出 一种基于多残差和多重特征融合端到端的去雾算法。首先通过设计浅层特征提取模块，为深层网络提高丰富信息的特征图； 其次设计多残差级联模块，提取多层次特征，帮助模型学习更加复杂的特征表示；然后设计局部-全局特征融合模块，捕获从最 细微到最广泛的特征；最后设计结合残差注意力的跨层特征融合模块，避免上下采样后的细节缺失，更好地提取图像中的局 部与全局信息特征。实验结果表明，所提算法在 SOTS 室内、室外测试集上峰值信噪比(PSNR) 分别取得了33.12、31.07 dB, 结构相似性(SSIM) 分别取得0.986、0.983,与当前大多数主流算法相比得到了明显的提升，且在合成雾图像和真实雾霾图像 均取得了不错的去雾效果，复原图像细节更加清晰，更符合人类视觉感知。

摘要:随着工业和科技的发展，用户对电压暂降的关注度不断提高，识别电压暂降产生的原因愈显得越来越重要。针对引 起电压暂降的单一暂降源和复合暂降源，提出了将S 变换提取特征和深度学习自动提取特征相结合的识别方法。首先利用 数值模型框架产生单一暂降源和复合暂降源数学模型，进而得到9种故障类别的暂降数据集并作为原始数据，其次对原始数 据进行处理，即在标准的S 变换基础上引入两个调节因子得到改进的S 变换，得到S 变换数据，引入16个指标对S 变换数据 进行特征提取并作为指标特征，将上述原始数据和S 变换数据作为模型输入，利用卷积神经网络(convolutional neural net- work,CNN) 对暂降数据进行空间特征提取，同时将数据分为多个一维向量输入到双向长短期记忆网络(bi-directional long- short-term memory networks,Bi-LSTM)提取时序特征，最后建立指标特征、空间特征以及时序特征的多特征融合的 S-CNN- LSTM识别模型。仿真结果表明，未经过特征融合与经过多特征融合的识别准确率分别为98.36%、99.08%,说明多特征融 合能够提高识别准确率。

摘要:针对语音情感识别在多语言联合数据集上识别准确率低的问题，提出了一种基于幅值滤波与分层特征融合策略的语 音情感识别方法。该方法首先对梅尔谱图内幅值分布规律进行幅值滤波，通过概率叠加扩大梅尔谱图内相近幅值之间的差 异，实现谱图内的高频强增益、低频弱增益；同时，通过概率相乘缩小梅尔谱图内相远幅值之间的差异，以显示谱图内中频的 细节部分。在此基础上，使用矩形卷积提取音频信号的时间动态特征，生成梅尔谱图动态特征图，并将其作为分层特征融合 策略的输入。分层特征融合策略通过压缩特征图来提取不同尺度的时间动态特征，并提取不同深度中的时间动态特征。在 多语言联合数据集 CER 上取得了84.44%的分类准确率。

摘要:芯片的表面缺陷检测在半导体制造中具有重要意义，针对目前芯片表面缺陷面积小，缺陷外形多变，缺陷尺寸跨度大 的情况，提出一种基于YOLOv5 改进的芯片表面缺陷检测算法，首先基于ConvNext 网络改进特征提取模块，提升网络稳定性 和特征表达能力，同时提出增强卷积注意力模块(ehanced convolutional block attention module,E_CBAM),将更详细的位置信 息嵌入到卷积注意力(convolutional block attention module,CBAM)之中，提升整个网络对于小面积及边缘缺陷的检测能力， 而针对芯片缺陷多变尺寸跨度大的问题，研究引入了可变形卷积和双向特征金字塔网络(bi-directional feature pyramid net- work,BiFPN), 一方面可变形卷积对于外形不规则的卷积有更好的提取能力，另一方面 Neck 部分的 BiFPN 在简化结构的同 时保证了多尺度融合的准确性。经过实验表明，改进后的网络在芯片表面缺陷数据集(chip defect dataset,CDD)上，平均精度 均值(mAP)mAP@0.5 指标达到95.3%,相较于原始的 YOLOv5s 网络提升了3.1%,在没有过多增加网络参数的情况下，对 芯片表面缺陷的精度更高，鲁棒性更强。

摘要:RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种 融合策略学习共享表示，少有方法明确考虑如何维持RGB 和深度的模态特征。提出了一种跨模态特征融合网络，该网络维 持RGB-D显著目标检测的RGB 和深度的模态，通过探索共享信息以及RGB 和深度模态的特性来提高显著检测性能。具体 来说，采用RGB 模态、深度模态网络和一个共享学习网络来生成RGB 和深度模态显著性预测图以及共享显著性预测图。提 出了一种跨模态特征融合模块，用于融合共享学习网络中的跨模态特征，然后将这些特征传播到下一层以整合跨层次信息。 此外，提出了一种多模态特征聚合模块，将每个单独解码器的模态特定特征整合到共享解码器中，这可以提供丰富的互补多 模态信息来提高显著性检测性能。最后，使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集 上与7种先进方法进行的实验表明，方法优于其他最先进的方法。

摘要:为提高太阳能电池板缺陷的检测精确，提出了一种改进的 YOLOv5 网络，对太阳能电池板常见的划痕、叉隐、黑斑、黑 边以及无电等5类主要缺陷进行检测和分类。首先，使用改进后的 ODConv 模块对主干提取网络中的普通卷积模块进行替 换，减少网络模型的参数量；其次，将 C3 模块中的Bottleneck 结构替换成包含 ParNet 模块的Res2Net 以增加感受野，从而提 升了探测物体缺陷的能力和检测精确；最后，在预测网络前引入自适应特征融合结构，以融合不同特征图的位置与类别信息， 增强特征表达并提高模型的鲁棒性。对自建的数据集进行训练、验证以及测试，实验结果表明，改进后的模型能够成功识别 和定位5类常见缺陷。与原 YOLOv5 算法相比，在保持原网络高效性的同时，平均检测精确提升了6.2%。

摘要:传统的植株器官分割方法依赖经验选择阈值参数，而当前的深度学习浅层框架可能会导致植株重要的几何特征丢 失，并难以有效整合植株的局部和全局特征。因此，提出了一个基于三维点云的植株器官分割网络(local global feature fusion segmentation network,LGF-SegNet)模型，通过引入双权重注意力机制模块和位置编码，更适合在植株点云数据中表达几何 特征。在提出的框架的解码层引入特征聚合模块，融合植株点云的局部和全局特征，使得该框架能够关注植株的整体特征轮 廓同时保留细节植物纹理(如茎和叶)。实验结果表明，提出的架构在语义分割的交并比、精确率和F1 分数的平均值分别达 到85.76%、93.18%、91.08%,在实例分割的平均精确率、平均实例覆盖率以及平均实例加权覆盖率达到85.27%、78.46%、 79.63%,优于当前流行的植株点云分割任务中使用的深度学习网络架构，并适用于植株语义分割和实例分割的双重任务。 这为后续的植株生长预测等研究奠定基础。

摘要:针对点云与图像的空间维度不同导致多模态特征难以对齐的问题，提出融合 YOLOv8 的多模态3D 目标检测网络。 首先，设计基于 YOLOv8 的数据增强模块将图像映射到三维空间，生成与点云对齐的伪云，并使用冻结权重的 YOLOv8 增强 点云和伪云。然后，构建双流编码器并行提取多模态特征。最后，设计基于注意力机制的感兴趣区域(region of interest,RoD 特征融合模块和基于门控的 RoI 特征融合模块来聚合多模态 RoI 特征。在 KITTI 验证集上，提出的算法在困难级别对汽车、 行人和骑行者的3D 平均精度分别达到79.28%、58.70%和76.04%,较原始算法分别提高0.62%、3.07%和7.54%,验证了 算法的有效性。