(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210244292.8 (22)申请日 2022.03.14 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 贾海涛　王云　余梦鹏　李玉琳　 张钰琪　李彧　任利　贾宇明　 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合局部和全局特征的图像语义理解 算法 (57)摘要 本发明属于图像描述领域， 具体为一种融合 局部和全局特征的图像语义理解方法。 图像中包 含丰富的语义信息， 包括图像中的目标、 目标的 属性以及不同目标之间的相互关系等， 传统的目 标检测、 图像 分割等技术并不能达到挖掘所有这 些信息的目的， 给图片生 成文字描述的图像语义 理解算法可以深入挖掘图片中的各种语义信息， 对于理解图片的内容， 缩减图片和文字之间的 “语义鸿沟 ”具有重大意义。 当前的图像语义理解 算法依赖于计算机视觉和自然语言处理技术的 发展， 主要使用在机器翻译领域流行的编解码框 架， 其中编码器提取图像特征， 解码器将提取的 图像特征翻译成文字描述。 然而当前的编码器大 多采用基于目标检测的方法， 这样往往会丢失图 像背景和一些细节信息， 使得描述效果不够理 想。 因此本发 明对基于编解码 框架的的图像语义 理解算法进行了相应改进， 提高编码器提取图像特征的能力， 从而使得生成的描述语句更加准 确。 权利要求书1页 说明书4页 附图2页 CN 114708474 A 2022.07.05 CN 114708474 A 1.一种融合局部和全局特 征的图像 语义理解 算法， 其特 征在于， 包括下列步骤： 步骤1： 输入一张图像， 使用Resnet101网络对图像提取全局特 征； 步骤2： 对提取到的全局特 征进行多尺度池化操作； 步骤3： 将全局特 征和多尺度池化操作之后的特 征进行拼接操作； 步骤4： 对拼接之后的特 征进行均匀池化得到与bot tom‑up同维度的特 征向量； 步骤5： 将bottom ‑up特征和步骤4中均匀池化之后的特征一起输入到融合网络进行融 合， 得到融合特 征； 步骤6： 将步骤4中均匀池化之后的特征和上一时刻生成的单词的词向量以及第二层 LSTM上一时刻的隐藏层的输出拼接之后输入第一层LSTM网络； 步骤7： 将步骤5的融合特 征和第一层LSTM的输出拼接之后输入第二层LSTM； 步骤8： 将第二层LSTM当前时刻的隐藏层输出输入到softmax层， 得到单词的概 率分布； 步骤9： 根据步骤8的单词的概率分布， 将分布值最大的值对应的单词作为输出， 得到当 前时刻生成的单词； 步骤10： 将每个时刻输出的单词按序组合成描述语句， 直到输出结束标志符或者输出 达到最大长度时， 得到的语句为图像的描述语句。 2.根据权利要求1所述的融合局部和全局特征的图像语义理解算法， 其特征在于， 所述 步骤1中提取全局特 征的方法具体为： 步骤101： 使用在 ImageNet上面预训练的Resnet101网络 处理图像， 取resnet101第四个 卷积块co nv4_x的最后一层res4b2 2c的输出 特征图。 3.根据权利要求1所述的融合局部和全局特征的图像语义理解算法， 其特征在于， 所述 步骤2中多尺度池化的操作方法具体为： 步骤201： 采用平均池化方式， 处理步骤101的输出， 得到1 ×1×C、 2×2×C、 3×3×C和6 ×6×C的结果； 步骤202： 使用1 ×1卷积核对步骤201池化之后的四种不同尺度的特征图进行降维得到 1×1×C/4、 2×2×C/4、 3×3×C/4和6×6×C/4的结果； 步骤203： 使用双线性插值的方法对步骤202的输出进行上采样， 上采样之后的维度为 14×14； 步骤204： 将步骤20 3的输出进行拼接得到14 ×14×C的输出。 4.根据权利要求1所述的融合局部和全局特征的图像语义理解算法， 其特征在于， 所述 步骤5中全局特 征和局部特征的融合方法具体为： 步骤501： 融合网络模块在输入LSTM隐藏状态和全局特征与局部特征之后， 使用双曲正 切tanh激活函数处 理得到全局 和各个局部特 征分量的权 重； 步骤502： 使用softmax对前面的权重进行归一化处理， 将归一化处理得到的权重与对 应的特征向量相乘再累加就得到融合特 征。 5.根据权利要求1所述的融合局部和全局特征的图像语义理解算法， 其特征在于， 所述 步骤9中生成单词的方法具体为： 步骤901： 根据 步骤8中得到的单词概率分布， 使用argmax函数处理概率分布， 得到最大 概率值对应的索引， 从词汇 表中输出索引对应的单词即为当前时刻生成的单词。权　利　要　求　书 1/1 页 2 CN 114708474 A 2一种融合局部和全局特征的图像语 义理解算法 技术领域 [0001]本发明属于图像描述领域， 具体涉及一种融合局部和全局特征的图像语义理解方 法。 背景技术 [0002]图像中包含丰富的语义信息， 包括图像中的目标、 目标的属性以及不 同目标之间 的相互关系等， 传统的目标检测、 图像分割等技术并不能达到挖掘所有这些信息的目的， 给 图片生成文字描述的图像语义理解算法可以深入挖掘图片中的各种语义信息， 对于理解图 片的内容， 缩减图片和文字之间的 “语义鸿沟 ”具有重大意义。 当前 的图像语义理解算法依 赖于计算机视觉和自然语言处理技术的发展， 主要使用在机器翻译领域流行的编解码框 架， 其中编码器提取图像特 征， 解码器将提取的图像特 征翻译成文字描述。 发明内容 [0003]本发明要解决的技术问题是： 基于编解码框架的图像语义理解算法框架进行改 进， 改进后算法的效果比原算法更好。 [0004]本发明基于Bot tom‑Up Attention的编解码框架进行改进， 包括以下步骤： [0005]步骤1： 输入一张图像， 使用Resnet101网络对图像提取全局特 征； [0006]其中步骤1的具体步骤为： [0007]步骤101： 使用在ImageNet上面预训练的Resnet101网络处理图像， 取  resnet101 第四个卷积块co nv4_x的最后一层res4b2 2c的输出 特征图。 [0008]步骤2： 对提取到的全局特 征进行多尺度池化操作； [0009]其中步骤2的具体步骤为： [0010]步骤201： 采用平均池化方式， 处理步骤101的输出， 得到1 ×1×C、 2×2  ×C、 3×3 ×C和6×6×C的结果； [0011]步骤202： 使用1 ×1卷积核对步骤20 1池化之后的四种不同尺度的特征图进行降维 得到1×1×C/4、 2×2×C/4、 3×3×C/4和6×6×C/4的结果； [0012]步骤203： 使用双线性插值 的方法对步骤202的输出进行上采样， 上采样之后的维 度为14×14； [0013]步骤204： 将步骤20 3的输出进行拼接得到14 ×14×C的输出。 [0014]步骤3： 将全局特 征和多尺度池化操作之后的特 征进行拼接操作； [0015]步骤4： 对拼接之后的特 征进行均匀池化得到与bot tom‑up同维度的特 征向量； [0016]步骤5： 将bottom ‑up特征和步骤4中均匀池化之后的特征一起输入到融合网络进 行融合， 得到融合特 征； [0017]其中步骤5的具体步骤为： [0018]步骤501： 融合网络模块在输入LSTM隐藏状态和全局特征与局部特征之后， 使用双 曲正切tanh 激活函数处 理得到全局 和各个局部特 征分量的权 重；说　明　书 1/4 页 3 CN 114708474 A 3