(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210355852.7 (22)申请日 2022.04.06 (71)申请人 东北农业大 学 地址 150030 黑龙江省哈尔滨市香坊区长 江路600号东北农业大 学 (72)发明人 朱荣胜　王雪莹　陈庆山　张战国　 辛大伟　胡振帮　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 专利代理师 韩晓娟 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于机器视觉的大豆豆荚数量统计方 法 (57)摘要 本发明公开了一种基于机器视觉的大豆豆 荚数量统计方法， 包括： 采集大豆豆荚图像， 使用 LabelImg对大豆豆荚图像进行标注， 采用 ResNet‑50作为基础网络搭建CSPResNet ‑50网 络， 并结合特征金字塔FPN结构提取多尺度特征， 最终构成新的FasterR ‑CNN模型， 其中在 区域提 议网络RPN中加入 kmeans聚类算法调整区域提议 网络RPN中的anchorboxes数量和尺寸， 提取的多 尺度特征输入到FastR ‑CNN模型中， 输出识别后 的大豆豆 荚图像， 最后将识别的豆荚图像输入到 计算机程序中统计大豆豆荚的数量。 该方法可以 提高大豆 豆荚计数的速度， 更好 服务农业研究。 权利要求书1页 说明书5页 附图5页 CN 114724141 A 2022.07.08 CN 114724141 A 1.一种基于 机器视觉的大豆 豆荚数量统计方法， 其特 征在于， 包括： 采集大豆 豆荚图像； 使用Label Img对大豆 豆荚图像进行 人工标注； 在Faster  R‑CNN模型中使用kmeans聚类算法对人工标注的边界框的宽、 高进行聚类， 根据聚类后边界框的宽、 高调整RPN模块中anchor  boxes的纵横比， 获得豆荚的anchor   boxes纵横比预设值； 在CSPResNet ‑50网络中引入特征金字塔FPN结构， 检测包含小目标豆荚的多尺度特征 图像， 将多尺度特 征图像输入Faster  R‑CNN模型中， 获得识别后的大豆 豆荚图像； 根据识别后的大豆 豆荚图像， 统计大豆 豆荚的数量。 2.如权利要求1所述的一种基于机器视觉的大豆豆荚数量统计方法， 其特征在于， 所述 采集大豆 豆荚图像包括： 采集整株大豆 豆荚图像和 局部豆荚图像。 3.如权利要求1所述的一种基于机器视觉的大豆豆荚数量统计方法， 其特征在于， 还包 括对大豆 豆荚图片处 理， 其包括： 采用随机裁剪和随机水平翻转对原图进行图像增强， 其中随机裁剪时裁剪大小随机， 水平翻转时翻转图像的概 率为0.5。 4.如权利要求1所述的一种基于机器视觉的大豆豆荚数量统计方法， 其特征在于， 所述 使用LabelImg对大豆豆荚图像进行标注时， 每张图像最多11个豆荚、 最少为1个豆荚， 平均 每张图像包 含3.4个豆荚。 5.如权利要求1所述的一种基于机器视觉的大豆豆荚数量统计方法， 其特征在于， 所述 CSPResNet‑50网络， 包括： 采用ResNet ‑50作为基础网络； 多个ResNet ‑50以一种逐阶段迭代的方式将前一个ResNet ‑50的输出特征作为输入特 征的一部分提供 给后续ResNet ‑50； 使用最后一个ResNet ‑50的特征映射进行目标检测。权　利　要　求　书 1/1 页 2 CN 114724141 A 2一种基于机 器视觉的大豆 豆荚数量统 计方法 技术领域 [0001]本发明涉及图像识别技术领域， 更具体的涉及一种基于机器视觉的大豆豆荚数量 统计方法。 背景技术 [0002]大豆作为重要的粮食作物， 由于其植株结构复杂， 生长期遮蔽严重等特点， 使得很 多精细表型都无法获取， 缺 乏实时、 准确和批量的表型支持而使得其规律和遗传机理的研 究停滞不前。 传统的基于人工的方法由于费时费力又加之错误率高等原因， 已逐步被一些 内嵌了模型和 算法的仪器所替代， 自动化表型获取成为了现阶段人们追求的目标。 近年来 随着人工智能算法的迅速发展， 深度学习技术已经在很多领域取得了巨大 的成功， 尤其是 计算机视觉领域。 与传统算法相比深度学习能够自动对图像特 征进行提取。 [0003]在过去几十年中， 研究者们在进行豆荚表型调查时， 采取人工定时观测或者染色 标记。 这些方法主要依赖于人工调 查， 所以会存在很多问题： 1、 存在人为主观性误差， 准确 率低。 2、 仅能对阶段性落荚的总数进行 统计， 不能关注 其时间变化规律。 3、 无法跟踪成荚的 来源， 位置和目标。 4、 田间统计成本高昂， 无法进行高通量表型调 查。 诸多问题的存在使得 我们对自动化、 实时、 高通量地获取豆荚信息的需求尤为迫切。 此外， 大豆落荚的时序变化 规律、 大豆成荚途径的回溯和跟踪等问题的研究都将依赖于荚个数的自动识别。 高通量、 高 准确的豆荚识别与计数成为 解决这些问题的关键 。 [0004]目标检测算法是计算机视觉中重要的研究领域之一， 不仅可以对图像中感兴趣的 物体进行分类， 还可以得到物体在图像中的具体位置。 目标检测主要分为一 阶段检测和两 阶段检测， 一 阶段检测算法将对特征提取网络提取 的特征直接进行类别预测与定位回归， 两阶段检测首先对提取 的特征进行第一 阶段候选区域的生成， 选出可能包含物体的区域， 第二阶段对候选区域中的对象进行分类和回归。 常见的一阶段检测算法有SSD、 YOLO系列、 CornerNet等， 两阶段检测算法有R ‑CNN、 Fast  R‑CNN、 Faster  R‑CNN、 Cascade  R‑CNN等， 相 较于一阶段检测， 两阶段检测具有更高的检测精度、 但速度较慢。 发明内容 [0005]本发明实施例提供一种基于 机器视觉的大豆 豆荚数量统计方法， 包括： [0006]采集大豆 豆荚图像； [0007]使用Label Img对大豆 豆荚图像进行 人工标注； [0008]在Faster  R‑CNN模型中使用kmeans聚类算法对人工标注的边界框的宽、 高进行聚 类， 从而调整RPN模块中anchor  boxes的纵横比， 获得更加符合豆 荚的anchor  boxes纵横比 预设值； [0009]在CSPResNet ‑50网络中引入特征金字塔FPN结构， 检测包含小目标豆荚 的多尺度 特征图像， 输入Faster  R‑CNN模型中， 获得识别后的大豆 豆荚图像； [0010]将识别后的大豆 豆荚图像输入到计算机程序中， 统计大豆 豆荚的数量。说　明　书 1/5 页 3 CN 114724141 A 3