(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210156816.8 (22)申请日 2022.02.21 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 申请人 北自所 （北京） 科技发展股份有限公 司 (72)发明人 黄必清　陈传军　殷昊男　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06Q 10/08(2012.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于机器视觉的仓库堆垛物品盘库计数方 法及装置 (57)摘要 本申请涉及计算机视觉技术领域， 特别涉及 一种基于机器视觉的仓库堆垛物品盘库计数方 法及装置， 其中， 方法包括： 通过采集检测堆垛图 像数据并划分训练集与验证集； 对图像数据进行 预处理和数据扩充； 使用深度神经网络检测模型 对堆垛的正面、 顶面进行定位与分类， 在训练集 上进行训练， 直至迭代到达预设条件； 使用训练 好的网络在线地对其它堆垛图片数据进行检测； 通过提出的三维计数算法将深度神经网络得到 的检测结果转化为计数结果。 从而实现了对仓库 堆垛物品的自动盘库计数任务， 在有较强的鲁棒 性的同时能取得很高的准确率。 由此， 解决了设 备成本或存储成本较高， 智能化成度较低， 不易 推广等问题。 权利要求书2页 说明书8页 附图3页 CN 114548868 A 2022.05.27 CN 114548868 A 1.一种基于 机器视觉的仓库堆 垛物品盘库计数 方法， 其特 征在于， 包括以下步骤： 构建对堆垛正面和顶面进行分类及标注的目标检测模型， 所述目标检测模型包括特征 提取网络和检测/分类网络； 将堆垛图像的训练集和验证集划分为预定大小的Batc h， 并进行 预处理； 选取预处理后的训练集中任一Batch输入所述目标检测模型进行前向传播， 计算所述 目标检测模型的输出值与分类标签的多任务损失， 基于损失值和预设优化器反向传播更新 所述目标检测模型的权 重， 通过多次更新 直至满足更新结束条件得到堆 垛目标检测模型； 对所述堆垛目标检测模型得到的检测框结果， 使用基于密度的聚类的计数统计算法将 所述检测框结果 转化为计数结果； 以及 利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行在线的堆垛物 品盘库计数。 2.根据权利 要求1所述的方法， 其特征在于， 所述目标检测模型为基于Faster  R‑CNN的 模型结构， 所述基于Faster  R‑CNN的模型结构的特征提取网络为VGG16网络、 ResNet网络或 ResNeXt网络。 3.根据权利要求1所述的方法， 其特征在于， 所述将堆垛图像的训练集和验证集划分为 预定大小的Batc h， 并进行 预处理， 包括： 利用图像缩放将堆 垛图像按照等纵横比缩放至所述预定大小； 利用图像水平翻转按照0.5的概 率对图像水平进行翻转； 利用直方图均衡算法为对 全图HSV空间中的亮度V分量作直方图均衡。 4.根据权利要求1所述的方法， 其特征在于， 所述多任务损失包括交叉熵分类损失和边 框回归的smoothL1损失， 其中， 在区域建议网络层中的Anchor的纵横比为{1:2,1： 1,2: 1}， 其尺寸为{8,16， 32}。 5.根据权利要求1所述的方法， 其特征在于， 所述更新结束条件包括： 所述损 失值小于 预设阈值或更新次数达 到预设更新次数。 6.根据权利 要求1所述的方法， 其特征在于， 所述密度聚类算法为基于DBSACN的聚类算 法， 其中， 检测框样本间距离表示如下： Distance1(b box1,bbox2)＝|y1min‑y2min|+|y1max‑y2max|， Distance2(b box1,bbox2)＝1/|y1min‑y2max|+1/|y1max‑y2min|， Distance(b box1,bbox2)＝Distance1(b box1,bbox2)+λDistance2(b box1,bbox2)， 其中， Distance1(bbox1,bbox2)为两个框的上下边距离之和， Distance2(bbox1,bbox2) 第二个距离为上下层框距离惩罚项， Didtance(bbox1,bbox2)为Didtance1(bbox1,bbox2)和 Distance2(b box1,bbox2)这两个距离的加权和； 并且， 所述计数统计算法为： N＝(Nlayer‑1)*Ncargo‑perlayer+Ntop， 其中， Ncargo‑perlayer是每层堆垛的箱子个数， Nlayer是聚类算法得到的正面的总层数， Ntop 是目标检测模型 得到的顶层箱子 。 7.一种基于 机器视觉的仓库堆 垛物品盘库计数装置， 其特 征在于， 包括： 模型构建模块， 用于构建对堆垛正面和顶面进行分类及标注的目标检测模型， 所述目 标检测模型包括特 征提取网络和检测/分类网络；权　利　要　求　书 1/2 页 2 CN 114548868 A 2数据预处理模块， 用于将堆垛图像的训练集和验证集划分为预定大小的Batch， 并进行 预处理； 模型训练模块， 用于选取预处理后的训练集中任一Batch输入所述目标检测模型进行 前向传播， 计算所述 目标检测模型 的输出值与分类标签的多任务损失， 基于损失值和预设 优化器反向传播更新所述目标检测模型的权重， 通过多次更新直至满足更新结束 条件得到 堆垛目标检测模型； 转化模块， 用于对所述堆垛目标检测模型得到的检测框结果， 使用基于密度的聚类的 计数统计算法将所述检测框结果 转化为计数结果； 以及 计数模块， 用于利用所述堆垛目标检测模型和所述计数统计算法对仓库堆垛数据进行 在线的堆 垛物品盘库计数。 8.根据权利 要求7所述的装置， 其特征在于， 所述目标检测模型为基于Faster  R‑CNN的 模型结构， 所述基于Faster  R‑CNN的模型结构的特征提取网络为VGG16网络、 ResNet网络或 ResNeXt网络。 9.根据权利要求7 所述的装置， 其特 征在于， 所述数据预处 理模块， 具体用于， 利用图像缩放将堆 垛图像按照等纵横比缩放至所述预定大小； 利用图像水平翻转按照0.5的概 率对图像水平进行翻转； 利用直方图均衡算法为对 全图HSV空间中的亮度V分量作直方图均衡。 10.根据权利要求7所述的装置， 其特征在于， 所述更新结束条件包括： 所述损失值小于 预设阈值或更新次数达 到预设更新次数。权　利　要　求　书 2/2 页 3 CN 114548868 A 3