(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221027949 9.9 (22)申请日 2022.03.22 (65)同一申请的已公布的文献号 申请公布号 CN 114360038 A (43)申请公布日 2022.04.15 (73)专利权人 杭州实在智能科技有限公司 地址 310000 浙江省杭州市余杭区余杭街 道文一西路1818-2号6幢6层 (72)发明人 王庆庆　孙林春　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 周希良 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/10(2022.01) G06V 10/74(2022.01)G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113516181 A,2021.10.19 审查员 任燕 (54)发明名称 基于深度学习的弱监督RPA元素识别方法及 系统 (57)摘要 本发明属于RPA元素识别技术领域， 具体涉 及基于深度学习的弱监督RPA元素识别方法及系 统。 包括步骤： S1， 对有监督数据， 从每个类别的 样本中不放回的采样若干个元素图像样本； 对无 监督数据， 从每个类别的样本中不放回的随机采 样若干个元素图像样本； S2， 对各个元素图像样 本进行多次数据增强处理， 得到多个处理后的元 素图像样本； S3， 提取获得的元素图像样本的特 征， 并分别通过配准学习、 度量学习、 表征学习、 自监督学习和聚类学习的方式对元素图像样本 的特征进行识别。 本发明具有能基于少量人工标 注数据， 学习难分样本， 并结合元素大数据分布 规律， 提升泛化能力， 实现高效、 鲁棒的元素识别 功能的特点。 权利要求书3页 说明书8页 附图4页 CN 114360038 B 2022.06.24 CN 114360038 B 1.基于深度学习的弱监 督RPA元素识别方法， 其特 征在于， 包括如下步骤； S1， 对有监督数据， 从每个类别的样本中不放回的采样若干个元素图像样本； 对无监督 数据， 从每 个类别的样本中不 放回的随机采样若干个元 素图像样本； S2， 对各个元素图像样本进行多次数据增强处理， 得到多个处理后各不相同的元素图 像样本； S3， 提取步骤S2中获得的元素图像样本的特征， 并分别通过配准学习、 度量学习、 表征 学习、 自监督学习和聚类学习的方式对元 素图像样本的特 征进行识别； 步骤S3中， 在有监督数据上使用表征学习和度量学习， 分别学习元素分类和元素特征 之间的距离， 同时使用配准学习， 学习成对元素之 间的匹配得分； 在无监督数据上使用聚类 学习， 学习元 素图片聚类； 同时在所有数据上进行自监 督学习， 优化特 征提取的质量； 步骤S3包括如下步骤： 通过神经网络提取特征， 将提取的特征在不同的分析维度， 进行表征学习、 度量学习、 自监督学习、 配准学习和聚类学习， 联合优化所有学习任务的损失； 步骤S3还 包括如下步骤： 配准学习： S311， 输入数据增 强处理后的成对的元素图像样本， 根据获得的对应的元素图像样本 的特征， 通过计算获得成对的元素图像样本之间的相似度， 并以加权求和的相似度作为配 准学习的输出值； 所述输出值表示 为预测的配准得分； 所述配准学习为 二分类学习任务， 采用二 值交叉熵损失作为损失函数； 聚类学习： S351， 对获得的元素图像样本的特征进行聚类， 得到每个元素图像样本特征的伪标签， 并根据伪标签匹配记忆单元中对应类别的聚类中心特征， 同时求出元素图像样本特征与对 应类别的聚类中心特 征之间的距离损失， 并将损失梯度反向传播， 优化聚类学习过程。 2.根据权利要求1所述的基于深度学习的弱监督RPA元素识别方法， 其特征在于， 步骤 S2中所述数据增强处理包括对元素图像样本进行裁剪、 模糊、 缩放， 调整颜色、 亮度以及加 入噪声的操作。 3.根据权利要求1所述的基于深度学习的弱监督RPA元素识别方法， 其特征在于， 步骤 S3包括如下步骤； 度量学习： S321， 输入获得的元素 图像样本 的特征， 并采用triplet损失作为损失函数， 获得元素 图像样本特征间的相 似距离度量； 所述triplet损失的目标是使特征间的类间距离比类内 距离至少大于给定的阈值， 具体函数式如下： 其中 表示第i个元素anchor； 表示与anchor同类别的正样本元素； 表示与 anchor不同类别的负样本元素； 表示类内距离， 即anchor与正样本的权　利　要　求　书 1/3 页 2 CN 114360038 B 2欧式距离； 表示类间距离， 即anchor与负样本的欧式距离； α是类内距 离与类间距离之差的下限； +表示当 大于 0时， 则取计算输出值， 若 小于0时， 则取0 。 4.根据权利要求1所述的基于深度学习的弱监督RPA元素识别方法， 其特征在于， 步骤 S3包括如下步骤： 表征学习： S331， 输入获得的元素图像样本的特征， 将获得的元素图像样本的特征映射为类别ID， 并输出元素图像样本属于各个 类别ID的得分， 取 得分最大的类别ID作为预测的类别； 所述类别ID为元素图像样本特征类别的数字符号； 所述表征学习 使用交叉熵作为目标 损失函数。 5.根据权利要求1所述的基于深度学习的弱监督RPA元素识别方法， 其特征在于， 步骤 S3包括如下步骤： 自监督学习： S341， 输入获得的元素图像样本的特征， 通过在线更新网络和延后更新网络的进行表 征预测， 输出 元素图像样本的表征； 所述元素图像样本的表征为元 素图像样本特 征的一串向量表示。 6.基于深度 学习的弱监督RPA元素识别系统， 应用于权利要求1 ‑5任一项所述的基于深 度学习的弱监督RPA元素识别方法， 其特征在于， 所述基于深度学习的弱监督RPA元素识别 系统包括： 采样模块， 用于对有监督数据， 从每个类别的样本中不放回的采样若干个元素图像样 本； 对无监 督数据， 从每 个类别的样本中不 放回的随机采样若干个元 素图像样本； 特征提取模块， 用于提取元素图像样本的特征， 并将所述特征传递给配准学习、 度量学 习、 表征学习、 自监督学习和聚类学习的预测分支； 配准学习模块， 用于输入数据增强处理后的成对的元素图像样本， 根据获得的对应的 元素图像样本的特征， 通过计算获得成对的元素图像样本之间的相似度， 并以加权求和的 相似度作为配准学习的输出值； 度量学习模块， 用于输入获得的元素图像样本的特征， 并采用triplet损失作 为损失函 数， 获得元素图像样本特 征间的相似距离度量； 表征学习模块， 用于输入获得的元素图像样本的特征， 将获得的元素图像样本的特征 映射为类别ID， 并输出元素图像样本属于各个类别ID的得分， 取得分最大的类别ID作为预 测的类别； 自监督学习模块， 用于输入获得的元素图像样本的特征， 通过在线更新网络和延后更 新网络的进行表征 预测， 输出 元素图像样本的表征； 聚类学习模块， 用于对获得的元素图像样本的特征进行聚类， 得到每个元素图像样本 特征的伪标签， 并根据伪标签匹配记忆单元中对应类别的聚类中心特征， 同时求出元素图 像样本特征与对应类别的聚类中心特征之间的距离损失， 并将损失梯度反向传播， 优化聚 类学习过程。 7.根据权利要求6所述的基于深度学习的弱监督RPA元素识别系统， 其特征在于， 还包权　利　要　求　书 2/3 页 3 CN 114360038 B 3