(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210375780.2 (22)申请日 2022.04.11 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 胡海洋　李川豪　陈洁　李忠金　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱亚冠 (51)Int.Cl. G06F 11/36(2006.01) G06F 8/41(2018.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于自然语言和计算机视觉结合的工业机 器人调试方法 (57)摘要 本发明公开一种基于自然语言和计算机视 觉结合的工业机器人调试方法。 本发 明将自然语 言描述通过word2vec网络和线性层来生成语义 信息。 通过三维循环卷积神经网络提取工业机器 人环境特征。 将环境特征输入到长短期记忆网络 生成中间上下文， 将中间上下文作为GRU网络的 输入通过循环神经网络RNN得到API推荐。 将自然 语言描述通过word2vec网络生成的文本嵌入输 入长短期记忆网络编码器和长短期记忆网络解 码器， 输出AST构建动作序列， 将API推荐和构建 动作序列结合生成工业机器人调试代码。 将调试 代码加入到机器人程序编辑器中完成调试。 本发 明有效提高机器人调试的开发效率， 减少工业环 境中机器人产线的部署时间。 权利要求书3页 说明书5页 附图2页 CN 114691516 A 2022.07.01 CN 114691516 A 1.一种基于自然语言和计算机视觉结合的工业机器人调试方法， 其特征在于包括以下 步骤： 步骤(1)、 将描述机器人动作代码的自然语言描述 生成语义信息 步骤(2)、 环境特 征提取 将工业机器人所在工业环境的图像数据作为三维循环卷积网络的输入， 从而输出环境 视觉特征； 步骤(3)、 API推荐生成 3‑1利用步骤(2)中生成的环境视觉特征输入长短期记忆网络编码器中进行编码生成 中间语义向量； 具体如下： 将环境视觉特征f作为长短期记忆网络的输入， 生成隐藏状态向量g， 随后将隐藏状态 向量g转化为中间语义向量； gt＝LSTM(ft,gt‑1)                       (5) 其中gt为t时刻的隐藏状态向量， gt‑1表示t‑1时刻的隐藏状态向量， ft为t时刻的环境视 觉特征， LSTM()为长短期记 忆网络函数； 3‑2根据步骤(1)生成的语义向量S初始化GRU网络， 然后将步骤(3 ‑1)生成的中间语义 向量转化为隐藏状态向量， 随后将隐藏状态向量输入至初始 化后的GRU网络生成 中间向量； 具体如下： 3‑2‑1根据步骤(1)生成的语义向量初始化GRU网络； 3‑2‑2将步骤3 ‑1生成的中间语义向量转化为隐藏状态向量r， 将隐藏状态向量r作为 GRU网络的输入， 生成中间向量 k； kt＝GRU(rt,kt‑1)                    (6) 其中kt为t时刻的中间向量， GRU()是GRU函数， kt‑1是t‑1时刻的中间向量， rt是t时刻的 隐藏状态向量； 3‑3利用步骤3 ‑2生成的中间向量 k通过循环神经网络来 生成API推荐列表； 具体如下： 根据步骤3 ‑2生成的中间向量作为循环神经网络RNN的输入， 然后通过softmax层归一 化获得API推荐列表的概 率分布； P＝softmax(RN N(k))                           (7) 其中P是API推荐列表的概率分布， softmax()是归一化指数函数,RNN()是循环神经网 络函数， τi是循环神经网络输出的第i个API推荐的预测概率， yi是真实情况的API推荐， 是损失率； 步骤(4)、 工业机器人的目标代码编程 4‑1根据公式(1)利用word2vec网络将描述机器人动作代码的自然语言描述转化为文 本嵌入向量E； 4‑2使用步骤4 ‑1文本嵌入向量E作为长短期记忆网络编码器的输入， 然后将输出输入 到长短期记 忆网络解码器中， 生成AST树的构建动作序列； 具体如下： 4‑2‑1将文本嵌入向量E作为长短期记忆网络编码器(LSTM ‑Encoder)的输入， 生成隐藏权　利　要　求　书 1/3 页 2 CN 114691516 A 2状态向量h， 随后将隐藏状态向量 转化为中间语义向量； ht＝LSTMe(et,ht‑1) (9) 其中ht为t时刻的隐藏状态向量； LSTMe()表示长短期记忆网络编码器函数， et表示t时 刻的嵌入向量， ht‑1表示t‑1时刻的隐藏状态向量 4‑2‑2将中间语义向量转化为隐藏状态向量θ， 将隐藏状态向量θ作为长短期记忆网络 解码器(LSTM ‑Decoder)的输入； 其中θt为t时刻的隐藏状态， θt‑1为t‑1时刻的隐藏状态,LST Md()表示长短期记忆网络解 码器函数， [:]表示向量联合特征， at‑1表示t‑1时刻AST树构建动作， 表示t‑1时刻隐藏 状态的注意力向量， βt为推导过程 中包含父亲边界信息的向量， 为t时刻隐藏状态的注意 力向量， ht是上下文向量， Wc为连接层函数， tanh()为双曲正切函数； 4‑2‑3生成AST树的构建动作序列， 具体是： 其中ApplyConstr[c]是AST树(抽象语法树)构建动作中的其中一种动作类型， 该动作 可以将构造操作c应用到与c具有相同类型的边界字段上， 该字段可以用来填充节点； p(at ＝ApplyConstr[c]|a＜t,x)表示在t时刻之前的动作信息和自然语言描述下动作 ApplyConstr[c]的概率， at是表示t时刻AST树构建动作， a＜t表示t时刻之前的AST树构建动 作信息， x是自然语言单词， softmax()为归一化指数函数， ac为构造操作c的AST树构建动 作， T为向量 转置， W为连接层函数， 为t时刻隐藏状态的注意力向量； p(at＝GenToken[v]|a＜t,x) ＝p(gen|at,x)p(v|gen,at,x)+p(copy|at,x)p(v|copy,at,x) (13) 其中GenToken[v]是AST树构建动作中的另一种动作类型， 该动作可以将AST树边界字 段填充为代码v； p(at＝GenToken[v]|a＜t,x)表示在时间片之前的动作信息和自然语言描述 下动作GenToken[v]的概率， at是表示t时刻AST树构建动作， a＜t表示t时刻之前的AST树构 建动作信息， x是自然语言单词， gen 为生成操作， copy为复制操作； 最后将公式(12) ‑(13)得到AST树的所有构建动作， 进 而得到AST树的构建动作序列； 4‑2‑4结合步骤(3)生成的API推荐列表和步骤4 ‑2‑3生成的AST树的构建动作序列来输 出最终的机器人代码； 步骤(5)、 完成机器人调试 利用上述调试代码输入至 机器人程序编辑器的任务模块中， 完成工业机器人的调试。 2.如权利要求1所述的方法， 其特 征在于步骤(1)具体如下： 1‑1将描述机器人动作代码的自然语言描述输入w ord2vec网络生成文本嵌入； 1‑2利用步骤1 ‑1生成的文本嵌入向量矩阵通过两个级联的线性层A生成语义信息， 然 后将语义信息 输入至线性层 B， 输出规定维度的语义向量。 3.如权利要求2所述的方法， 其特 征在于步骤1 ‑1具体如下： 将i个自然语言单词组成的自然语言指令X＝{xi|i＝1,2, …,n}通过word2vec网络生成权　利　要　求　书 2/3 页 3 CN 114691516 A 3