(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111495257.5 (22)申请日 2021.12.08 (71)申请人 华东交通大 学 地址 330013 江西省南昌市经济技 术开发 区双港东大街808号 (72)发明人 王登辉　赵军辉　杨辰月　易玉萍　 万娜　 (74)专利代理 机构 西安铭泽知识产权代理事务 所(普通合伙) 61223 代理人 谢欢 (51)Int.Cl. H04W 40/12(2009.01) H04W 4/46(2018.01) G06N 20/00(2019.01) (54)发明名称 一种基于强化学习的异构无线传感器寻路 方法 (57)摘要 本发明公开了一种基于强化学习的异构无 线传感器寻路方法， 涉及车联网数据传输技术领 域， 以网格形式均匀划分车联网无线传感器网 络， 获得虚拟网格， 选取每个虚拟网格内服务质 量最高的传感器节点， 以该传感器节 点作为对应 虚拟网格的簇头， 连接各个虚拟网格的簇头， 得 到安全系数高、 能耗较少的路径。 通过构建一种 基于车联网感知层的信任评估模型进行信任度 的评估， 量化了节点传输信息的行为， 并采用了 自身上报和环 境评估并重的方式进行信任评估， 在信任评估完成后， 依据反馈系统对节点的信任 度进行实时更新， 并通过路由协议， 根据信任度 与传输距离为节点传递信息选出安全系数高、 能 耗较少的路径， 从而实现车联网消息的安全传 输。 权利要求书2页 说明书9页 附图4页 CN 113938978 A 2022.01.14 CN 113938978 A 1.一种基于强化学习的异构无线传感器寻路方法， 其特 征在于， 包括以下步骤： 设置车联网无线传感器网络的异构网络环境； 以网格形式均匀 划分车联网无线传感器网络， 获得若干个虚拟网格； 选取每个虚拟网格内服务质量最高的传感器节点， 以该传感器节点作为对应虚拟网格 的簇头； 采用两层分簇网络结构的信任评估 模型进行簇 头的信任度评估， 得到 簇头的信任度； 基于信任度与传输距离最小化原则， 为传感器节点传递信息选取路径， 连接路径上各 个虚拟网格的簇 头。 2.如权利要求1所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 所 述选取每个虚拟网格内服务质量最高的传感器节点， 以该传感器节点作为对应虚拟网格的 簇头， 包括： 采用无模型的强化学习算法选取每 个虚拟网格内服 务质量最高的传感器节点； 以选取出的传感器节点作为对应虚拟网格的簇 头。 3.如权利要求2所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 所 述采用无模型的强化学习算法选取每个虚拟网格内服务质量最高的传感器节点的步骤， 包 括： 选定传感器节点作为强化学习算法的代理； 确定和代理不断进行交互反馈的外部环境， 所述外部环境包括无线传感器网络的无线 信道特性和数据流； 代理与外 部环境持续进行交 互， 获得交 互的动作和状态； 代理选择动作执 行； 外部环境针对选择的动作产生 新的状态和奖赏； 外部环境将新的状态返还给代理， 将奖赏返回给代理； 代理根据返回的奖赏确定服 务质量最高的节点。 4.如权利要求1所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 所 述以网格形式均匀 划分车联网无线传感器网络， 获得若干个虚拟网格的步骤， 包括： 车联网无线传感器网络的传感器节点处均设置GP S定位模块； 以网格形式均匀 划分车联网无线传感器网络， 得到若干个均等的虚拟网格。 5.如权利要求4所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 还 包括： 若干个均等的虚拟网格均设置标识网络序号GID和簇头GC， 所述簇头GC用于网格间的 数据传播与管理。 6.如权利要求1所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 还 包括： 划分车联网无线传感器网络内所有传感器节点的初始能量， 得到三个能级。 7.如权利要求6所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 所 述划分车 联网无线传感器网络内所有传感器节点的初始能量， 得到三个能级， 包括： 第1能级1‑energy‑level， 采用E1表示， E1节点用于接收和发送文本信息， E1节点的初始 能量设置为Einit‑1；权　利　要　求　书 1/2 页 2 CN 113938978 A 2第2能级2‑energy‑level， 采用E2表示， E2节点用于传输文本信息， 和用于提供图像和视 频信息， E2节点的初始能量设置为Einit‑2； 第3能级3 ‑energy‑level， 采用E3表示， E3节点用于 处理传输高分辨率的图片， E3节点的 初始能量设置为Einit‑3。 8.如权利要求1所述的一种基于强化学习的异构无线传感器寻路方法， 其特征在于， 还 包括： 任意两个邻近的网格之间的长度均不超过节点的最大覆盖范围。权　利　要　求　书 2/2 页 3 CN 113938978 A 3