(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211353769.2 (22)申请日 2022.11.01 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 邓岳　杨李俊　章修惠　李洪珏　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06F 30/15(2020.01) G06F 30/27(2020.01) (54)发明名称 一种数字孪生环境下智能卫星的深度强化 学习设计方法 (57)摘要 本发明公开了一种数字孪生环境下智能卫 星的深度强化学习设计方法， 涉及卫星设计技术 领域。 本发 明通过建立一套完整的卫星仿真数字 孪生模型， 评估卫星的运行状况， 反馈卫星布局 优劣， 为卫星设计提供低成本 试错空间； 其次， 本 发明通过深度强化学习网络生成大量卫星安装 数据， 在数字孪生空间中不断试错， 学习卫星总 体设计最优 策略， 为设计人员提供所需情况下的 最优布局。 权利要求书1页 说明书7页 附图2页 CN 115391924 A 2022.11.25 CN 115391924 A 1.一种数字孪生环境下智能卫星的深度强化学习设计方法， 其特征在于， 所述方法包 括以下步骤： S1、 根据卫星真实部件构造对应的卫星数字 孪生部件， 并创建卫星模拟运行环境； S2、 构建深度强化学习神经网络， 所述深度强化学习神经网络输入卫星数字孪生部件 参数信息及卫星数字 孪生部件安装信息， 输出卫星数字 孪生部件组装后的数字卫星； S3、 在卫星模拟运行环境中模拟数字卫星发射及运行流程， 并根据数字卫星运行情况 返回数字卫星各项性能指标以及奖励值； S4、 根据数字卫星各项性能指标以及奖励值对卫星数字孪生部件进行修改， 将修改后 的卫星数字 孪生部件再次输入所述深度强化学习神经网络； S5、 循环执 行步骤S2 ‑S4直到奖励值达 到稳定。 2.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 步骤S2中所述卫星数字孪生部件安装信息包括卫星数字孪生部件的添加、 删除以及 移动信息 。 3.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 步骤S2中卫星数字 孪生部件组装过程包括以下步骤： 在卫星模拟运行环境中将离散的卫星数字孪生部件视为多个正方体的组合体， 利用多 个正方体的有序组合描述卫星数字孪生部件的物理形状， 其中， 卫星数字孪生部件物理形 状的精细程度取决于正方体数量级； 根据多个正方体组成的卫星数字孪生部件的物理形状信 息进行碰撞检测， 输出各卫星 数字孪生部件之间的相对位置信息； 深度强化学习神经网络智能体读取卫星数字孪生部件安装信 息， 结合卫星数字孪生部 件之间的相对位置信息将卫星数字 孪生部件组装成数字卫星。 4.根据权利要求3所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 卫星数字 孪生部件组装步骤中采用OpenGL引擎 来实现安装过程的可视化。 5.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 步骤S 3中数字卫星发射及运行流程包括： 卫星 稳定， 太阳捕获， 地球捕获， 以及卫星绕 地运行。 6.根据权利要求1所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 步骤S3中根据数字卫星运行情况返回数字卫星各项性能指标以及奖励值， 还包括以 下步骤： 根据真实卫星轨道高度将真实卫星对应的数字卫星划分为 不同的类型； 针对低轨数字卫星， 计算其在轨道保持阶段的燃料消耗值及控制精度值， 并将所述燃 料消耗值及控制精度值对低轨数字卫星运行的评估结果作为奖励值； 针对中高轨数字卫星， 计算其在轨道转移阶段的燃料消耗值、 飞行时间及控制精度值， 并将所述燃料消耗值、 飞行时间及 控制精度值对中高轨数字卫星运行的评估结果作为奖励 值。 7.根据权利要求6所述的数字孪生环境下智能卫星的深度强化学习设计方法， 其特征 在于， 将运行数据的评估结果作为奖励值时， 不同类型的数字卫星中运行数据的权重不同， 所述运行数据包括燃料消耗 值、 飞行时间及控制精度值。权　利　要　求　书 1/1 页 2 CN 115391924 A 2一种数字孪生环境下智能卫星的深度强化学习 设计方法 技术领域 [0001]本发明涉及 卫星设计技术领域， 更具体的说是涉及一种数字孪生环境下智能卫星 的深度强化学习设计方法。 背景技术 [0002]在卫星设计时， 目前的卫星设计过程主要依靠技术人员手动设计。 人工进行卫星 总体设计通常由多个设计部门协同配合， 在设计过程中， 卫星内部部件的设计， 安装， 使用 大多数情况下是单独完成的， 缺 乏与其他部件之间的联系。 这就使得卫星各模块组成完整 卫星后难以进行总体的优化， 需要大量的迭代设计， 从而导致在卫星设计的效率以及时间 上造成了大量的浪费。 即人工设计的卫星可能无法达到当前卫星设计条件下 的最优解。 且 在设计过程中， 设计进度一定程度上依赖 于不同部门之间的协调沟通。 [0003]此外， 卫星的高成本也会进一步对卫星设计产生不良影响。 卫星零部件以及整星 价格高昂， 以及现有技术条件下缺乏对卫星的回收能力， 即卫星部件不能重复利用， 导致了 卫星的设计处于相对保守的状态， 创新与试错的成本大 大增加。 [0004]而且， 当前神经网络的训练依赖于大量数据集， 而卫星作为高精尖科技， 缺少足够 的数据集。 即使使用强化学习进行无监督学习， 在高昂成本下也无法提供足够多的试错机 会。 [0005]因此， 如何提供一种数字孪生环境下智能卫星的深度强化学习设计方法是迫切需 要的。 发明内容 [0006]有鉴于此， 本发明提供了一种数字孪生环境下智能卫星的深度强化学习设计方 法， 主要的用途在于 辅助卫星设计人员进行卫星总体规划设计。 [0007]为了实现上述目的， 本发明采用如下技 术方案： 一种数字 孪生环境下智能卫星的深度强化学习设计方法， 包括以下步骤： S1、 根据卫星真实部件构造卫星数字 孪生部件， 并创建卫星模拟运行环境； S2、 构建深度强化学习神经网络， 所述深度强化学习神经网络输入卫星数字孪生 部件参数信息及卫星数字 孪生部件安装信息， 输出卫星数字 孪生部件组装后的数字卫星； S3、 在卫星模拟运行环境中模拟数字卫星发射及运行流程， 并根据数字卫星运行 情况返回数字卫星各项性能指标以及奖励值； S4、 根据数字卫星各项性能指标以及奖励值对卫星数字孪生部件进行修改， 将修 改后的卫星数字 孪生部件再次输入所述深度强化学习神经网络； S5、 循环执 行步骤S2 ‑S4直到奖励值达 到稳定。 [0008]优选的， 步骤S2中所述卫星数字孪生部件安装信息包括卫星数字孪生部件的添 加、 删除以及移动信息 。 [0009]优选的， 步骤S2中卫星数字 孪生部件组装过程包括以下步骤：说　明　书 1/7 页 3 CN 115391924 A 3