(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210327408.4 (22)申请日 2022.03.30 (71)申请人 珠江水利委员会珠 江水利科 学研究 院 地址 510610 广东省广州市天河区天寿路 105号 (72)发明人 曾麦脉　顾祝军　扶卿华　罗成　 王晓刚　刘亚飞　吴家晟　陈谢宁　 林带娣　吴秉校　 (74)专利代理 机构 石家庄中和昇知识产权代理 事务所 (特殊普通合伙) 13145 专利代理师 付会平 (51)Int.Cl. G06V 20/10(2022.01)G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度时空模式交互网络的土地利 用分类方法 (57)摘要 本发明公开了一种基于深度时空模式交互 网络的土地利用分类方法， 包括以下步骤： 将土 地利用分类的样本库输入特征提取模块， 得到不 同分辨率的特征图； 将不同分辨率的特征图输入 特征融合模块， 得到增强后的特征图； 将增强后 的特征图输入语义分割模块， 计算语义分割的置 信度， 当置信度大于或等于阈值时， 输出分类结 果； 当语义分割的置信度小于阈值时， 输出预分 类结果并将增强后的特征图输入时空模式推理 模块， 进行时空关系的推理验证， 得到推理验证 结果； 将预分类结果和推理验证结果输入校正模 块， 对预分类结果进行调整， 反馈至语义分割模 块。 本发明提高了土地利用分类的精度， 降低了 后期人工编辑的工作量。 权利要求书2页 说明书5页 附图1页 CN 114863266 A 2022.08.05 CN 114863266 A 1.一种基于深度时空模式交互网络的土地利用分类方法， 其特征在于： 包括构建面向 土地利用分类的深度时空模式交互网络模型， 模型包括特征提取模块、 特征融合模块、 语义 分割模块、 时空模式推理模块和校正模块， 土地利用分类方法包括以下步骤： S1.获取遥感影像数据及相应的土地利用矢量数据， 针对 同一地物类型颜色特征的差 异， 进行像素归一 化处理； S2.制作土地利用分类样本库和置信规则库； S3.对深度时空模式交互网络模型中的特征提取模块、 语义分割模块和时空模式推理 模块进行基础阶段的训练； S4.将土地利用分类的样本库输入特 征提取模块， 得到不同分辨 率的特征图； S5.将不同分辨 率的特征图输入特 征融合模块， 得到增强后的特 征图； S6.将增强后的特征图输入语义分割模块， 计算语义分割的置信度， 当置信度 大于或等 于阈值时， 输出分类结果； S7.当语义分割的置信度小于阈值时， 输出预分类结果并将增强后的特征图输入时空 模式推理模块， 进行时空关系的推理验证， 得到推理验证结果； S8.将预分类结果和推理验证结果输入校正模块， 对预分类结果进行调整， 反馈至语义 分割模块， 重新执 行步骤S6 。 2.根据权利要求1所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述 步骤S2中分类样本库随机划分为训练数据集和验证数据集。 3.根据权利要求2所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述步骤S 3中基础阶段的训练包括第一阶段使用训练数据集训练一个在训练数据 集上表现优越的特征提取模块和语义分割模块； 第二阶段使用置信规则库训练时空模式推 理模块。 4.根据权利要求1所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述步骤S 5中特征融合模块的设计， 用于将不同分辨率的特征图进 行结构共享、 融 合和增强， 主干网络优选采用HRnet网络提高特征图的分辨率， 其输出包含更详尽的空间信 息和全局信息， 实现全局空间相关性分析， 特 征图加强的具体方法， 包括： 将特征提取模块输出的四个分支特征Pn， n∈{1,2,3,4}进行基于频域分析的通道注意 力机制筛 选， 以获得 各个分支的有价 值的特征信息Fn， n∈{1,2,3,4}； 通过双线性插值和1 ×1的卷积操作后， 把Fn中的后三个分支的特征图进行尺度和维度 的归一化处理， 重置到和第一个分支F1∈R32×56×56输出相同的尺度和通道数， 减少后期特征 融合时产生的混叠效应， 消除各分支特 征间特征分布的差异； 计算不同分支特征之间的空间权重参数矩阵， 将对应的空间权重参数矩阵与调 整后的 特征Fn→1， n∈{2,3,4}进行通道矩阵相乘操作得到赋予权重后的特征， 再将赋予 空间权重大 小后的特 征基于通道维度进行像素值的求和， 得到融合后的特 征H。 5.根据权利要求4所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述步骤S6中语义分割模块在得到特征融合模块输出的增强后的特征图后， 语义 分割模块将增强后的特征图分割成语义分割图， 并将 语义分割图通过卷积和上采样操作映 射到二维空间中， 生成分割结果图， 然后通过变分推断得到预测结果的置信度； 所述分割结 果图融合了多个分支的多分辨 率特征信息， 获得了 丰富的特 征图表示能力。权　利　要　求　书 1/2 页 2 CN 114863266 A 26.根据权利要求5所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述 步骤S7中时空模式推理模块的构建包括： 离线建立置信规则库R＝{R1,R2,...RL}， 其中， Rk∈{θ,A, δ}， θ是规则权重， A是指标集 合， δ是属性权重， 置信规则库用于描述地物类别、 属性及其之间相互关系； 利用学习机制优 化置信规则库中的参数； 从语义分割模块获取的语义分割图， 包括给定N个地物对象的输入 第n个 对象的整个目标集的关系特 征可以表示 为： 其中， fG是地物对象的几何特征， fA是地物对象的类别， ωmn表示对象n与其他对象的关 系权重， W表示变换矩阵； 将得到的关系特征与置信规则库中的规则进行聚合操作， 第k条规则的激活权重可表 示为： 其中， ak和ai分别是第k条规则和第i条规则在属性集上的可信度， 是第 k条规则中第 i个属性属于指标值 中的可信度， 相似地， θk和 θi分别是第k个 规则和第i个规则的规则权重， L 是置信规则库中规则的数量， Nk是第k条规则的属性 数， δi是 标准化后的属性权 重； 将得到的聚合结果输出， 输出结果是一个置信度分布， 表示地物属于每个类的程度， 而 地物所属类别为置信度最大的类。 7.根据权利要求6所述的一种基于深度时空模式交互网络的土地利用分类方法， 其特 征在于： 所述步骤S8中的校正模块根据时空模式推理模块输出的结果， 查找分割 结果图中 错误的分类并进行改正， 得到分类改正结果图并将分类改正结果图反馈 至语义分割模块。权　利　要　求　书 2/2 页 3 CN 114863266 A 3