(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210319286.4 (22)申请日 2022.03.29 (71)申请人 内蒙古工业大 学 地址 010080 内蒙古自治区呼和浩特市土 默特左旗内蒙古工业大 学金川校区 (72)发明人 仁庆道尔吉　张倩　李娜　吉亚图　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/776(2022.01) G06V 10/40(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01W 1/10(2006.01) (54)发明名称 基于深度神经网络的多特征融合沙尘暴预 测方法 (57)摘要 一种基于深度神经网络的多特征融合沙尘 暴预测方法， 首先将以中国地面气候资料日值数 据、 中国强沙尘暴序列及其支撑数据为主的地面 数据和以中国陆地区域 云图(IR1)为主的云图数 据进行预处理， 使用时间滑动窗口的方式划分地 面数据集， 使其成为时间序列， 能够有效提高数 据的利用率； 同时采用SMOTE算法和透视变换方 法增强地面数据和卫星云图数据， 缓解了数据不 平衡问题； 然后利用卷积神经网络提取卫星云图 的空间特征， 将其融合到地面数据中， 使其成为 输入属性； 最后利用循环神经网络的时序记忆能 力和卷积神经网络的特征提取能力， 建立一种融 合沙尘暴数据地面特性和空间特性的CNN ‑LSTM 沙尘暴预测模型， 从而提高模型 预测性能。 权利要求书3页 说明书8页 附图4页 CN 114882373 A 2022.08.09 CN 114882373 A 1.基于深度神经网络的多特 征融合沙尘暴预测方法， 其特 征在于， 包括如下步骤： 步骤1， 分别对沙尘暴的地面数据和卫星云图数据进行预处理， 将地面数据转换为时间 序列， 并采用SMOTE算法平衡； 将卫星云图数据进行格式转换， 并通过透视变换增强卫星云 图数据； 步骤2， 利用卷积神经网络提取卫星云图数据的空间特征， 并将其融合到地面数据中， 使其成为输入属性； 步骤3， 利用循环网络的时序记忆能力， 提取地面数据特征， 建立LSTM神经网络的沙尘 暴预测模型； 步骤4， 建立一种融合多特征的CNN ‑LSTM沙尘暴预测模型， 用 来预测最终的沙尘暴等 级。 2.根据权利要求1所述基于深度神经网络的多特征融合沙尘暴预测方法， 其特征在于， 所述步骤1， 对地面数据， 首先进行数据集成、 数据降维、 特征值和缺测值处理， 然后采用时 间滑动窗口方式转化为时间序列， 使其便于深度神经网络训练， 最后采用S MOTE算法平衡数 据； 对云图数据， 首先进行格式转换将 *.AWX数据格式转换为*.JPEG格式， 并筛选受损图像、 裁剪和标记卫星云图， 最后采用透 视变换对卫星云图数据进行增强。 3.根据权利要求2所述基于深度神经网络的多特征融合沙尘暴预测方法， 其特征在于， 所述采用时间滑动窗口方式转 化为时间序列的过程如下： 设定预测前置天数M， 按照各个地面数据监测站点， 划分为小的时间序列， 序列长度为 M， 即相当于采用一个时间滑动窗口， 滑动步长为1， 窗口大小M； 对于N条数据， 划分后共有 (N‑M+1)条小的时间序列， 总的数据大小为(N –M+1)*M； 所述采用SMOTE算法平衡数据是利用SMOTE算法对所得到的时间序列进行扩充， 将等级 为0、 1、 2和3的沙 尘暴样本分别增强至多条， 以满足数据训练要求， 其中， 等级0、 1、 2和3分别 表示强沙尘暴、 沙尘暴、 扬沙和浮尘； 所述采用透 视变换对卫星云图数据进行增强的变换公式如下： 其中， (u， v)为原始图像像素坐标， (u,v,w)为三维平面上 的值， (x＝x ′/w′， y＝y′/w′) 为变换后的图像 像素坐标， 透 视变换矩阵 图解见下式： 其中， a11～a33是图像变换的参数， 由神经网络模型学习得到， 表示图像 线性变换， T2＝[a13a23]T用于产生图像透 视变换， T3＝[a31a32]表示平移。 4.根据权利要求1所述基于深度神经网络的多特征融合沙尘暴预测方法， 所述步骤2， 将所有提取到卫星云图的空间特征进行拼接， 然后将其放入包含2个卷积层、 2个池化层、 3权　利　要　求　书 1/3 页 2 CN 114882373 A 2个全连接层的卷积神经网络中训练； 其中， 卷积神经网络中第一卷积层的卷积核个数为 16， 第二卷积层的卷积核个数为32， 步长均为1， 激活函数采用Relu函数， 池化层采用最大池化 操作(Max_Pooling)， 步长为2， 全连接层神经元个数分别为1024、 512、 5， 并均采用Dropout 函数； 所述Relu函数计算公式如下： 其中， w是 卷积层中激活函数的输入数据； 所述Dropout函数计算公式如下： 其中， p为网络结点随机丢弃的概率0≤p<1， r＝r and()表示生成随机数， u是每层网络 的激活值。 5.根据权利要求4所述基于深度神经网络的多特征融合沙尘暴预测方法， 其特征在于， 为卷积神经网络的每一层卷积层和激活层之间增加BN层(Batch  Normalization)， 以期提 取到空间域中所提取不到的有效特征， 所述BN层是对每一个batch的输入特征进行白化操 作， 即去均值方差过程； 假设一个batch的输入数据为x， B＝{x1,…,xm}， 表示一个batch所包含的输入数据， 首 先求该batc h的输入数据的均值 μB与方差 其中， m表示batc h大小， 0<i≤m表示batc h中输入数据位次顺序， xi表示第i个输入数据； 然后进行归一 化， 得到标准 化后的 其中， ∈为超参数， 作用是避免分母值 为0； 通过上式， 使每个batch的输入数据x 的特征分布具有相同的均值与方差， 固定了卷积 层输入分布， 从而加速卷积神经网络的收敛。 6.根据权利要求5所述基于深度神经网络的多特征融合沙尘暴预测方法， 其特征在于， 所述BN层， 在白化操作后增加线性变换操作， 以使 数据尽可能地恢复本身的表达能力， 公式 如下： 其中， γ与β 为卷积神经网络归 一化层中的超 参数， 通过训练卷积神经网络 学得， yi为BN权　利　要　求　书 2/3 页 3 CN 114882373 A 3