(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450076.9 (22)申请日 2022.04.27 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 王健　朱逢乐　赵章风　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 陈洁 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多尺度级联卷积神经网络的叶片 高光谱图像分类和回归方法 (57)摘要 本发明属于植物科学研究领域， 公开了一种 基于多尺度级联卷积神经网络的叶片高光谱图 像分类和回归方法， 首先， 在3D ‑CNN中， 嵌入扩张 卷积构建了不同尺度的谱空特征提取结构， 实现 多尺度特征的融合； 其次， 在3D ‑CNN后级联1D ‑ CNN以进一步提取高级抽象光谱特征， 并对提出 的多尺度3D ‑1D‑CNN网络进行最优框架探索； 最 后， 在两个样本有限的设施作物叶片数据集上， 将所提出的多尺度3D ‑1D‑CNN网络模型与基准模 型及多尺度3D ‑CNN模型进行比较， 以验证 所提方 法的有效性。 本发明方法有助于叶片高光谱图像 的分类和回归， 也可为农业信息化技术领域内的 其他图像分类回归方法提供新思路和技 术协助。 权利要求书3页 说明书9页 附图6页 CN 114821321 A 2022.07.29 CN 114821321 A 1.一种基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归方法， 其特征在 于， 包括以下步骤： S1： 搭建高光谱成像系统； S2： 采集罗勒叶片和辣椒叶片样本的高光谱图像， 并对图像预处 理； S3： 将扩张卷积引入3D ‑CNN， 在不增加网络参数和计算复杂度的同时扩大卷积核的感 受野， 并构建不同尺度的谱空特征提取结构， 实现多尺度特征的融合， 探究出最佳多尺度 3D‑CNN网络结构； S4： 在S3所述的最佳多尺度3D ‑CNN网络后级联1D ‑CNN网络， 以三维数据作为输入， 在谱 空联合特征提取的基础上学习更加抽象的光谱特征， 并对提出的多尺度3D ‑1D‑CNN网络进 行最优框架探索； S5： 将S4所述的多尺度 3D‑1D‑CNN网络的最优框架与基准1D ‑CNN、 基准2D ‑CNN、 基准3D ‑ CNN、 多尺度3D ‑CNN网络模型进行比较， 验证所述方法的有效性。 2.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， 所述S1： 搭建高光谱成像系统包括获取样本的高光谱图像， 设置光谱波 段范围以及空间分辨 率， 并对原 始高光谱图像进行 校正。 3.根据权利要求2所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， 所述高光谱成像系统包括SNAPSCAN  VNIR光谱相机、 35  mm镜头、 150W的 环形卤钨灯光源、 图像采集软件和图像采集平台； 所述光谱波段范围是470 ‑900nm， 共140个 波段； 所述SNAPSCAN  VNIR光谱相机采用内置扫描成像方式快速获取样 本的高光谱图像， 不 需要相机或样本的相对位移， 所述SNAPSCAN  VNIR光谱相机的最大空间分辨率为3650 × 2048， 数据采集中的实际空间分辨率根据叶片样本尺寸调整； 所述35mm镜头与样本的垂直 距离为34.5cm， 曝光时间设置为30ms； 所述高光谱成像系统采集到的原始高光谱图像进行 如下黑白校正， 以计算样本的反射率， 同时减小光照度和相 机暗电流对不同样本谱图获取 的影响： 其中R0和R分别为校正前和校正后的高光谱图像， W和D分别为白板参照图像和暗电流参 照图像。 4.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， S2所述罗勒叶片， 在人工LED光照栽培下的甜罗勒实施3种不同的光强处 理， 在罗勒生长40天时开展 数据采集， 测定叶绿素相对值， 采集高光谱图像540张； S2所述辣 椒叶片， 对栽培50天长势 一致的健康辣椒植株实施两种水分处理， 对照组样本正常灌溉， 实 验组样本实施五 天持续性干旱， 采集6 00张高光谱图像； 高光谱图像和相应标签数据对是通过自定义pytho n函数来进行读取。 5.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特 征在于， S2所述图像预处 理包括背景分割 、 噪音点去除、 尺寸调整； 所述背景分割方式为： 采用叶片和背景光谱反射率差异最大的800  nm近红外波段作 为 背景分割的阈值波段， 阈值设为0.15； 所述噪音点去除的方法为： 利用opencv ‑python中的形态学变换， 实现噪点去除；权　利　要　求　书 1/3 页 2 CN 114821321 A 2所述尺寸调整为： 将空间维统一缩 减为120×120。 6.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， S2包括将预处理后的图像划分为训练集、 验证集和测试集， 所述划分训 练集、 验证集和测试集的方式为随机抽取方式； 罗勒叶片中随机抽取380个样本作为训练 集， 80个作为验证集， 80个作为测试集； 辣椒叶片中随机抽取400个样本作为训练集， 100个 作为验证集， 10 0个作为测试集， 并将数据集分成多个批次， 批处 理样本数设置为8。 7.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， S 3所述构建不同尺度的谱空特征提取结构， 是在网络的同一层并行嵌入 标准3D卷积和扩张3D卷积， 两种卷积核各占据50%的通道数， 再将不同卷积核输出的特征图 经过批归一 化后在通道维度上进行拼接， 并进行ReLU非线性激活。 8.根据权利要求7所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， S 3所述扩张3D卷积通过在标准3D卷积所有 行和列的相邻权值间插入d ‑1 个权重为0的值实现， d为扩张因子， 在不增加网络参数和不损失信息的同时扩大了卷积核 的感受野； 所述标准3D卷积的卷积核为3 ×3×3， d=1， 感受野为3 ×3×3； 所述扩张3D卷积的 卷积核为3 ×3×3， 并且测试d分别为2、 3、 4的扩张3D卷积核结构， 分别对应5 ×5×5、 7×7× 7、 9×9×9的感受野， 不同感受野的卷积核能够提取 特征图中不同尺度的谱空特 征； 所述最佳多尺度3D ‑CNN网络结构为 拼接d=2的3 ×3×3扩张3D卷积核的模型。 9.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱图像分类和回归 方法， 其特征在于， 所述S4在最佳多尺度3D ‑CNN网络后级联1D ‑CNN网络， 是在多尺度3D   ResNet‑18网络的不同位点处进行3D ‑CNN转1D‑CNN的模型性能测试， 得到的最佳多尺度3D ‑ 1D‑CNN模型； 最佳多尺度3D ‑CNN网络级联1D ‑CNN网络的基本组成单元包括卷积层、 批归一化层、 ReLU非线性激活层、 均值池化层和全 连接层， 从输入层到输出层， 整个网络分为3D ‑CNN、 3D‑ CNN转1D‑CNN、 1D‑CNN阶段； 所述3D‑CNN阶段， 将预处理后的维度为120 ×120×140的高光谱图像立方体数据块作 为输入， 首先采用步长为2,  2, 1的3×3×3卷积核提取局部光谱 ‑空间特征， 产生64通道三 维光谱图像， 再输入连续的最佳多尺度3D ‑CNN网络， 实现不同尺度的谱空特 征提取和融合； 所述3D‑CNN转1D‑CNN阶段， 经测试， 在多尺度3D  ResNet‑18网络中的位点 转换效果 最佳， 对3D ‑CNN输出的通道数 ×空间高度 ×空间宽度 ×波段数： 256 ×15×15×35的三维特 征图采用15 ×15×1的3D卷积核转换为尺寸 为35的一维特 征； 所述1D‑CNN阶段， 采用连续的尺寸为3 的一维卷积核提取深度光谱特征， 得到512 ×17 的一维特征， 再基于均值池化对提取 的高级抽象特征进行压缩和聚合， 得到表示能力更强 的特征， 维度为512 ×1， 最后通过全 连接层输出模 型预测值， 与未级 联1D‑CNN的最佳多尺度 3D‑CNN网络相比， 该模型的参数量下降约3 5.83%。 10.根据权利要求1所述的基于多尺度级联卷积神经网络的叶片高光谱 图像分类和回 归方法， 其特征在于， S5 所述基准1D ‑CNN、 基准2D ‑CNN、 基准3D ‑CNN、 多尺度3D ‑CNN包括卷积 层、 批归一 化层、 ReLU非线性激活层、 均值池化层和全连接层； 所述基准1D ‑CNN是基于残差网络框架 ResNet的一维卷积神经网络， 在光谱维度上进行 特征提取；权　利　要　求　书 2/3 页 3 CN 114821321 A 3