(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210233830.3 (22)申请日 2022.03.10 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 刘斌　张宁　吴聪　周皓　王忠建　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 王忠良 (51)Int.Cl. G06V 20/40(2022.01) G06T 7/80(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) (54)发明名称 基于场景几何约束和深度学习的小鼠特征 行为分析方法 (57)摘要 一种基于场景几何约束和深度学习的实验 小鼠特征行为分析方法， 属于机器视觉技术领 域， 包括配置标志物， 提取场景信息， 构造 结构化 的场景空间； 采集小鼠视频数据， 创建数据集； 以 语义塑型点， 构建小鼠语义姿态模型； 选取深度 神经网络， 进行训练和学习， 提取小鼠语义塑像 点的动态信息； 基于视图几何原理， 将视频图像 的小鼠语义塑型点映射到 现实场景下， 实现塑型 点的回归定位； 利用密度聚类算法分析回归定位 的塑型点， 锁定关键的序列帧； 在不同平面空间 下， 以场几何约束条件， 分析行为的特征和差异 性。 最终， 通过结构化的空间场景， 建立场景几何 约束条件， 将复杂、 高维的行为变成低维的物理 量， 对实验小鼠的行为实现无干扰的细粒度识别 和量化分析。 权利要求书2页 说明书10页 附图4页 CN 114724057 A 2022.07.08 CN 114724057 A 1.一种基于场景几何约束和深度 学习的小鼠特征行为分析方法， 其特征在于包括以下 步骤： S1、 分析场景 特征， 提取场景信息， 辅助虚拟标志 物， 构造场景空间； S2、 采集小鼠运动的视频数据， 创建数据集， 分析小鼠的语义塑型点， 构建小鼠语义姿 态模型； S3、 选取深度神经网络， 并用数据集进行 学习训练， 提取小鼠语义塑像点的动态信息； S4、 基于计算机视觉单视图射影几何原理， 将视频序列图像平面中的实验小鼠语义塑 型点映射到现实场景 下， 实现塑型点在真实场景中的回归定位； S5、 利用密集度聚类算法对回归定位的塑型点进行聚类分析， 锁定关键运动行为的子 序列帧； S6、 针对关键的行为序列帧， 明确不同空间平面内塑型点的位置信息， 利用场景几何约 束， 对不同平面内塑型点的位置信息进行分析， 突出不同空间内塑型点与场景结构间的关 联性以及塑型点间的几何特性， 并针对其特征和差异性进行分析， 确定特征行为并进行量 化分析； S7、 利用上述的研究方法， 在平面图像与现实场景中， 建立强几何单应性约束， 定性分 析塑型点在不同平 面间的转换， 突出不同塑型点变化的差异 性， 确定直立行为， 并对行为 发 生的时刻、 时长、 频次等行为 参数进行量 化分析。 2.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S1具体为分析和提取实验旷场本身的内在结构信息； 编码标志物， 创 建虚拟的结构特 征， 使其可以叠加在真实场景中。 3.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S2具体为在场景结构化的基础上， 调整相机指标， 校正去畸变， 采集小 鼠视频； 基于混合高斯模型 的背景差法， 将前景和背景分离， 利用分割算法， 制备小鼠的数 据集； 分析小鼠的运动特性， 用语义塑型点代替身体部位， 构建小鼠的语义姿态模型。 4.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S3具体为： 对比和分析啮齿类动物跟踪模型的网络结构和性能， 选用 深度神经网络模型Deeplabcut， 并利用子图数据集对网络模型进行训练和学习， 将训练好 的模型用于预测小鼠语义塑型点的位置， 提取小鼠语义塑像点的动态信息 。 5.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S4具体为： 基于计算机视觉单视图射影几何原理， 将视频序列图像平 面中的实验小鼠语义塑型点映射到现实场景下， 将2D图像平面内的塑型点， 通过反向射影 变换， 映射到 3D空间内， 实现塑型点的回归定位， 在3D空间内重现塑像点的运动信息 。 6.根据权利要求5所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 所述反向投影变换包括： 首先， 在相机标定中， 确定相机的内参和 外参， 使 真实场景中的定位点和图像中的定位点一一对应， 确定相机的投影矩阵P； 射影矩阵P， 通常 是一个3×4的矩阵， 一般有1 1个自由度， 公式如下： sx＝PX＝K[R,t]X＝[ P1,P2,P3,P4]X 式中s是一个标量， X表示第i个定位点在空间中的实际位置， x表示第i个场景定位点在 像素坐标系上的位置， Pi表示投影矩阵的第i列；权　利　要　求　书 1/2 页 2 CN 114724057 A 2其次， 根据投影矩阵P， 在针孔摄像机模型下， 塑像点在图像平面的坐标仅仅和图像坐 标系的选择有关和 世界坐标系无关， 所以建立以实验所用旷场底面π为世界坐标系的o ‑xy 平面， 塑型点在此平面上的Z轴坐标为 零， 由此推算出以下公式： (x y 1)T表示图像平面内的塑型点齐次式坐标， (X  Y 0 1)T表示现实场景中塑型点在 旷场地面上的齐次式坐标,hij表示H矩阵的第i行j列,则上式可简写成x＝HX， H是一个3 ×3 的非奇异的齐次矩阵， 具有8个自由度； 一旦图像平面和 世界平面的单应矩阵被确定， 像点 就可以通过H‑1反向映射 为世界平面上的一 点， 实现塑像点在真实场景中的回归定位。 7.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S5具体包括： 利用基于密度聚类的DBS CAN算法对空间内的塑型点的运 动信息进行聚类分析， 统计各点间的紧密程度， 划分为不同的类别， 对聚类的结果进行分 析， 锁定不同类别对应的不同序列， 对序列进行筛 选， 最后抽取 出关键的运动子图序列。 8.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S6包括： 根据小鼠的运动特性和所处场景内的几何特性， 包括利用塑 型点与空间内点线面存在的几何约束关系、 与场景结构空间的消失线、 消失点间的约束关 系和塑型点间的交比等几何约束关系， 明确塑型点在不同空间下与场景几何约束存在的关 系， 使塑型点改变的物理意 义更明显， 度量塑型点的差异性。 9.根据权利要求1所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 步骤S7具体为： 在场景几何中以单应性矩阵建立2D像素平 面和小鼠爬行平 面的强几何单应性约束； 使塑型点经过平面间的映射， 强调动态物理量变化参数， 突出其差 异性； 所述建立组合识别条件， 包括计算2D和3D空间内的塑型点组成的形体向量， 分析同一 帧在场景几何约束下， 根据不同平面内形体 向量间大小和方向变化的差异性， 作为判据条 件； 针对不同的判别条件， 设置限定阈值， 并进行双调查找分析， 是否符合判据条件趋势变 化， 作为预判定行为的存在， 最后经过组合特判别条件的分析， 确定为直立行为序列， 并记 录序列存在的时长和所处的时间节点。 10.根据权利要求9所述的一种基于场景几何约束和深度学习的小鼠特征行为分析方 法， 其特征在于： 所述计算2D和3D空间内的塑型点组成的形体向量， 分析同一帧在场景几何 约束下， 塑型点经过映射， 不同空间内塑型点组成的形体向量模长的差异性， 包括： 计算2D 空间内鼻尖和尾根的两个塑型点组成的形体向量为 3D空间内鼻尖和尾根的两个回归定 位塑型点组成的向 量为 计算同 一帧 在不同空间内向 量的 模长 ， 比 率为 ： 基准向量包括以关键 子序列首帧的前一帧的两个塑型点的向量。权　利　要　求　书 2/2 页 3 CN 114724057 A 3