(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210535572.4 (22)申请日 2022.05.17 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 于跃　王硕　张金柱　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 陈晶 (51)Int.Cl. G08G 1/0967(2006.01) G08B 21/02(2006.01) H04N 5/76(2006.01) G10L 15/02(2006.01) G10L 15/08(2006.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 20/58(2022.01) (54)发明名称 一种防止公交司机或乘客异常造成车辆失 控的自动驾驶方法及系统 (57)摘要 本发明公开了一种防止公交司机或乘客异 常造成车辆失控的自动驾驶方法及系统， 属于城 市交通控制技术领域， 其中， 该方法包括： 提取和 分类公交车中的录像、 音频资料， 得到异常图像 特征集和异常声音特征集； 通过云端处理两个异 常特征集以编辑报警和急救话术并进行保存； 通 过云端判断当前公交车是否存在异常， 若异常则 开启自动驾驶， 并选择最佳停靠点停靠， 同时匹 配报警和急救话术中最佳话术， 最后自动报警、 呼叫急救中心以及开启区域喇叭寻求医生帮助。 该方法通过车内视频和声音对比感知车内情况， 判断是否出现司机突发急症或乘客抢夺方向盘 等异常情况， 进而由自动驾驶接手车辆控制权并 及时停靠及联网报警， 确保司机和乘客的安全， 且成本低、 易推广。 权利要求书2页 说明书9页 附图4页 CN 115100892 A 2022.09.23 CN 115100892 A 1.一种防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其特征在于， 包括以 下步骤： 步骤S1， 提取和分类公交车中的录像资料和音频资料， 得到异常图像特征集和异常声 音特征集； 步骤S2， 通过所述云端处理所述异常图像特征集和所述异常声音特征集， 以编辑报警 和急救话 术并进行保存； 步骤S3， 通过所述云端判断当前公交车是否存在异常以及实际异常场景， 若存在， 则开 启自动驾驶， 并选择最佳停靠点停靠， 同时根据所述实际异常场景整合所述报警和急救话 术中最佳话术， 并以所述最佳话术自动报警、 呼叫急救中心以及开启区域喇叭寻求医生帮 助。 2.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 步骤S1具体包括： 步骤S101， 通过 大数据收集预设数量公交车的所述录像资料和所述音频资料； 步骤S102， 通过深度学习将所述录像资料拆分成不同图像个数的连续 图像， 并对其进 行场景标注， 同时将其划分为 不同的音频片段， 同样进行场景 标注； 步骤S103， 分别对场景标注后的连续 图像和音频片段进行特征提取和分类， 得到所述 异常图像特 征集和异常声 音特征集， 并将其存 储至云端。 3.根据权利要求2所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 所述 公交车异常图像特征集包括 公交车司机表情异常场景、 动作 异常场景、 乘 客 动作异常场景， 所述乘客动作异常包括病理性异常和乘客行为异常。 4.根据权利要求2所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 所述异常声音 特征集包括 公交车司机语音语调异常场景和司机与 乘客争吵语音 语调异常场景。 5.根据权利要求2所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 所述 步骤S102还 包括： 将所提取到的不同音频片段进行k ‑means聚类， 构建音频 特征词汇词典； 提取每一个音频片段的特征， 并计算出每个特征的出现频率， 再对标注同样异常场景 的音频片段进行整合， 得到专属某 异常场景的特 征集； 当所述云端中上传新音配资料， 在所述云端裁成同样大小的音频片段， 并用现有的特 征集对其进 行表示， 通过特征匹配， 得出当前上传录音 是否属于异常场景， 并将结果反馈给 所述云端， 同时进行异常场景 标注， 并进行 特征提取和分类， 更新现有异常声 音特征集。 6.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 所述报警和急救话术包括时间、 地点信息、 所述异常图像特征集任一项或所述异 常声音特征集任一项， 其中， 通过 所述云端实时接收GNS S天线传输的时间和经纬度信息 。 7.根据权利要求1所述的防止公交司机或乘客异常造成车辆失控的自动驾驶方法， 其 特征在于， 所述 步骤S3具体为： 步骤S301， 当当前公交车出现所述异常图像特征集任一项或所述异常声音特征集任一 项时， 则将当前公交车上传录音或录像进行提取特征， 并其与所述异常图像特征集任一项 和所述异常声音特征集任一项相匹配， 匹配度超过预设阈值时， 则 当前公交车存在异常且权　利　要　求　书 1/2 页 2 CN 115100892 A 2属于公交车司机表情异常场景、 动作异常场景、 乘客动作 异常场景、 公交车司机语音语调异 常场景和司机和乘客争吵语音语调异常场景任一项， 反 之不存在； 步骤S302， 若存在， 则开启自动驾驶， 将周围路侧单元共享的V2X地图信息、 周围车辆提 供的V2X信息及联网所得的地图信息整合， 选择地图中最佳且尽可能不影响其它 车辆行驶 的最佳停靠点； 步骤S303， 根据所述停靠点计算最佳行驶路线及所用速度， 并以所述最佳行驶路线以 及所用速度下发指令自动驾驶接管当前公交车， 将其停靠 至所述最佳停靠点。 8.一种防止公交司机或乘客异常造成车辆失控的自动驾驶系统， 其特 征在于， 包括： 提取和分类模块， 用于提取和分类公交车中的录像资料和音频资料， 得到异常图像特 征集和异常声 音特征集； 编辑话术模块， 用于通过所述云端处理所述异常图像特征集和所述异常声音特征集， 以编辑报警和急救话 术并进行保存； 异常判断及报 警模块， 用于通过所述云端判断当前公交车是否存在异常以及实际异常 场景， 若存在， 则开启自动驾驶， 并选择最佳停靠点停靠， 同时根据所述实际异常场景整合 所述报警和急救话术中最佳话术， 并以所述最佳话术自动报警、 呼叫急救中心以及开启区 域喇叭寻 求医生帮助。 9.一种防止公交司机或乘客异常造成车辆失控的自动驾驶电子设备， 其特征在于， 包 括存储器、 处理器及存储在存储器上并可在处理器上运行 的计算机程序， 所述处理器执行 所述计算机程序时， 实现如权利要求1 ‑7中任一所述的防止公交司机或乘客异常造成车辆 失控的自动驾驶方法。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计 算机程序被处理器执行时实现如权利要求 1‑7中任一所述的防止公交司机或乘客异常造成 车辆失控的自动驾驶方法。权　利　要　求　书 2/2 页 3 CN 115100892 A 3