首页 / 专利分类库 / 信号装置 / 一种用于车辆哨兵模式的异常情况监测方法及车辆

一种用于车辆哨兵模式的异常情况监测方法及车辆

申请号 CN202311870971.7 申请日 2023-12-29 公开(公告)号 CN117935454A 公开(公告)日 2024-04-26
申请人 浙江吉利控股集团有限公司; 吉利汽车研究院(宁波)有限公司; 发明人 李阳; 楚明扬; 朱洋; 赵晨旭; 韦邕; 周彬; 张剑;
摘要 本 发明 提供了一种用于车辆哨兵模式的异常情况监测方法及车辆,涉及车辆技术领域。该方法包括:当车辆处于哨兵模式时,通过所述车辆四周的 图像采集 机构采集关于所述车辆周围环境的第一图像信息;根据连续时间采集到的多个所述第一图像信息,对进入所述车辆周围的预设报警区域内的移动物体进行 位置 追踪;当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警。本发明提升了车辆哨兵模式对异常情况监测、报警的准确性、及时性,有效提高了车辆的安全性。
权利要求

1.一种用于车辆哨兵模式的异常情况监测方法,其特征在于,包括:
当车辆处于哨兵模式时,通过所述车辆四周的图像采集机构采集关于所述车辆周围环境的第一图像信息;
根据连续时间采集到的多个所述第一图像信息,对进入所述车辆周围的预设报警区域内的移动物体进行位置追踪;
当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警。
2.如权利要求1所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述根据连续时间采集到的多个所述第一图像信息,对进入所述车辆周围的预设报警区域内的移动物体进行位置追踪包括:
根据连续时间采集到的多个所述第一图像信息,基于预设模型,分别对多个所述第一图像信息中进入所述预设报警区域内的所述移动物体进行相同物体检测和不同物体检测。
3.如权利要求1或2所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述当车辆处于哨兵模式时,通过所述车辆四周的图像采集机构采集关于所述车辆周围环境的第一图像信息包括:
当所述车辆处于所述哨兵模式时,通过所述车辆四周的所述图像采集机构采集关于所述车辆前侧的第一图像、关于所述车辆左侧的第二图像、关于所述车辆后侧的第三图像以及关于所述车辆右侧的第四图像;
拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息。
4.如权利要求3所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息包括:
当所述第一图像和所述第三图像均与所述第二图像和所述第四图像存在重叠部分时,将所述第一图像、所述第二图像、所述第三图像和所述第四图像拼接为关于所述车辆周围环境的全景环视图像的所述第一图像信息。
5.如权利要求3所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息包括:
当所述第一图像、所述第三图像与所述第二图像不存在重叠部分时,和/或,当所述第一图像、所述第三图像与所述第四图像不存在重叠部分时,将所述第一图像、所述第二图像、所述第三图像和所述第四图像以四宫格形式进行拼接,得到所述第一图像信息。
6.如权利要求2所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述根据连续时间采集到的多个所述第一图像信息,基于预设模型,分别对多个所述第一图像信息中进入所述预设报警区域内的所述移动物体进行相同物体检测和不同物体检测包括:
确定所述第一图像信息中的预设报警区域边界并在所述第一图像信息中画出,得到第二图像信息;
依时间顺序将连续的多所述第二图像信息输入多模态大语言模型,并提示所述多模态大语言模型对连续的多帧所述第二图像信息进行所述预设报警区域边界内的相同物体检测和不同物体检测。
7.如权利要求6所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述依时间顺序将连续的多帧所述第二图像信息输入多模态大语言模型,并提示所述多模态大语言模型对连续的多帧所述第二图像信息进行所述预设报警区域边界内的相同物体检测和不同物体检测包括:
步骤221、将连续的第一帧第二图像信息和第二帧第二图像信息输入所述多模态大语言模型;
步骤222、提示所述多模态大语言模型对所述第一帧第二图像信息和所述第二帧第二图像信息进行移动物体目标检测,确定所述第一帧第二图像信息和所述第二帧第二图像信息的包含检测得到的移动物体图像的目标检测框,并确定各所述目标检测框所在帧的所述第二图像信息的时间戳;
步骤223、提示所述多模态大语言模型对所述第一帧第二图像信息和所述第二帧第二图像信息中的各所述目标检测框进行位置确定,以确定位于所述预设报警区域边界内外的各所述目标检测框;
步骤224、提示所述多模态大语言模型对所述第二帧第二图像信息和所述第一帧第二图像信息中的各所述目标检测框进行匹配,确定所述第二帧第二图像信息和所述第一帧第二图像信息中相同所述移动物体对应的所述目标检测框和不同所述移动物体对应的所述目标检测框;
步骤225、将时间顺序上靠后并与所述第二帧第二图像信息连续的第三帧第二图像信息输入所述多模态大语言模型;
步骤226、提示所述多模态大语言模型对所述第三帧第二图像信息进行所述移动物体目标检测,确定所述第三帧第二图像信息的包含检测得到的移动物体图像的所述目标检测框,并确定各所述目标检测框所在帧的所述第二图像信息的时间戳;
步骤227、提示所述多模态大语言模型对所述第三帧第二图像信息中的各所述目标检测框进行位置确定,以确定位于所述预设报警区域边界内外的各所述目标检测框;
步骤228、提示所述多模态大语言模型将所述第三帧第二图像信息中的各所述目标检测框与所述第二帧第二图像信息中的各所述目标检测框进行匹配,确定所述第三帧第二图像信息和所述第二帧第二图像信息中相同所述移动物体对应的所述目标检测框和不同所述移动物体对应的所述目标检测框;
步骤229、将时间顺序上靠后并与所述第三帧第二图像信息连续的第四帧第二图像信息作为步骤225中的所述第三帧第二图像信息,重复步骤225至步骤229;
所述当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警包括:
根据连续多帧所述第二图像信息中相同所述移动物体对应的所述目标检测框及所述目标检测框所在帧的所述第二图像信息的时间戳,确定同一所述移动物体对应的所述目标检测框位于所述预设报警区域边界内的停留时长;
当所述停留时长超过所述第一预设时长时,控制所述车辆进行所述异常情况报警。
8.如权利要求7所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,确定相应帧第二图像信息的包含检测得到的移动物体图像的目标检测框包括:
基于所述多模态大语言模型,确定相应帧所述第二图像信息的包含检测得到的所述移动物体图像的所有所述目标检测框中对应相同所述移动物体的不同所述目标检测框;
对相应帧第二图像信息中的各所述目标检测框进行位置确定包括:
当相应帧所述第二图像信息中存在相同所述移动物体对应不同所述目标检测框时,根据相同所述移动物体对应的不同所述目标检测框所在位置确定所述移动物体的唯一位置。
9.如权利要求1或2所述的用于车辆哨兵模式的异常情况监测方法,其特征在于,所述预设报警区域包括围绕所述车辆设置的一级报警区域以及围绕所述一级报警区域设置的二级报警区域;所述当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警包括:
当存在同一所述移动物体在所述一级报警区域内的所述停留时长超过所述第一预设时长时,控制所述车辆进行第一异常情况报警;当存在同一所述移动物体在所述二级报警区域内的所述停留时长超过第二预设时长时,控制车辆进行第二异常情况报警;
和/或,所述用于车辆哨兵模式的异常情况监测方法还包括:
对于在所述预设报警区域内的所述停留时长未超过所述第一预设时长的涉及敏感信息的所述移动物体,基于预设模型对所述敏感信息进行脱敏处理。
10.一种车辆,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当处理器执行计算机程序时,实现如权利要求1‑9中任一项所述的用于车辆哨兵模式的异常情况监测方法。

说明书全文

一种用于车辆哨兵模式的异常情况监测方法及车辆

技术领域

[0001] 本发明涉及车辆技术领域,具体而言,涉及一种用于车辆哨兵模式的异常情况监测方法及车辆。

背景技术

[0002] 对于车辆的哨兵模式,其是在车辆的停泊状态下,通过车辆的相应摄像头来实时监控车辆周围情况等,起到保障车辆安全的作用。
[0003] 现有技术中,哨兵模式一般在有活动物体靠近车辆附近预设距离且停留时长超过预设值时,则发出异常情况报警,但其容易发生误判的情况。例如,当摄像头图像内存在多个活动物体时,哨兵模式容易混淆不同的活动物体,从而无法准确确定相应活动物体的停留时长,因此可能造成相应的误判而引发误报警,会对车主造成一些不便和困扰。

发明内容

[0004] 本发明解决的问题是:如何提升车辆哨兵模式对异常情况监测的准确性。
[0005] 为解决上述问题,本发明提供一种用于车辆哨兵模式的异常情况监测方法,包括:
[0006] 当车辆处于哨兵模式时,通过所述车辆四周的图像采集机构采集关于所述车辆周围环境的第一图像信息;
[0007] 根据连续时间采集到的多个所述第一图像信息,对进入所述车辆周围的预设报警区域内的移动物体进行位置追踪;
[0008] 当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警。
[0009] 可选地,所述根据连续时间采集到的多个所述第一图像信息,对进入所述车辆周围的预设报警区域内的移动物体进行位置追踪包括:
[0010] 根据连续时间采集到的多个所述第一图像信息,基于预设模型,分别对多个所述第一图像信息中进入所述预设报警区域内的所述移动物体进行相同物体检测和不同物体检测。
[0011] 可选地,所述当车辆处于哨兵模式时,通过所述车辆四周的图像采集机构采集关于所述车辆周围环境的第一图像信息包括:
[0012] 当所述车辆处于所述哨兵模式时,通过所述车辆四周的所述图像采集机构采集关于所述车辆前侧的第一图像、关于所述车辆左侧的第二图像、关于所述车辆后侧的第三图像以及关于所述车辆右侧的第四图像;
[0013] 拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息。
[0014] 可选地,所述拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息包括:
[0015] 当所述第一图像和所述第三图像均与所述第二图像和所述第四图像存在重叠部分时,将所述第一图像、所述第二图像、所述第三图像和所述第四图像拼接为关于所述车辆周围环境的全景环视图像的所述第一图像信息。
[0016] 可选地,所述拼接所述第一图像、所述第二图像、所述第三图像和所述第四图像,得到所述第一图像信息包括:
[0017] 当所述第一图像、所述第三图像与所述第二图像不存在重叠部分时,和/或,当所述第一图像、所述第三图像与所述第四图像不存在重叠部分时,将所述第一图像、所述第二图像、所述第三图像和所述第四图像以四宫格形式进行拼接,得到所述第一图像信息。
[0018] 可选地,所述根据连续时间采集到的多个所述第一图像信息,基于预设模型,分别对多个所述第一图像信息中进入所述预设报警区域内的所述移动物体进行相同物体检测和不同物体检测包括:
[0019] 确定所述第一图像信息中的预设报警区域边界并在所述第一图像信息中画出,得到第二图像信息;
[0020] 依时间顺序将连续的多所述第二图像信息输入多模态大语言模型,并提示所述多模态大语言模型对连续的多帧所述第二图像信息进行所述预设报警区域边界内的相同物体检测和不同物体检测。
[0021] 可选地,所述依时间顺序将连续的多帧所述第二图像信息输入多模态大语言模型,并提示所述多模态大语言模型对连续的多帧所述第二图像信息进行所述预设报警区域边界内的相同物体检测和不同物体检测包括:
[0022] 步骤221、将连续的第一帧第二图像信息和第二帧第二图像信息输入所述多模态大语言模型;
[0023] 步骤222、提示所述多模态大语言模型对所述第一帧第二图像信息和所述第二帧第二图像信息进行移动物体目标检测,确定所述第一帧第二图像信息和所述第二帧第二图像信息的包含检测得到的移动物体图像的目标检测框,并确定各所述目标检测框所在帧的所述第二图像信息的时间戳;
[0024] 步骤223、提示所述多模态大语言模型对所述第一帧第二图像信息和所述第二帧第二图像信息中的各所述目标检测框进行位置确定,以确定位于所述预设报警区域边界内外的各所述目标检测框;
[0025] 步骤224、提示所述多模态大语言模型对所述第二帧第二图像信息和所述第一帧第二图像信息中的各所述目标检测框进行匹配,确定所述第二帧第二图像信息和所述第一帧第二图像信息中相同所述移动物体对应的所述目标检测框和不同所述移动物体对应的所述目标检测框;
[0026] 步骤225、将时间顺序上靠后并与所述第二帧第二图像信息连续的第三帧第二图像信息输入所述多模态大语言模型;
[0027] 步骤226、提示所述多模态大语言模型对所述第三帧第二图像信息进行所述移动物体目标检测,确定所述第三帧第二图像信息的包含检测得到的移动物体图像的所述目标检测框,并确定各所述目标检测框所在帧的所述第二图像信息的时间戳;
[0028] 步骤227、提示所述多模态大语言模型对所述第三帧第二图像信息中的各所述目标检测框进行位置确定,以确定位于所述预设报警区域边界内外的各所述目标检测框;
[0029] 步骤228、提示所述多模态大语言模型将所述第三帧第二图像信息中的各所述目标检测框与所述第二帧第二图像信息中的各所述目标检测框进行匹配,确定所述第三帧第二图像信息和所述第二帧第二图像信息中相同所述移动物体对应的所述目标检测框和不同所述移动物体对应的所述目标检测框;
[0030] 步骤229、将时间顺序上靠后并与所述第三帧第二图像信息连续的第四帧第二图像信息作为步骤225中的所述第三帧第二图像信息,重复步骤225至步骤229;
[0031] 所述当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警包括:
[0032] 根据连续多帧所述第二图像信息中相同所述移动物体对应的所述目标检测框及所述目标检测框所在帧的所述第二图像信息的时间戳,确定同一所述移动物体对应的所述目标检测框位于所述预设报警区域边界内的停留时长;
[0033] 当所述停留时长超过所述第一预设时长时,控制所述车辆进行所述异常情况报警。
[0034] 可选地,确定相应帧第二图像信息的包含检测得到的移动物体图像的目标检测框包括:
[0035] 基于所述多模态大语言模型,确定相应帧所述第二图像信息的包含检测得到的所述移动物体图像的所有所述目标检测框中对应相同所述移动物体的不同所述目标检测框;
[0036] 对相应帧第二图像信息中的各所述目标检测框进行位置确定包括:
[0037] 当相应帧所述第二图像信息中存在相同所述移动物体对应不同所述目标检测框时,根据相同所述移动物体对应的不同所述目标检测框所在位置确定所述移动物体的唯一位置。
[0038] 可选地,所述预设报警区域包括围绕所述车辆设置的一级报警区域以及围绕所述一级报警区域设置的二级报警区域;所述当存在同一所述移动物体在所述预设报警区域内停留时长超过第一预设时长时,控制所述车辆进行异常情况报警包括:
[0039] 当存在同一所述移动物体在所述一级报警区域内的所述停留时长超过所述第一预设时长时,控制所述车辆进行第一异常情况报警;当存在同一所述移动物体在所述二级报警区域内的所述停留时长超过第二预设时长时,控制车辆进行第二异常情况报警;
[0040] 和/或,所述用于车辆哨兵模式的异常情况监测方法还包括:
[0041] 对于在所述预设报警区域内的所述停留时长未超过所述第一预设时长的涉及敏感信息的所述移动物体,基于预设模型对所述敏感信息进行脱敏处理。
[0042] 另外,本发明还提供一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当处理器执行计算机程序时,实现如上所述的用于车辆哨兵模式的异常情况监测方法。
[0043] 本发明与现有技术相比,具有以下有益效果:本发明用于车辆哨兵模式下的异常情况监测以及在异常情况发生时进行相应报警,以提升车辆的安全性。具体地,当车辆处于哨兵模式时,通过车辆四周的图像采集机构进行车辆四环境的图像采集,提升了车辆对周围异常情况的感知以及监测全面性;通过对连续时间采集到的不同所述第一图像信息进行预设报警区域内的相应目标(即相应移动物体)检测和追踪,实现了对车辆周围移动物体的准确监测和位置追踪,从而提升了哨兵模式的准确性和实用性。在监测到同一目标在所述预设报警区域内停留时长超过第一预设时长时,及时地控制车辆自动进行异常情况报警,进一步提升了车辆哨兵模式对异常情况监测、报警的准确性、及时性,有效提高了车辆的安全性。附图说明
[0044] 图1为本发明实施例中用于车辆哨兵模式的异常情况监测方法的流程图
[0045] 图2为本发明实施例中步骤100的流程图;
[0046] 图3为本发明实施例中步骤200的流程图;
[0047] 图4为本发明实施例中步骤220的流程图;
[0048] 图5为本发明实施例中第二图像信息的示意图。

具体实施方式

[0049] 为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
[0050] 需要说明的是,本发明的说明书权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0051] 结合图1所示,本发明实施例提供一种用于车辆哨兵模式的异常情况监测方法,包括以下步骤:
[0052] 步骤100、当车辆处于哨兵模式时,通过车辆四周的图像采集机构采集关于车辆周围环境的第一图像信息。
[0053] 具体地,当车辆处于哨兵模式时,通过车辆四周的用于采集图像信息的图像采集机构(如环视摄像头等)实时采集关于车辆周围环境的图像信息(记为第一图像信息),如通过车辆的设置在车辆车身前侧、车身后侧、车身左侧和车身右侧的相应图像采集机构来实时采集车辆周围环境的第一图像信息,以便及时发现相应异常情况以及对异常情况进行记录和处理(如报警等)。
[0054] 步骤200、根据连续时间采集到的多个第一图像信息,对进入车辆周围的预设报警区域内的移动物体进行位置追踪。
[0055] 具体地,利用连续时间内采集到的多个第一图像信息,即连续时间内通过图像采集机构采集到的视频流(或图像序列)的连续帧的第一图像信息,采用相应的目标检测和追踪技术,对进入车辆周围的预设报警区域内的移动物体进行实时位置追踪,以便记录其在预设报警区域内的运动轨迹及停留时长等,以及避免混淆不同的移动物体而造成后续误报警情况等。其中,预设报警区域为车辆一定范围内的区域,可根据实际需求进行设置;由于车辆每侧的图像采集机构所监测的区域不同,可基于车辆每侧的图像采集机构设置相应的预设报警区域。
[0056] 步骤300、当存在同一移动物体在预设报警区域内停留时长超过第一预设时长时,控制车辆进行异常情况报警。
[0057] 具体地,基于步骤200中对进入车辆周围的预设报警区域内的移动物体进行位置追踪,步骤300中,当监测到某个移动物体在预设报警区域内停留时长超过第一预设时长时,认为其停留时长超过安全时长,可能有潜在的对于车辆的险(异常情况),此时则可控制车辆进行异常情况报警,如通过车辆网向车主的移动终端发出报警提醒和/或通过车辆进行声光报警(如通过车辆上的灯组、显示屏显示相应报警信息、通过车辆上的喇叭播放相应报警信息等,以便提醒相应移动物体)等。
[0058] 如此,本方法用于车辆哨兵模式下的异常情况监测以及在异常情况发生时进行相应报警,以提升车辆的安全性。具体地,当车辆处于哨兵模式时,通过车辆四周的图像采集机构进行车辆四环境的图像采集,提升了车辆对周围异常情况的感知能力以及监测全面性;通过对连续时间采集到的不同第一图像信息进行预设报警区域内的相应目标(即相应移动物体)检测和追踪,实现了对车辆周围移动物体的准确监测和位置追踪,从而提升了哨兵模式的准确性和实用性。在监测到同一目标在预设报警区域内停留时长超过第一预设时长时,及时地控制车辆自动进行异常情况报警,进一步提升了车辆哨兵模式对异常情况监测、报警的准确性、及时性,有效提高了车辆的安全性。
[0059] 可选地,步骤200包括:
[0060] 根据连续时间采集到的多个第一图像信息,基于预设模型,分别对多个第一图像信息中进入预设报警区域内的移动物体进行相同物体检测和不同物体检测。
[0061] 多模态大语言模型(或视觉大语言模型)是一种能够处理和融合多种不同类型数据(例如文本、图像、语音等)的机器学习模型;其旨在利用不同模态之间的关联性和互补性,提供更全面、更准确的信息表示和分析。本实施例中,通过采用多模态大语言模型(或视觉大语言模型)作为预设模型,以利用多模态大语言模型的通用视觉能力和常识理解推理能力等,实现对连续时间采集到的不同第一图像信息中进入预设报警区域内的移动物体进行相同物体检测和不同物体检测。其中,对于相同物体检测,即通过模型识别和追踪在不同时间点对应的不同第一图像信息中出现在预设报警区域内的相同移动物体,实现预设报警区域内同一移动物体的持续追踪。对于不同物体检测,即通过模型识别在相同时间点和不同时间点对应的第一图像信息中进入预设报警区域的不同移动物体,以避免混淆不同的移动物体,防止因多个移动物体同时存在而导致的误报情况,提升车辆哨兵模式对异常情况监测、报警的准确性。
[0062] 可选地,结合图1、图2所示,步骤100包括:
[0063] 步骤110、当车辆处于哨兵模式时,通过车辆四周的图像采集机构采集关于车辆前侧的第一图像、关于车辆左侧的第二图像、关于车辆后侧的第三图像以及关于车辆右侧的第四图像;
[0064] 步骤120、拼接第一图像、第二图像、第三图像和第四图像,得到第一图像信息。
[0065] 具体地,为便于步骤200中基于预设模型(如多模态大语言模型),对不同第一图像信息中进入预设报警区域内的移动物体进行相同物体检测和不同物体检测,优选将通过车辆四周的图像采集机构采集关于车辆前侧、左侧、后侧和右侧的四个不同度的图像,即第一图像、第二图像、第三图像和第四图像,进行相应拼接,得到单幅的第一图像信息。如此,相对于处理多幅图像,降低相应的数据量和计算复杂度,有助于提高处理效率;且通过拼接,获得的单幅图像提供了整个车辆周围环境的四个方位的视图,有助于提高图像中物体的语境一致性,使得对于进入预设报警区域的移动物体的检测更具准确性和完整性,为多模态大语言模型的采用提供了相应便利。
[0066] 可选地,步骤120包括:
[0067] 当第一图像和第三图像均与第二图像和第四图像存在重叠部分时,将第一图像、第二图像、第三图像和第四图像拼接为关于车辆周围环境的全景环视图像的第一图像信息。
[0068] 具体地,当步骤110得到的第一图像和第三图像均与第二图像和第四图像存在重叠部分时,可将这四种图像拼接在一起得到关于车辆周围环境的全景环视图像的第一图像信息。如此,通过生成关于车辆周围环境的全景环视图像的第一图像信息,以单幅图像实现车辆某一时刻的周围环境的全方位监测,提供了一个综合的、360度的视角,有助于更全面地感知车辆周围的情境,从而提高车辆哨兵模式对潜在风险或异常情况的感知能力,且在将关于车辆周围环境的全景环视图像的第一图像信息进行记录和存储时,能够为相关人员后续查看监控图像或视频提供更为直观的视觉呈现。另外,通过将第一图像、第二图像、第三图像和第四图像融合成关于车辆周围环境的全景环视图像的第一图像信息,减少了图像的整体数量,有助于降低计算复杂度,提高相应处理系统的实时性和响应速度等。
[0069] 相应地,步骤200中,则是基于关于车辆周围环境的全景环视图像的第一图像信息进行预设报警区域内的移动物体进行位置追踪。如此,步骤100生成的关于车辆周围环境的全景环视图像的第一图像信息更加便于实现对在车辆周围运动的移动物体进行连续追踪;通过在连续时间采集到的不同的关于车辆周围环境的全景环视图像的第一图像信息中进行目标检测和追踪,还能够更准确地记录移动物体的位置、运动轨迹等信息,有助于避免对不同移动物体的混淆,提高了监测和报警的可靠性和准确性。
[0070] 可选地,步骤120包括:
[0071] 当第一图像、第三图像与第二图像不存在重叠部分时,和/或,当第一图像、第三图像与第四图像不存在重叠部分时,将第一图像、第二图像、第三图像和第四图像以四宫格形式进行拼接,得到第一图像信息。
[0072] 具体地,在第一图像、第三图像与第二图像不存在重叠部分时,和/或,当第一图像、第三图像与第四图像不存在重叠部分时,例如,对于将用于采集第二图像、第四图像的图像采集机构分别设置在左后视镜、右外后视镜上的车辆(如设置在后视镜下方),若车主选择在车辆停泊状态时将车辆的外后视镜收回,会导致安装在外后视镜上的图像采集机构位置发生变化,可能使得图像采集机构无法覆盖车辆四周全部视角,如在车辆左前和右前等区域出现盲区,无法得到相应的全景环视图像,此时,则可将第一图像、第二图像、第三图像和第四图像以四宫格形式进行拼接,得到相应的单幅第一图像信息,便于本方法后续通过多模态大语言模型基于该第一图像信息进行相同物体检测和不同物体检测等,实现多个图像采集机构采集图像之间的目标追踪。
[0073] 可选地,结合图1、图3和图5所示,根据连续时间采集到的多个第一图像信息,基于预设模型,分别对多个第一图像信息中进入预设报警区域内的移动物体进行相同物体检测和不同物体检测包括:
[0074] 步骤210、确定第一图像信息中的预设报警区域边界并在第一图像信息中画出,得到第二图像信息;
[0075] 步骤220、依时间顺序将连续的多帧第二图像信息输入多模态大语言模型,并提示多模态大语言模型对连续的多帧第二图像信息进行预设报警区域边界内的相同物体检测和不同物体检测。
[0076] 具体地,通过步骤210,在第一图像信息中确定预设报警区域的范围并画出预设报警区域边界(或预设报警区域边界线),得到第二图像信息,便于后续多模态大语言模型处理第二图像信息时准确识别预设报警区域边界。示例性地,结合图5所示,对于将第一图像、第二图像、第三图像和第四图像以四宫格形式进行拼接得到的第一图像信息,在其中的第一图像、第二图像、第三图像和第四图像中均画出相应的预设报警区域边界,如图5中位于第一图像、第二图像、第三图像和第四图像中的弧线,弧线以下的区域即为每个图像对应的预设报警区域内部(或预设报警区域边界内部),弧线以上的区域即为每个图像对应的预设报警区域外部(或预设报警区域边界外部)。通过步骤220,依时间先后顺序将连续的不同帧第二图像信息输入多模态大语言模型,以便实现相应移动物体的持续追踪以及准确获取移动物体的相应停留时长等。而且,基于多模态大语言模型可以综合处理不同感知模态的信息的特性,通过对多模态大语言模型进行图像处理的提示,提高了本方法对图像中复杂场景的理解能力与处理能力。
[0077] 可选地,结合图3、图4和图5所示,步骤220包括:
[0078] 步骤221、将连续的第一帧第二图像信息和第二帧第二图像信息输入多模态大语言模型。
[0079] 具体地,将时间上连续的第一帧第二图像信息和第二帧第二图像信息输入多模态大语言模型,以便多模态大语言模型捕捉到随时间变化而发生位置变化的移动物体。
[0080] 步骤222、提示多模态大语言模型对第一帧第二图像信息和第二帧第二图像信息进行移动物体目标检测,确定第一帧第二图像信息和第二帧第二图像信息的包含检测得到的移动物体图像的目标检测框,并确定各目标检测框所在帧的第二图像信息的时间戳。
[0081] 具体地,提示多模态大语言模型对第一帧和第二帧第二图像信息进行移动物体目标检测,即检测随时间变化而发生位置变化的移动物体,并以目标检测框的形式框选移动物体,便于确定移动物体的正确位置;同时确定各目标检测框所在帧的第二图像信息的时间戳,便于后续确定相应移动物体的相应停留时长等。
[0082] 步骤223、提示多模态大语言模型对第一帧第二图像信息和第二帧第二图像信息中的各目标检测框进行位置确定,以确定位于预设报警区域边界内外的各目标检测框。
[0083] 具体地,通过提示多模态大语言模型对第一帧和第二帧中的目标检测框进行位置确定,以确定其是否位于预设报警区域边界内,便于后续确定停留在预设报警区域边界内的移动物体的停留时长。
[0084] 步骤224、提示多模态大语言模型对第二帧第二图像信息和第一帧第二图像信息中的各目标检测框进行匹配,确定第二帧第二图像信息和第一帧第二图像信息中相同移动物体对应的目标检测框和不同移动物体对应的目标检测框。
[0085] 具体地,提示多模态大语言模型对第二帧第二图像信息和第一帧中第二图像信息的各目标检测框进行匹配,以确定第二帧第二图像信息和第一帧中第二图像信息中的相同移动物体和不同移动物体,建立起不同帧第二图像信息之间的移动物体对应关系,便于实现相应目标的持续跟踪
[0086] 步骤225、将时间顺序上靠后并与第二帧第二图像信息连续的第三帧第二图像信息输入多模态大语言模型;
[0087] 步骤226、提示多模态大语言模型对第三帧第二图像信息进行移动物体目标检测,确定第三帧第二图像信息的包含检测得到的移动物体图像的目标检测框,并确定各目标检测框所在帧的第二图像信息的时间戳;
[0088] 步骤227、提示多模态大语言模型对第三帧第二图像信息中的各目标检测框进行位置确定,以确定位于预设报警区域边界内外的各目标检测框;
[0089] 步骤228、提示多模态大语言模型将第三帧第二图像信息中的各目标检测框与第二帧第二图像信息中的各目标检测框进行匹配,确定第三帧第二图像信息和第二帧第二图像信息中相同移动物体对应的目标检测框和不同移动物体对应的目标检测框;
[0090] 步骤229、将时间顺序上靠后并与第三帧第二图像信息连续的第四帧第二图像信息作为步骤225中的第三帧第二图像信息,重复步骤225至步骤229。
[0091] 具体地,重复步骤225至步骤229,将时间顺序上靠后的相应帧第二图像信息依次输入多模态大语言模型进行处理,以确定各帧第二图像信息的包含检测得到的移动物体图像的目标检测框及对应时间戳,并将得到的目标检测框与在线完成处理的相应帧第二图像信息中的目标检测框进行匹配,以及对得到的目标检测框进行位置确定等,如此重复循环,以实现车辆哨兵模式下的实时采集图像信息处理,保证能够及时且准确地发现相应异常情况等。值得说明的是,在步骤229中,将时间顺序上靠后并与第三帧第二图像信息连续的第四帧第二图像信息作为步骤225中的第三帧第二图像信息,重复步骤225至步骤229时,则重新进行的步骤225为将第三帧第二图像信息(即原第四帧第二图像信息)输入多模态大语言模型。
[0092] 为便于理解,下面以移动物体为人体为例进行示例性说明。将前后两帧图像(画完预设报警区域边界)输入视觉大语言模型(多模态大语言模型),并提示模型检测后一帧(即当前帧)图像中的人体目标,输入提示词(引号“”内的内容为输入视觉大语言模型的提示词,未用引号“”的为采取的相应操作)依次为:
[0093] a)“这是第一帧图像”;
[0094] b)输入前一帧图像;
[0095] c)“这是第二帧图像”;
[0096] d)输入第二帧图像;
[0097] e)“你是一个在图片中识别检测不同物体的专家,第二帧图片的宽和高为W和H,请在第二帧图片中依次检测并定位图片中的所有物体目标,如果物体目标属于以下分类:
[0098] [人体,猫,狗],
[0099] 请输出检测框,输出格式如下:
[0100] 目标n:(x1,y1)=(*,*),(x2,y2)=(*,*),
[0101] 其中n为检测到目标的编号,(x1,y1)和(x2,y2)分别为目标检测框的左上和右下的坐标,请将*替换为相应的坐标值”,可以这里将W和H替换为第一图像信息的宽和高,通过提示词中的分类列表方便地增加检测种类;
[0102] 解析视觉大语言模型的相应输出,得到检测出的所有人体检测框,并同时记录人体检测框所在帧的时间戳;
[0103] 匹配第二帧(即当前帧)图像中人体检测框与第一帧(即上一帧)图像中人体检测框是否为同一人(即多摄像头追踪),具体地,依次取出第二帧图像中检测到的所有人体边界框,与第一帧图像中检测到的所有人体边界框分别进行两两对比是否为同一人体,输入视觉大语言模型的提示词为:
[0104] “找到第二帧图像中的矩形区域1,区域1的左右边界坐标为x1和x2,上下边界坐标为y1和y2,找到第一帧图像中的矩形区域2,区域2的左右边界坐标为X1和X2,上下边界坐标为Y1和Y2,请比较区域1中的人体和区域2中人体穿着的种类和颜色、头发的颜色和发型、体型体态特征、皮肤颜色和携带物品等特征并判断区域1中的人体和区域2中的人体是否为同一个人,请给出置信度,置信度为0代表不同人体,置信度为1代表相同人体,输出格式如下:
[0105] 置信度:*,
[0106] 请将*替换为置信度的数值”,这里将(x1,y1,x2,y2)替换为当前取出的人体检测框坐标,将(X1,Y1,X2,Y2)替换为待两两对比的第一帧图像中的人体检测框的坐标;
[0107] 解析视觉大模型的相应输出,并根据预设置信度阈值找到第一帧图像中与第二帧图像中所有人体检测框为同一人的人体检测框,可将其与第二帧图像中的人体检测框合并(同一人体在不同帧图像中对应多个检测框,检测框的时间戳可以不同),即从同一人体在不同帧图像中对应的多个检测框指定一个(实现合并)用于与后续不同帧图像中的相应人体检测框进行匹配,以降低不同帧图像之间目标检测框匹配的运算量,提升运算效率;当不存在上一帧,即当前帧为视频流中第一帧时则不需要进行此步骤;
[0108] 如此,对车辆处于哨兵模式下通过车辆四周的图像采集机构采集得到的关于车辆周围环境的第一图像信息所构成的视频流中,不断重复上面过程,便可得到同一人体在不同帧(即不同时间)的一系列检测框及其对应的时间戳和是否处在预设报警区域边界内的信息,对于所有人体根据其在预设报警区域内停留的时间,按照预设的阈值(即第一预设时长)确定是否需要报警。
[0109] 类似于上述的对于关于移动物体的遇此情况的检测,对于更多样的异常情况,同样可以通过视觉大语言模型的通用视觉能力和常识理解推理能力进行判断,如判断是否处于火灾场景,用于视觉大语言模型输入的相应提示词可为:
[0110] “第一帧图像来自于车辆的图像采集机构,根据第一帧图像你是否认为图像采集机构所在车辆的旁边是否存在易燃易爆物品,如果存在易燃易爆物品,其是否正在起火或有起火风险,请给出置信度,置信度为0代表不存在风险,置信度为1代表存在风险,输出格式如下:
[0111] 置信度:*,
[0112] 请将*替换为置信度的数值”,并通过解析视觉大语言模型输出的相应结果,并根据置信度的预设阈值计算是否需要报警。
[0113] 可选地,步骤300包括:
[0114] 根据连续多帧第二图像信息中相同移动物体对应的目标检测框及目标检测框所在帧的第二图像信息的时间戳,确定同一移动物体对应的目标检测框位于预设报警区域边界内的停留时长;
[0115] 当停留时长超过第一预设时长时,控制车辆进行异常情况报警。
[0116] 具体地,根据连续多帧第二图像信息中相同移动物体对应的目标检测框及目标检测框所在帧的第二图像信息的时间戳,即可确定同一移动物体对应的目标检测框位于预设报警区域边界内的停留时长;如同一移动物体的停留时长超过第一预设时长时,即可控制车辆进行异常情况报警。
[0117] 可选地,对于移动物体的位置确定,还可根据移动物体的关键点进行。下面以移动物体为人体为例进行示例性说明,根据相应帧图像,在该图像内检测所有人体关键点(可使用人体关键点检测模型),如根据人体脚部关键点位置确定人体是否在报警区域内(预设报警区域边界线内),并记录当前帧图像的时间戳;根据人体关键点信息截取人体所在部分的图片;通过多模态大语言模型两两对比当前帧人体图片与之前帧中人体图片是否为同一人体,如果是则合并检测结果,并将当前帧人体图片保存为对应的人体图片(实现不同帧同一人体对应图片的合并,从而在下一帧的人体图片对比时使用);对于相应视频流不断重复上述步骤,即得到同一人体在不同时间是否处于报警区域的信息,根据这些信息并结合预设报警时间阈值(第一预设时长)就可以确定是否需要报警。
[0118] 可选地,在步骤222和步骤226中,进行移动物体目标检测时,还可通过多模态大语言模型对检测的移动物体进行分类,如分类为人体、猫、狗、车辆等。
[0119] 可选地,确定相应帧第二图像信息的包含检测得到的移动物体图像的目标检测框包括:
[0120] 基于多模态大语言模型,确定相应帧第二图像信息的包含检测得到的移动物体图像的所有目标检测框中对应相同移动物体的不同目标检测框。
[0121] 具体地,由于车辆四周的多个图像采集机构(如环视摄像头)可能存在视角重叠,不同的图像采集机构可能看到同一个人体(或其他移动物体),因此,相应帧图像信息中,可能存在对应同一个人体的多个人体检测框(目标检测框)。此时,如在步骤222和步骤226中,可对相应帧图像中检测得到的目标检测框进行两两对比以合并重复,下面以移动物体为人体为例进行示例性说明。依次取出相应帧图像中检测到的人体检测框,分别两两对比取出的人体检测框与剩下的未经对比过人体检测框是否对应为同一个人体,输入视觉大语言模型的提示词为:
[0122] “找到第二帧图像中的矩形区域1,区域1的左右边界坐标为x1和x2,上下边界坐标为y1和y2,找到第二帧图像中的矩形区域2,区域2的左右边界坐标为X1和X2,上下边界坐标为Y1和Y2,请比较区域1中的人体和区域2中人体穿着的种类和颜色、头发的颜色和发型、体型体态特征、皮肤颜色和携带物品等特征并判断区域1中的人体和区域2中的人体是否为同一个人,请给出置信度,置信度为0代表不同人体,置信度为1代表相同人体,输出格式如下:
[0123] 置信度:*,
[0124] 请将*替换为置信度的数值”,这里将(x1,y1,x2,y2)替换为当前取出的人体检测框坐标,将(X1,Y1,X2,Y2)替换为待两两对比的人体检测框的坐标。得到视觉大语言模型的相应输出后,解析视觉大语言模型的输出,并根据预设的置信度阈值(可根据需求进行设置)识别相应帧图像中检测到的重复的人体检测框,对于重复的人体检测框进行合并,即同一个人体对应两个不同的检测框。
[0125] 对相应帧第二图像信息中的各目标检测框进行位置确定包括:
[0126] 当相应帧第二图像信息中存在相同移动物体对应不同目标检测框时,根据相同移动物体对应的不同目标检测框所在位置确定移动物体的唯一位置。
[0127] 具体地,如在步骤223和步骤227中,当相应帧第二图像信息中存在相同移动物体对应不同目标检测框时,对于重复的目标检测框(即同一帧第二图像信息中对应相同移动物体的不同目标检测框)进行合并,之后,依次取出相应帧图像中检测到的合并重复后的所有人体(或其他移动物体)的目标检测框,检测人体是否在边界线内。对于根据相同移动物体对应的不同目标检测框所在位置确定移动物体的唯一位置,下面以移动物体为人体为例进行示例性说明;基于视觉大语言模型,输入视觉大语言模型的提示词为:
[0128] “找到相应帧图像中的矩形区域,矩形区域的左右边界坐标为x1和x2,上下边界坐标为y1和y2,请判断矩形区域内的人体在实际场景的地面上是否处于预设报警区域边界的内部,图像中在预设报警区域边界线下方位置为内部,请给出置信度,置信度为0代表人体不处于预设报警区域边界的内部,置信度为1代表人体处于预设报警区域边界的内部,输出格式如下:
[0129] 置信度:*,
[0130] 请将*替换为置信度的数值”,这里将(x1,y1,x2,y2)替换为当前取出的人体检测框坐标;得到视觉大语言模型的相应输出后,解析视觉大模型输出,并根据预设的置信度阈值确定人体是否位于预设报警区域边界线内,如果同一人体有多个检测框,则对多个检测框重复上面步骤并根据平均置信度判断人体是否位于预设报警区域边界内,如此以根据平均置信度确定在相应帧第二图像信息中存在不同目标检测框的同一移动物体的唯一位置(位于预设报警区域边界的内部或外部)。
[0131] 可选地,对于相应帧图像中检测到的对应同一移动物体的重复的目标检测框,对其进行合并,合并后以该移动物体的某个目标检测框作为其在相应帧图像中的唯一目标检测框,并将该目标检测框用于与其他帧图像的各目标检测框进行匹配。值得说明的是,该唯一目标检测框需与该移动物体的唯一位置对应。如此,以降低不同帧图像之间目标检测框匹配的运算量,提升运算效率。
[0132] 可选地,可以增加输入多模态大语言模型的之前帧图像的数量,并对比当前帧图像中目标检测框与输入视觉大模型的所有之前帧图像中目标检测框是否为同一个目标(移动物体),这样当由于检测目标进入图像采集机构盲区而使得在相应视频流中的若干帧图像中检测不到对应人体的情况发生时,如果当前帧中重新检测到目标对应的人体则可以再次匹配并重新进行追踪,防止漏检。换言之,不仅将当前帧图像与前一帧图像之间进行目标检测框的匹配,还需将当前帧图像与在前的多帧图像之间进行目标检测框的匹配,避免因移动物体进入图像采集机构盲区而导致的连续帧图像中短暂失去移动物体,从而造成漏检的情况发生。在一些实施例中,当检测到同一移动物体间隔第二预设时长(其小于第一预设时长,可结合图像采集机构盲区大小等实际情况进行设定)出现在不同帧图像中时,认为该移动物体已经停留了第二预设时长,在计算该移动物体的停留时长时则需计入该第二预设时长。
[0133] 可选地,预设报警区域包括围绕车辆设置的一级预设报警区域以及围绕一级预设报警区域设置的二级预设报警区域;步骤300包括:
[0134] 当存在同一移动物体在一级预设报警区域内停留时长超过第一预设时长时,控制车辆进行第一异常情况报警;当存在同一移动物体在二级预设报警区域内停留时长超过第二预设时长时,控制车辆进行第二异常情况报警。
[0135] 具体地,将预设报警区域分为一级预设报警区域和二级预设报警区域,形成分层的监测区域。一级预设报警区域是以车辆为中心设置的,而二级预设报警区域则是围绕一级预设报警区域设置。显而易见,移动物体在一级预设报警区域内长时间停留的潜在风险明显大于其在二级预设报警区域内停留的潜在风险,可对应设置不同程度的报警响应。示例性地,当检测到同一移动物体在一级预设报警区域内停留时长超过第一预设时长时,系统会触发第一级别的异常情况报警,如通过车辆网络向车主的移动终端发送紧急报警通知,或者通过车辆进行声光报警等方式进行紧急提醒;而当移动物体在二级预设报警区域内停留时长超过第二预设时长时,系统会触发第二级别的异常情况报警,第二级别的报警相对于第一级别来说,可能会采取较为缓慢的响应策略,例如通过车辆网络向车主发送一般性的报警提示,而非采取紧急的声光报警手段。如此,通过不同级别的设置,使得车辆哨兵模式可以更细致地对车辆周围发生的异常情况进行感知和响应,确保对潜在风险的不同程度进行合适的处理等。
[0136] 可选地,本方法还包括:
[0137] 对于在预设报警区域内停留时长未超过第一预设时长的涉及敏感信息的移动物体,基于多模态大语言模型对敏感信息进行脱敏处理。
[0138] 具体地,为避免车辆哨兵模式侵犯他人隐私,本方法中,对于对车辆不存在潜在危险的移动物体(人体等),即其在预设报警区域内停留时长未超过第一预设时长,可基于多模态大语言模型对其敏感信息进行脱敏处理。示例性地,通过多模态大语言模型,可以对敏感信息,如人脸、车牌等进行有效的脱敏处理(如遮挡、模糊、打赛克等方式),确保在存储或传输过程中不会泄露个人隐私,有助于平衡安全监测与个人隐私保护之间的关系,提高车辆哨兵模式的合规性和用户接受度。
[0139] 本发明另一实施例提供一种车辆,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,当处理器执行计算机程序时,实现上述的用于车辆哨兵模式的异常情况监测方法。
[0140] 本实施例中,通过车辆的处理器、计算机可读存储介质等结构的配合,使得用于车辆哨兵模式的异常情况监测方法能够顺利且稳定地执行,保证了车辆哨兵模式对异常情况监测、报警的准确性、及时性,有效提高了车辆的安全性。
[0141] 虽然本发明披露如上,但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。
QQ群二维码
意见反馈