一种基于深度学习的司机、乘客行为分析与预警系统
专利汇可以提供一种基于深度学习的司机、乘客行为分析与预警系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于 深度学习 的司机、乘客行为分析与预警系统，包括车辆 位置 信息获取模 块 、司机与乘客行为获取模块、司机与乘客行为分析模块、语音预警与报警模块与数据存储模块；通过摄像头获取视频信息，计算乘客与司机的距离，进而使用AlexNet 算法 对司机的驾驶行为进行分析，使用深度学习算法AlexNet与Mask RCNN分别对乘客的表情与动作进行分析，并结合语音分析，给出司机与乘客行为分析结果，将分析结果与 阈值 进行比较，进而运行三级预警操作，此系统能及时发现公交车内危害驾驶的行为，并给出预警措施，保障了乘客生命安全。，下面是一种基于深度学习的司机、乘客行为分析与预警系统专利的具体信息内容。
1.一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于，包括：车辆位置信息获取模块、司机与乘客行为获取模块、司机与乘客行为分析模块、语音预警与报警模块与数据存储模块；
所述车辆位置信息获取模块，用于获取车辆的位置信息；
所述司机与乘客行为获取模块，用于获取司机与乘客的视频数据；
所述司机与乘客行为分析模块，用于计算乘客与司机之间的距离，进而对公交车司机驾驶行为以及乘客的表情、动作、音频进行分析，得出司机与乘客的行为分析结果；
所述语音预警与报警模块，通过语音警示嫌疑人与司机并提醒其它乘客采取干预措施，报警模块用于报警操作；
所述数据存储模块，用于存储卷积神经网络模型、位置信息、视频与音频数据。
2.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的车辆位置信息获取模块，通过GPS获取车辆的位置信息，输入到数据存储模块中。
3.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的司机与乘客行为获取模块中，通过安装主摄像头、副摄像头组成双目视觉摄像头，调整摄像头角度使其能采集到驾驶员所处位置视频信息，两个摄像头同时进行录像操作；通过安装的麦克风获取车厢内音频信息，将获取到的视频、音频信息输入到数据存储模块中。
4.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的司机与乘客行为分析模块包含：测距子模块、司机行为分析子模块、乘客行为分析子模块，司机与乘客行为分析模块工作过程包含如下步骤：
步骤4.1：读取数据存储模块中主摄像头和副摄像头获取到的两个视频，运行测距模块中的双目测距算法，对乘客到司机的距离进行计算；
步骤4.2：当乘客与司机的距离大于安全距离阈值D时，只运行司机行为分析模块对司机的驾驶行为进行分析；
步骤4.3：当乘客与司机的距离小于安全距离阈值D时，只对乘客行为进行分析。
5.根据权利要求4所述的一种基于深度学习的司机、乘客行为分析与预警系统,其特征在于：所述步骤4.2中的司机驾驶行为分为正常行驶、接打电话、与他人攀谈、离开座位四类，系统读取存储模块中主摄像头获取到的视频，选取每一秒视频内的关键帧图像，输入到AlexNet算法中计算司机处于非正常驾驶状态的概率；
非正常驾驶状态概率计算如下：
5.1AlexNet模型的训练：使用包含正常行驶、接打电话、与他人攀谈、离开座位驾驶状态图片各5000张作为训练图片，调整图片大小为227×227，将AlexNet算法最后的全连接层修改为4个神经元，然后输入训练集的图片进行训练，输出四种驾驶状态的概率值，即正常行驶的概率为P正常、接打电话的概率为P电话、与他人攀谈的概率为P攀谈、离开座位的概率为P离开，模型训练好的标准分类为准确率不小于98％；
5.2模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得司机处于非正常驾驶行为的概率为P非正常，其计算公式为：
P非正常＝1-P正常 (1)。
6.根据权利要求4所述的一种基于深度学习的司机、乘客行为分析与预警系统,其特征在于：所述步骤4.3中的对乘客行为分析具体过程如下：
6.1：读取存储模块中主摄像头获取到的视频，选取其一秒视频内的关键帧图像；
6.2：分析乘客脸部信息，计算乘客表情处于愤怒状态的概率P怒，将关键帧图像输入到Mask RCNN中对乘客动作进行分析，计算动作因子m，获取数据存储模块中的音频对音频进行分析计算音量因子h；
6.3：将乘客脸部信息、乘客动作信息与乘客音频信息的分析结果进行汇总得出乘客非正常行为得分S。
7.根据权利要求6所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的6.2中的乘客处于愤怒状态的概率P怒的计算方式为：
7.1AlexNet模型的训练：使用包含高兴、生气、沮丧、正常的脸部图片各5000张作为训练图片，调整图片大小为227×227，将AlexNet算法最后的全连接层修改为4个神经元，然后输入训练集的图片进行训练，输出四种表情的概率值，即高兴的概率P悦、生气的概率P怒、沮丧的概率P丧，正常表情的概率P正，模型训练好的标准分类为准确率不小于98％；
7.2模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，使用Python中的Dlib模块选取包含乘客脸部图像数据，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得乘客表情处于愤怒状态的概率P怒。
8.根据权利要求6所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的6.2中动作因子m的计算过程为：
8.1Mask RCNN模型训练：使用coco人体姿态数据集，训练Mask RCNN模型，输出17个人体关键点坐标，人体关键点格式为：0-鼻子，1-左眼，2-右眼3-左耳，4-右耳，5-左肩，6-右肩，7-左肘关节，8-右肘关节，9-左手腕，10-右手腕，11-左臀部，12-右臀部，13-左膝盖，14-右膝盖，15-左脚腕，16-右脚腕；
8.2获取乘客人体关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取乘客的17个关键点坐标信息，本系统只考虑一个乘客对司机的攻击行为，本系统只使用包含左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕8个具有攻击性的关键点，令0、
1、2、3、4、5、6、7分别代表乘客的左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕，这八个关键点的坐标形成乘客人体关键点矩阵为：
令 与 分别表示乘客的第i个人体关键点的横坐标与纵坐标；
8.3获取司机关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取司机的右眼、右肘关节、右臀部关键点，并对方向盘的中心位置做人工标注，令0、1、2分别代表代表司机的右眼、右肘关节、右臀部，令 与 分别表示司机的第j个人体
关键点的横坐标与纵坐标，令 与 分别代表方向盘中心的横坐标与纵坐标，则司机的关键点矩阵为：
8.4计算动作因子m：令dij(i∈{0,1,2,3,4,5,6,7},j∈{0,1,2，3})代表乘客的第i个关键点与司机的第j个关键点的欧式距离，
乘客对司机的攻击性用一个横向量 表示，则
选取向量 中最小的元素dmin，计算动作因子m:
其中d手臂表示一个成年人的胳膊与手的长度之和。
9.根据权利要求6所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的6.2中音量因子h的计算过程为：
运行乘客行为分析模块，通过麦克风获取乘客的声音音量大小V，令Vmax表示人类发出的最大音量，则音量因子h的计算公式为：
10.根据权利要求6所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的6.3中乘客非正常行为得分S的计算过程为：
将生气概率P怒，公式(6)计算出的动作危险因子m和公式(7)计算出的音量因子h进行加权求和得到综合行为得分S，S的公式如下：
S＝w0*P怒+w1*m+w2*h (8)
公式(8)中，w0，w1和w2分别表示生气概率P怒的权重，动作危险因子m的权重和音量因子h的权重，S值越大表示乘客对行驶安全的危害越大。
11.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的语音预警与报警模块，语音预警与报警模块与车内的广播系统相连，用于控制广播的预警内容，无论启动司机行为分析模块还是乘客行为分析模块，预警系统一直运行；其报警操作使用SIM卡及配套设备进行报警操作，其报警内容在安装设备前录制完毕。
12.根据权利要求10所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的语音预警按照司机或乘客行为的危害程度由小到大分为三级预警、二级预警、一级预警，三级预警表述如下：
三级预警：当司机非正常驾驶概率P非正常∈[p0,p1)，或者乘客非正常行为得分S∈[s0,s1)，预警系统开始提醒司机安全驾驶，或者劝说非正常乘客远离司机；
二级预警：当司机非正常驾驶概率P非正常∈[p1,p2)，或者乘客非正常行为得分S∈[s1,s2)，预警系统警告司机安全驾驶，或者警告乘客停止危险行为；
一级预警：当司机非正常驾驶概率P非正常≥p2，或者乘客非正常行为得分S≥s2，预警系统开始报警，并广播其他乘客制止非正常乘客。
13.根据权利要求11所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的开始报警，报警系统与110联网，将报警内容发送到110。
14.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的数据存储模块，使用安装在系统上的TF内存卡。
一种基于深度学习的司机、乘客行为分析与预警系统
技术领域
背景技术
发明内容
车辆位置信息获取模块，用于获取车辆的位置信息；
司机与乘客行为获取模块，用于获取司机与乘客的视频数据；
司机与乘客行为分析模块，用于计算乘客与司机之间的距离，进而对公交车司机驾驶行为以及乘客的表情、动作、音频进行分析，得出司机与乘客的行为分析结果；
语音预警与报警模块，通过语音警示嫌疑人与司机并提醒其它乘客采取干预措施，报警模块用于报警操作；
数据存储模块，用于存储卷积神经网络模型、位置信息、视频与音频数据；
本发明的车辆位置信息获取模块，通过GPS获取车辆的位置信息，输入到数据存储模块中。
步骤二：当乘客与司机的距离大于安全距离阈值D时，只运行司机行为分析模块对司机的驾驶行为进行分析；
步骤三：当乘客与司机的距离小于安全距离阈值D时，只对乘客行为进行分析。
2.模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得司机处于非正常驾驶行为的概率为P非正常，其计算公式为：
P非正常＝1-P正常 (1)。
2：分析乘客脸部信息，计算乘客表情处于愤怒状态的概率，将关键帧图像输入到Mask RCNN中对乘客动作进行分析，计算动作因子，获取数据存储模块中的音频对音频进行分析计算音量因子；
3：将乘客脸部信息、乘客动作信息与乘客音频信息的分析结果进行汇总得出乘客非正常行为得分S。
2：模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，使用Python中的Dlib模块选取包含乘客脸部图像数据，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得乘客表情处于愤怒状态的概率P怒。
7-左肘关节，8-右肘关节，9-左手腕，10-右手腕，11-左臀部，12-右臀部，13-左膝盖，14-右膝盖，15-左脚腕，16-右脚腕；
2：获取乘客人体关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取乘客的17个关键点坐标信息，本系统只考虑一个乘客对司机的攻击行为，本系统只使用包含左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕8个具有攻击性的关键点，令 0、1、
2、3、4、5、6、7分别代表乘客的左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕，这八个关键点的坐标形成乘客人体关键点矩阵为：
令 与 分别表示乘客的第i个人体关键点的横坐标与纵坐标；
3：获取司机关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取司机的右眼、右肘关节、右臀部关键点，并对方向盘的中心位置做人工标注，令0、1、2分别代表代表司机的右眼、右肘关节、右臀部，令 与 分别表示司机的第j个人体关键
点的横坐标与纵坐标，令 与 分别代表方向盘中心的横坐标与纵坐标，则司机的关键点矩阵为：
4计算动作因子m：令dij(i∈{0,1,2,3,4,5,6,7},j∈{0,1,2，3})代表乘客的第i个关键点与司机的第j个关键点的欧式距离，
乘客对司机的攻击性用一个横向量 表示，则
选取向量 中最小的元素dmin，计算动作因子m:
其中d手臂表示一个成年人的胳膊与手的长度之和。
乘客行为分析过程中，音量因子h的计算过程为：
运行乘客行为分析模块，通过麦克风获取乘客的声音音量大小V，令Vmax表示人类发出的最大音量，则音量因子h的计算公式为：
S＝w0*P怒+w1*m+w2*h (8)
其中，w0，w1和w2分别表示生气概率P怒的权重，动作危险因子m的权重和音量因子h的权重，S值越大表示乘客对行驶安全的危害越大。
二级预警：当司机非正常驾驶概率P非正常∈[p1,p2)，或者乘客非正常行为得分S∈[s1,s2)，预警系统警告司机安全驾驶，或者警告乘客停止危险行为；
一级预警：当司机非正常驾驶概率P非正常≥p2，或者乘客非正常行为得分S≥s2，预警系统开始报警，并广播其他乘客制止非正常乘客。
具体实施方式
司机与乘客行为分析模块，用于计算乘客与司机之间的距离，进而对公交车司机驾驶行为以及乘客的表情、动作、音频进行分析，得出司机与乘客的行为分析结果；
语音预警与报警模块，通过语音警示嫌疑人与司机并提醒其它乘客采取干预措施，报警模块用于报警操作；
数据存储模块，用于存储卷积神经网络模型、位置信息、视频与音频数据。
步骤二：当乘客与司机的距离大于安全距离阈值D时，只运行司机行为分析模块对司机的驾驶行为进行分析，D的取值为1.5m；
步骤三：当乘客与司机的距离小于安全距离阈值D时，只对乘客行为进行分析。
卷积层1：输入图像规格：1080×720×3，经过预处理变为227×227×3，使用的96个大小规格为11×11×3的过滤器Filter，或者称为卷积核，步长为4进行特征提取，激活函数使用RELU并进行3×3步长为2池化操作。
P非正常＝1-P正常 (1)。
2：分析乘客脸部信息，计算乘客表情处于愤怒状态的概率，将关键帧图像输入到Mask RCNN中对乘客动作进行分析，计算动作因子，获取数据存储模块中的音频对音频进行分析计算音量因子；
3：将乘客脸部信息、乘客动作信息与乘客音频信息的分析结果进行汇总得出乘客非正常行为得分S。
227，将AlexNet算法最后的全连接层修改为4个神经元，然后输入训练集的图片进行训练，输出四种表情的概率值，即高兴的概率P悦、生气的概率P怒、沮丧的概率P丧，正常表情的概率P正，模型训练好的标准分类为准确率不小于98％；
2：模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，使用Python中的Dlib模块选取包含乘客脸部图像数据，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得乘客表情处于愤怒状态的概率P怒，经过计算 P怒＝0.56。
0-鼻子，1-左眼，2-右眼3-左耳，4-右耳，5-左肩，6-右肩，7-左肘关节，8-右肘关节，9-左手腕，10-右手腕，11-左臀部，12-右臀部，13-左膝盖，14-右膝盖，15-左脚腕， 16-右脚腕；
2：获取乘客人体关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取乘客的17个关键点坐标信息，本系统只考虑一个乘客对司机的攻击行为，本系统只使用包含左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕8个具有攻击性的关键点，令 0、1、
2、3、4、5、6、7分别代表乘客的左手腕、右手腕、左肘关节、右肘关节、左膝盖、右膝盖、左脚腕，右脚腕，这八个关键点的坐标形成乘客人体关键点矩阵为：
设图像的左上角为坐标原点，向左为x正半轴，向下
为y正半轴，单位为像素；
3：获取司机关键点矩阵：乘客行为分析模块读取存储模块中的主摄像头获取的视频信息，获取每一秒中的关键点图像，将图像输入到Mask R-CNN算法中，获取司机的右眼、右肘关节、右臀部关键点，并对方向盘的中心位置做人工标注，司机的关键点矩阵为：
4计算动作因子m：令dij(i∈{0,1,2,3,4,5,6,7},j∈{0,1,2，3})代表乘客的第i个关键点与司机的第j个关键点的欧式距离， 乘客对司机的攻击性
用一个横向量 表示，则
选取向量 中最小的元素 dmin＝22.33，设d手臂为图中乘客肩膀到手腕的距离，经过计算得出，d手臂＝67.65计算动作因子 其中d手臂表示一个成年人的胳膊与手腕
的长度之和，经计算m为 0.84。
乘客行为分析过程中，音量因子h的计算过程为：
运行乘客行为分析模块，通过麦克风获取乘客的声音音量大小V为35分贝，令Vmax表示人类发出的最大音量，为99分贝，则音量因子h为：
0.2*0.56+0.7*0.84+0.1*0.35＝0.735其中，w0，w1和w2分别取0.2,0.7和0.1，S值越大表示乘客对行驶安全的危害越大。
二级预警：当司机非正常驾驶概率P非正常∈[p1,p2)，或者乘客非正常行为得分S∈[s1,s2)，预警系统警告司机安全驾驶，或者警告乘客停止危险行为；
一级预警：当司机非正常驾驶概率P非正常≥p2，或者乘客非正常行为得分S≥s2，预警系统开始报警，并广播其他乘客制止非正常乘客；
对本系统进行12场测试，分别为第1,2,3场，距离司机1.5m处大声辱骂司机，第4,5,6场距离司机1m处，大声辱骂司机，第7,8,9场乘客与司机发生肢体冲突，不再辱骂司机，第10,
11,12场司机与别人交谈，其中规定第1,2,3场计算出的乘客非正常行为得分大于0.2小于
0.5即代表测试成功，第4,5,6场计算出的乘客非正常行为得分大于0.5小于0.7即为测试成功，第7,8,9场计算出的乘客非正常行为得分大于0.7，即代表测试成功，第10,11,12场，计算出概率大于0.8即为测试成功，这12场中第3场测试失败，成功率为91.7％，系统达到较为准确的结果，经过测试，p0,p1,p2分别取0.2，0.5，0.7；s0,s1,s2分别取0.2，0.5，0.7可以准确判断司机与乘客的行为。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于对抗生成网络的红外超分辨率成像方法 | 2020-05-11 | 563 |
| 基于图像处理和人工智能的小样本缺陷检测方法 | 2020-05-13 | 936 |
| 一种基于紫外光谱快速测定郁金-栀子水蒸气蒸馏提取过程多种成分含量的方法 | 2020-05-15 | 763 |
| 一种基于大规模Embedding技术的Wi-Fi聚类方法及系统 | 2020-05-11 | 759 |
| 用于执行LSTM运算的装置和方法 | 2020-05-13 | 5 |
| 基于单神经元网络的惯量估计方法及其自适应调整策略 | 2020-05-15 | 307 |
| 一种基于深度学习的微博博主性格分析方法 | 2020-05-14 | 363 |
| 用于执行LSTM运算的装置和方法 | 2020-05-15 | 679 |
| 一种政务文本分类模型的构建方法 | 2020-05-15 | 549 |
| 一种基于深度学习的司机、乘客行为分析与预警系统 | 2020-05-11 | 697 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
