显示控制装置、显示控制系统、显示控制方法、记录介质
阅读：2发布：2020-06-02
专利汇可以提供显示控制装置、显示控制系统、显示控制方法、记录介质专利检索，专利查询，专利分析的服务。并且显示控制装置(10)具有图像获取部(11)、姿势推定部(12)、控制部(13)。图像获取部(11)获取由设置在室内的红外线阵列 传感器 (21a、21b)检测的红外线图像(G1)。姿势推定部(12)基于图像获取部(11)中获取的红外线图像(G1)，推定在室内(30)的被护理者(P1)的姿势。控制部(13)控制显示装置(22)，使得虚拟图像(D1) 叠加 显示在红外线图像(G1)上，该虚拟图像(D1)简易地示出姿势推定部(12)中推定的被护理者(P1)的姿势。，下面是显示控制装置、显示控制系统、显示控制方法、记录介质专利的具体信息内容。
1.一种显示控制装置，具有：
图像获取部，获取由设置在室内的图像传感器检测出的图像数据；
姿势推定部，基于所述图像获取部所获取的所述图像数据，推定在所述室内的人体的姿势；
控制部，以使第一虚拟图像叠加显示于所述图像数据上的方式对显示装置进行控制，所述第一虚拟图像简易地示出所述姿势推定部所推定的所述人体的姿势，所述控制部以所述图像数据中包括的所述人体的头部或面部的位置为基准，将所述第一虚拟图像的头部或面部的部分进行叠加显示。
2.根据权利要求1所述的显示控制装置，其中，
所述显示控制装置还具有存储部，所述存储部以与所述人体的各姿势建立对应的状态来保存多个所述第一虚拟图像。
3.根据权利要求1或2所述的显示控制装置，其中，
所述显示控制装置还具有判定部，所述判定部参照所述图像获取部所连续获取的多个所述图像数据，根据所述图像数据中的所述人体附近的图像的闪烁，判定护理的紧急程度。
4.根据权利要求3所述的显示控制装置，其中，
所述图像传感器是获取热图像的红外线传感器，
所述判定部根据所述红外线传感器所连续获取的所述热图像中的所述人体附近的区域中的热重心位置的波动程度来进行判定。
5.根据权利要求3所述的显示控制装置，其中，
所述图像传感器是获取热图像的红外线传感器，
所述判定部检测所述红外线传感器所连续获取的所述热图像中的所述人体附近的区域中的热源扩大来进行判定。
6.根据权利要求1或2所述的显示控制装置，其中，
所述显示控制装置还具有人数推定部，所述人数推定部推定所述图像获取部所获取的所述图像数据中包括的人数。
7.根据权利要求6所述的显示控制装置，其中，
所述控制部在所述人数推定部的推定结果是判定为所述图像数据中的人数为一个人的情况下，对所述显示装置进行显示控制。
8.根据权利要求1或2所述的显示控制装置，其中，
所述控制部根据所述姿势推定部的推定结果，使所述显示装置改变所述第一虚拟图像的颜色。
9.根据权利要求1或2所述的显示控制装置，其中，
所述控制部根据所述姿势推定部的推定结果，使所述显示装置将所述第一虚拟图像进行闪光显示。
10.根据权利要求1或2所述的显示控制装置，其中，
所述控制部根据所述姿势推定部的推定结果，使所述第一虚拟图像叠加于所述图像数据上并显示在所述显示装置上，并且使紧急消息显示在所述显示装置上。
11.根据权利要求1或2所述的显示控制装置，其中，
所述姿势推定部利用从不同方向检测在所述室内的人体的多个所述图像传感器的检测结果来推定所述姿势。
12.根据权利要求1或2所述的显示控制装置，其中，
所述控制部将与所述人体的站立姿势、坐姿、仰卧姿势、侧卧姿势、俯卧姿势、弯腰姿势中的至少一个对应的所述第一虚拟图像叠加于所述图像数据，并显示在所述显示装置上。
13.根据权利要求1或2所述的显示控制装置，其中，
所述控制部将与设置在所述室内的家具、室内设备对应的第二虚拟图像以叠加于所述图像数据中的所述家具、所述室内设备的位置的方式进行显示。
14.一种显示控制系统，具有：
权利要求1至13中的任一项所述的显示控制装置；
向所述图像获取部提供所述图像数据的图像传感器。
15.根据权利要求14所述的显示控制系统，其中，
所述显示控制系统还具有显示装置，由所述显示控制装置的所述控制部对所述显示装置进行显示控制。
16.根据权利要求15所述的显示控制系统，其中，
所述显示装置包括护理在所述室内的人的护理者所使用的主终端的显示装置或者所述护理者所持有的便携终端。
17.根据权利要求14至16中任一项所述的显示控制系统，其中，
所述图像传感器包括从所述室内的上方检测所述人体的第一图像传感器以及从所述室内的侧方检测所述人体的第二图像传感器。
18.根据权利要求14至16中任一项所述的显示控制系统，其中，
所述图像传感器是红外线阵列传感器、距离传感器中的任一种。
19.一种显示控制方法，包括：
图像获取步骤，获取由设置在室内的图像传感器检测出的图像数据；
姿势推定步骤，基于在所述图像获取步骤中获取的所述图像数据，推定在所述室内的人体的姿势；
控制步骤，控制显示装置，以使第一虚拟图像叠加显示于所述图像数据上，并且，以所述图像数据中包括的所述人体的头部或面部的位置为基准，将所述第一虚拟图像的头部或面部的部分进行叠加显示，所述第一虚拟图像简易地示出在所述姿势推定步骤中推定的所述人体的姿势。
20.一种记录介质，存储有使计算机执行显示控制方法的显示控制程序，所述显示控制方法包括：
图像获取步骤，获取由设置在室内的图像传感器检测出的图像数据；
姿势推定步骤，基于在所述图像获取步骤中获取的所述图像数据，推定在所述室内的人体的姿势；
控制步骤，对显示装置进行控制，以使第一虚拟图像叠加显示于所述图像数据上的方式，并且，以所述图像数据中包括的所述人体的头部或面部的位置为基准，将所述第一虚拟图像的头部或面部的部分进行叠加显示，所述第一虚拟图像简易地示出在所述姿势推定步骤中推定的所述人体的姿势。
显示控制装置、显示控制系统、显示控制方法、记录介质
技术领域
背景技术
[0002] 近年来，监视老人等需要护理的人(被护理者)在室内的行为，并显示是否为需要护理的状况的装置得到使用。
[0003] 例如，专利文献1中公开了一种姿势推定装置，该姿势推定装置参照表示人体姿势的变换模型的信息和表示在变换模型的各姿势的情况下的图像数据的检查区域的检查信息，计算图像数据的检查区域中的统计量，并基于该统计量进行姿势推定。
[0005] 但是，上述传统的姿势推定装置中，存在如下所示的问题。
[0006] 即，上述公报所公开的姿势推定装置中，虽然能以较少的数据处理量推定被护理者等的人体的姿势，但难以准确地识别被护理者是否处于需要护理的状态。
[0007] 现有技术文献
[0008] 专利文献
[0009] 专利文献1：日本特开2015－231517号公报
发明内容
[0010] 本发明的课题在于提供例如能有效地使护理者识别被护理者需要护理的状况的显示控制装置、显示控制系统、显示控制方法、显示控制程序、记录介质。
[0011] 用于解决课题的手段
[0012] 第一发明的显示控制装置具有图像获取部、姿势推定部、控制部。图像获取部获取由设置在室内的图像传感器检测出的图像数据。姿势推定部基于图像获取部所获取的图像数据，推定在室内的人体的姿势。控制部以使第一虚拟图像叠加显示于图像数据上的方式控制显示装置，该第一虚拟图像简易地示出姿势推定部所推定的人体的姿势。
[0013] 此处，例如，为了进行对被护理者的状态进行确认的看护，利用从设置在室内的图像传感器中获取的图像数据推定在室内的人(被护理者等)的姿势，并将简易地示出该姿势的第一虚拟图像叠加显示于图像数据上。
[0014] 此处，作为看护显示控制的对象的室内的人体不仅包括例如老人、残疾人等这样的在日常生活中需要护理的被护理者，还包括健康的人、宠物(动物)等。
[0015] 此外，设置在室内的图像传感器可以是一个，也可以是多个。而且，考虑能够检测在室内的被护理者等的位置作为图像传感器的设置场所，例如天花板、墙面等。此外，作为图像传感器，可以使用监控照相机等拍摄装置，也可以使用红外线传感器、距离传感器等。
[0016] 此外，利用了图像数据的姿势推定，例如，可以利用如下的公知方法(参照专利文献1)：利用人体姿势的变换模型计算图像数据的检查区域中的统计量，并基于该统计量，根据上一个时刻的人体姿势推定当前时刻的人体姿势。
[0017] 第一虚拟图像简易地示出与推定的人的姿势对应的人的外形，例如，准备与站立、坐下、躺下等多个姿势对应的多种图像。此外，在与各姿势进行关联的状态下，各第一虚拟图像可以保存在装置内的存储单元中，也可以保存在外部装置(服务器、客户端等)中。
[0018] 此外，作为受控制部的显示控制的显示装置，例如，在用于护理设施、医院等中时，可以使用护理者、护士常驻的集中管理室的显示器或者护理者、护士携带的便携终端等。
[0019] 由此，控制部能够控制显示装置，使得与姿势推定部所推定的姿势对应的第一虚拟图像叠加显示于图像获取部所获取的图像数据中。
[0020] 因此，例如，观察到显示装置的显示内容的护理者等通过观察显示装置上显示的简易地示出被护理者等的姿势的第一虚拟图像，能够有效且高精度地识别被护理者是否为需要护理的状态。
[0021] 第二发明的显示控制装置根据第一发明的显示控制装置，该显示控制装置还具有存储部，所述存储部以与人体的各姿势建立对应的状态来保存多个第一虚拟图像。
[0022] 此处，在装置内设置有用于保存多个第一虚拟图像的存储部。
[0023] 由此，控制部能够从在装置内的存储部中保存的多个第一虚拟图像中获取与姿势推定部所推定的姿势对应的第一虚拟图像，并将该第一虚拟图像与图像数据叠加显示。
[0024] 第三发明的显示控制装置根据第一或第二发明的显示控制装置，控制部以图像数据中包括的人体的头部或面部的位置为基准，将第一虚拟图像的头部或面部的部分进行叠加显示。
[0025] 此处，将虚拟图像叠加在图像数据上时，以图像数据所检测出的人体的头部或面部的位置为基准，将第一虚拟图像的头部或面部的位置进行叠加显示。
[0026] 此处，能够将对图像数据中的头部或面部的检测设定为，例如，若是照相机图像则检测眼睛的位置，若是红外线图像则检测温度较高的位置等。
[0027] 由此，能够以头部或面部的部分为基准，将结合人体的姿势而选择出的第一虚拟图像叠加显示于图像数据。
[0028] 第四发明的显示控制装置根据第一至第三发明的任意一个的显示控制装置，显示控制装置还具有判定部，该判定部参照图像获取部所连续获取的多个图像数据，根据图像数据中的人体附近的图像的闪烁(flickering)，判定护理的紧急程度。
[0029] 此处，利用图像获取部中连续获取的动图等图像数据，根据图像数据中的人体附近的图像的闪烁的大小，判定图像数据中包括的人(被护理者)是否需要护理。
[0030] 此处，是否需要护理的判定，例如，对于坐姿的被护理者，能够根据在连续获取的图像数据的人体附近的图像在基本不存在闪烁的状态下经过了规定时间以上等来进行判定。
[0031] 反之，例如，对于坐姿的被护理者，在发现连续获取的图像数据的人体附近的图像有闪烁的情况下，能够判定为被护理者正在更衣、操作便携终端等不需要护理的状态。
[0032] 由此，通过参照动图等连续获取的图像数据中的图像的闪烁，与基于被护理者姿势的判定相比，能够更准确地判定被护理者是否需要护理。
[0034] 此处，当利用红外线传感器作为图像传感器时，在基于上述的连续获取的图像数据中的图像的闪烁进行判定时，根据由红外线传感器获取的热图像中的热重心位置的波动来进行判定。
[0035] 由此，即使在利用红外线传感器作为图像传感器的情况下，运用热图像的特性，例如，在热重心位置的变化小于规定阈值的情况下，能够判定为需要护理的状态。
[0036] 反之，在热重心位置的变化大于规定阈值的情况下，例如，能够判定为被护理者正在更衣、操作便携终端等不需要护理的状态。
[0037] 第六发明的显示控制装置根据第四发明的显示控制装置，图像传感器是获取热图像的红外线传感器。判定部检测红外线传感器所连续获取的热图像中的人体附近的区域中的热源扩大来进行判定。
[0038] 由此，例如，能够利用由红外线传感器连续获取的热图像，使护理者识别被护理者处于呕吐的状态。
[0039] 第七发明的显示控制装置根据第一至第六发明的任意一个显示控制装置，该显示控制装置还具有人数推定部，该人数推定部推定图像获取部所获取的图像数据中包括的人数。
[0040] 此处，由人数推定部来推定由图像传感器检测出的在室内的人数。
[0041] 由此，例如，在被护理者住在单间内的情况下，能够推定在室内是否有除被护理者以外的其他人。
[0042] 或者，例如，在多个被护理者居住在房间内的情况下，能够推定人数是否多于居住人数。
[0043] 第八发明的显示控制装置根据第七发明的显示控制装置，控制部在人数推定部的推定结果是判定为图像数据中的人数为一个人的情况下，对显示装置进行显示控制。
[0044] 此处，例如，在被护理者住在单间内的情况下，当推定为除被护理者以外有其他人在室内时，假定被护理者的家人、朋友、护理者与被护理者一起在室内。
[0045] 因此，由于推定为有能够护理被护理者的人，因此在该情况下，能够将其排除在看护显示控制的对象以外。
[0046] 第九发明的显示控制装置根据第一至第八发明的任意一个显示控制装置，控制部根据姿势推定部的推定结果，使显示装置改变第一虚拟图像的颜色。
[0047] 此处，作为姿势推定部的推定的结果，例如，当推定为被护理者躺在室内床以外的位置时，判断为需要护理，并使第一虚拟图像的颜色变为与平时不同的颜色，来表示紧急时刻。
[0048] 此处，作为第一虚拟图像的颜色，例如，优选，平时为黑白显示，而在需要护理这样的紧急时刻时变为红色、黄色等。
[0049] 由此，观察到显示装置上的显示内容的护理者等能够容易地识别是否为紧急时刻。
[0050] 第十发明的显示控制装置根据第一至第九发明的任意一个显示控制装置，控制部根据姿势推定部的推定结果，使显示装置将第一虚拟图像进行闪光(flash)显示。
[0051] 此处，在姿势推定部的推定的结果例如是推定为被护理者躺在室内床以外的位置的情况下，判断为需要护理，使第一虚拟图像进行闪光显示，来表示紧急时刻。
[0052] 由此，观察到显示装置上的显示内容的护理者等能够容易地识别是否为紧急时刻。
[0053] 第十一发明的显示控制装置根据第一至第十发明的任意一个显示控制装置，控制部根据姿势推定部的推定结果，使第一虚拟图像叠加于图像数据上并显示在显示装置上，并且使紧急消息显示在显示装置上。
[0054] 此处，当使通过姿势推定而选择的第一虚拟图像叠加显示于图像数据上时，例如，在判定为需要护理状态的情况下，将紧急消息与图像数据一同显示在显示装置上。
[0055] 由此，通过图像信息和文字信息，能够使护理者等识别紧急时刻。
[0056] 第十二发明的显示控制装置根据第一至第十一发明的任意一个显示控制装置，姿势推定部利用从不同方向检测在室内的人体的多个图像传感器的检测结果来推定姿势。
[0057] 此处，作为设置在室内的图像传感器，利用从不同方向(例如，上方、侧方等)分别检测室内的多个图像传感器。
[0058] 由此，由于能够利用检测方向不同的多个图像数据作为用于姿势推定的图像数据，因此能够更准确地推定被护理者等的人体姿势。
[0059] 第十三发明的显示控制装置根据第一至第十二发明的任意一个显示控制装置，控制部将与人体的站立姿势、坐姿、仰卧姿势、侧卧姿势、俯卧姿势、弯腰姿势中的至少一个对应的第一虚拟图像叠加于图像数据，并显示在显示装置上。
[0060] 此处，利用与姿势推定部所推定的人体姿势中的站立姿势、坐姿、仰卧姿势、侧卧姿势、俯卧姿势、弯腰姿势中的至少一个对应的第一虚拟图像。
[0061] 由此，例如，能够在将被护理者等的姿势细分的状态下进行推定，并将与被护理者等的姿势对应的第一虚拟图像以叠加于图像数据的方式显示。
[0062] 第十四发明的显示控制装置根据第一至第十三发明的任意一个显示控制装置，控制部将与设置在所述室内的家具、室内设备对应的第二虚拟图像以叠加于所述图像数据中的所述家具、所述室内设备的位置的方式进行显示。
[0063] 此处，不仅利用与人体的各姿势对应的多个第一虚拟图像，还利用与设置在室内的家具、设备对应的第二虚拟图像，将其叠加于图像数据并显示在显示装置上。
[0064] 由此，例如，通过将第二虚拟图像叠加显示于设置在室内的床、被子、橱柜、桌子、椅子、简易厕所等位置，能够容易地推定在室内的被护理者在哪个位置正在做什么。
[0065] 第十五发明的显示控制系统具有第一至第十四发明的任意一个的显示控制装置，和向图像获取部提供图像数据的图像传感器。
[0066] 此处，构成显示控制系统，该显示控制系统包括上述的显示控制装置和设置在室内的图像传感器。
[0067] 由此，如上所述，能够构建例如，通过护理者等观察在显示装置上显示的表示被护理者等的姿势的第一虚拟图像，从而可以有效且高精度地识别被护理者是否处于需要护理的状态的系统。
[0068] 第十六发明的显示控制系统根据第十五发明的显示控制系统，显示控制系统还具有显示装置，由显示控制装置的控制部对该显示装置进行显示控制。
[0069] 此处，构成显示控制系统，该显示控制系统包括上述的显示控制装置、图像传感器、显示装置。
[0070] 由此，如上所述，能够构建例如，通过护理者等在显示装置上确认在显示装置上显示的表示护理者等的姿势的第一虚拟图像，从而可以有效且高精度地识别被护理者是否处于需要护理的状态的系统。
[0071] 第十七发明的显示控制系统根据第十六发明的显示控制系统，显示装置包括：护理在所述室内的人的护理者所使用的主终端的显示装置，或者护理者所持有的便携终端。
[0072] 此处，作为由控制部进行显示控制的显示装置，例如，利用护理者所使用的设置在集中管理室的主终端，或者护理者所持有的便携终端。
[0073] 由此，例如，护理者等通过在主终端或便携终端等观察叠加有第一虚拟图像的图像数据，能够容易地识别在室内的被护理者是否处于需要护理的状态。
[0074] 第十八发明的显示控制系统根据第十五至第十七发明的任意一个显示控制系统，图像传感器包括从室内的上方检测人体的第一图像传感器以及从室内的侧方检测人体的第二图像传感器。
[0075] 此处，利用分别从上方、侧方检测室内的两个图像传感器作为设置在室内的图像传感器。
[0076] 由此，由于能够利用检测方向不同的两种图像数据作为用于姿势推定的图像数据，因此可以更准确地推定被护理者等的人体姿势。
[0077] 第十九发明的显示控制系统根据第十五至第十八发明的任意一个显示控制系统，图像传感器是红外线阵列传感器、距离传感器中的任一种。
[0078] 此处，利用红外线线阵列照相机、距离传感器中的任一种作为设置在室内的图像传感器。
[0079] 由此，与利用监控照相机等拍摄装置作为图像传感器的情况相比，能够减轻姿势推定、叠加第一虚拟图像时的处理负担。
[0080] 此外，由于难以识别由图像传感器检测的被护理者、护理者等个人，因此也可以解决被护理者、护理者等的隐私问题。
[0081] 第二十发明的显示控制方法具有图像获取步骤、姿势推定步骤和控制步骤。在图像获取步骤中，获取由设置在室内的图像传感器检测出的图像数据。在姿势推定步骤中，基于在图像获取步骤中获取的图像数据，推定在室内的人体的姿势。在控制步骤中，以使第一虚拟图像叠加显示于图像数据上的方式对显示装置进行控制，该第一虚拟图像简易地示出在姿势推定步骤中推定的人体的姿势。
[0082] 此处，例如，为了确认被护理者的状态，利用从设置在室内的图像传感器获取的图像数据推定在室内的人(被护理者等)的姿势，并将简易地示出该姿势的第一虚拟图像叠加显示在图像数据上。
[0083] 此处，设置在室内的图像传感器可以是一个，也可以是多个。此外，考虑能够检测在室内的被护理者等的位置作为图像传感器的设置场所，例如，天花板、墙面等。此外，作为图像传感器，可以使用监控照相机等拍摄装置，也可以使用红外线传感器、距离传感器等。
[0084] 此外，利用了图像数据的姿势推定例如可以使用如下的公知方法(参照专利文献1)，即，利用人体姿势的变换模型来计算图像数据的检查区域中的统计量，并基于该统计量根据上一个时刻的人体姿势推定当前时刻的人体姿势。
[0085] 第一虚拟图像简易地示出与推定的人的姿势对应的人的外形，例如，准备了与站立、坐下、躺下等多个姿势对应的多种图像。而且，各第一虚拟图像可以在与各姿势建立关联的状态下保存在装置内的存储单元中，也可以在与各姿势建立关联的状态下保存在外部装置(服务器、客户端等)中。
[0086] 此外，作为控制步骤中被进行显示控制的显示装置，例如，当用于护理设施、医院等时，能够使用护理者、护士常驻的集中管理室的显示器或者护理者、护士携带的便携终端等。
[0087] 由此，控制步骤中，能够控制显示装置，以使与在姿势推定步骤中推定的姿势对应的第一虚拟图像叠加显示于在图像获取步骤中获取的图像数据。
[0088] 因此，例如，观察到显示装置上的显示内容的护理者等通过观察在显示装置上显示的简易地示出被护理者等的姿势的第一虚拟图像，能够有效且高精度识别被护理者是否处于需要护理的状态。
[0089] 第二十一发明的显示控制程序使计算机执行具有图像获取步骤、姿势推定步骤和控制步骤的显示控制方法。在图像获取步骤中，获取由设置在室内的图像传感器检测出的图像数据。在姿势推定步骤中，基于在图像获取步骤中获取的图像数据，推定在室内的人体的姿势。在控制步骤中，以使第一虚拟图像叠加显示于图像数据上对显示装置进行控制，该第一虚拟图像简易地示出在姿势推定步骤中推定的人体的姿势。
[0090] 此处，显示控制程序使计算机执行上述显示控制方法，例如，为了确认被护理者的状态，利用从设置在室内的图像传感器中获取的图像数据来推定在室内的人(被护理者等)的姿势，并将简易地示出该姿势的第一虚拟图像叠加显示于图像数据上。
[0091] 此处，设置在室内的图像传感器可以是一个，也可以是多个。而且，考虑能够检测在室内的被护理者等的位置作为图像传感器的设置场所，例如，天花板、墙面等。此外，作为图像传感器，可以利用监控照相机等拍摄装置，也可以利用红外线传感器、距离传感器等。
[0092] 此外，利用了图像数据的姿势推定例如可以使用如下的公知方法(参照专利文献1)，即，利用人体姿势的变换模型计算图像数据的检查区域中的统计量，并基于该统计量根据上一个时刻的人体姿势来推定当前时刻的人体姿势。
[0093] 第一虚拟图像简易地示出与推定出的人的姿势对应的人的外形，例如，准备了与站立、坐下、躺下等多个姿势对应的多种图像。而且，各第一虚拟图像可以在与各姿势建立关联的状态下保存在装置内的存储单元中，也可以在与各姿势建立关联的状态下保存在外部装置(服务器、客户端等)中。
[0094] 此外，作为在控制步骤中被进行显示控制的显示装置，例如，当用于护理设施、医院等时，能够使用护理者、护士常驻的集中管理室的显示器或者护理者、护士携带的便携终端等。
[0095] 由此，在控制步骤中，能够控制显示装置，以使与在姿势推定步骤中推定的姿势对应的第一虚拟图像叠加显示于在图像获取步骤中获取的图像数据。
[0096] 因此，例如，观察显示装置上的显示内容的护理者等通过观察在显示装置上显示的简易地示出被护理者等的姿势的第一虚拟图像，能够有效且高精度识别被护理者是否处于需要护理的状态。
[0097] 第二十二发明的记录介质存储有使计算机执行显示控制方法的显示控制程序，该显示控制方法包括图像获取步骤、姿势推定步骤和控制步骤的。在图像获取步骤中，获取由设置在室内的图像传感器检测出的图像数据。在姿势推定步骤中，基于在图像获取步骤中获取的图像数据，推定在室内的人体的姿势。在控制步骤中，以使第一虚拟图像叠加显示于图像数据上对显示装置进行控制，该第一虚拟图像简易地示出在姿势推定步骤中推定的人体的姿势。
[0098] 此处，记录介质中保存有显示控制程序，该显示控制程序使计算机执行上述显示控制方法，例如，为了确认被护理者的状态，利用从设置在室内的图像传感器获取的图像数据来推定在室内的人(被护理者等)的姿势，并将简易地示出该姿势的第一虚拟图像叠加显示于图像数据上。
[0099] 此处，设置在室内的图像传感器可以是一个，也可以是多个。而且，考虑能够检测在室内的被护理者等的位置作为图像传感器的设置场所，例如，天花板、墙面等。此外，作为图像传感器，可以利用监控照相机等拍摄装置，也可以利用红外线传感器、距离传感器等。
[0100] 此外，利用了图像数据的姿势推定例如可以使用如下的公知方法(参照专利文献1)，即，利用人体姿势的变换模型来计算图像数据的检查区域中的统计量，并基于该统计量根据上一个时刻的人体姿势推定当前时刻的人体姿势。
[0101] 第一虚拟图像简易地示出与推定的人的姿势对应的人的外形，例如，准备了与站立、坐下、躺下等多个姿势对应的多种图像。而且，各第一虚拟图像可以在与各姿势建立关联的状态下保存在装置内的存储单元中，也可以在与各姿势建立关联的状态下保存在外部装置(服务器、客户端等)中。
[0102] 此外，作为在控制步骤中被进行显示控制的显示装置，例如，当用于护理设施、医院等时，能够使用护理者、护士常驻的集中管理室的显示器或者护理者、护士携带的便携终端等。
[0103] 由此，控制步骤中，能够控制显示装置，以使与在姿势推定步骤中推定的姿势对应的第一虚拟图像叠加显示于在图像获取步骤中获取的图像数据。
[0104] 因此，例如，观察显示装置上的显示内容的护理者等通过观察在显示装置上显示的简易地示出被护理者等的姿势的第一虚拟图像，能够有效且高精度识别被护理者是否处于需要护理的状态。
[0105] (发明的效果)
[0107] 图1是示出包括本发明的一个实施方式的显示控制装置的显示控制系统的结构的框图。
[0108] 图2是示出由图1的显示控制系统获取显示装置上显示的图像的室内结构的立体图。
[0109] 图3(a)是示出图2所示的安装在室内天花板上的红外线阵列传感器的图。图3(b)是示出图2所示的安装在室内架子上的红外线阵列传感器的图。
[0110] 图4(a)及图4(b)是示出构成图1的显示控制系统的显示装置的一例 (主计算机、便携终端)的图。
[0111] 图5是用于说明构成图1的显示控制装置的姿势推定部进行的姿势推定所使用的第一图像数据及其检查区域的图。
[0112] 图6是用于说明构成图1的显示控制装置的姿势推定部进行的姿势推定所使用的第二图像数据及其检查区域的图。
[0113] 图7是用于说明构成图1的显示控制装置的姿势推定部进行的姿势推定所使用的第一、第二图像数据的检查区域的图。
[0114] 图8是用于说明构成图1的显示控制装置的姿势推定部进行的姿势推定所使用的第一、第二图像数据的检查区域的图。
[0115] 图9是示出由构成图1的显示控制装置的姿势推定部推定的姿势的变换模型的图。
[0116] 图10是示出图9的变换模型信息的图。
[0117] 图11是示出表示与图9的变换模型中的各姿势对应的第一、第二图像数据的检查区域的区域信息以及用于判定是否变换为各姿势的基准值的基准值信息的图。
[0118] 图12是示出构成图1的显示控制系统的显示装置上显示的图像的图。
[0119] 图13是示出图1的显示控制装置进行的显示控制的流程的流程图。
[0120] 图14是示出图1的显示控制装置进行的姿势推定的流程的流程图。
[0121] 图15(a)、图15(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的站姿图像的图。
[0122] 图16(a)、图16(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的坐姿图像的图。
[0123] 图17(a)、图17(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的卧姿图像(有被子)的图。
[0124] 图18(a)、图18(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的卧姿图像(掀开被子)的图。
[0125] 图19(a)、图19(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的跌倒卧姿图像(发生异常)的图。
[0126] 图20(a)、图20(b)是示出利用图2所示的设置在室内的两个红外线阵列传感器(天花板、侧方)拍摄的跌倒坐姿图像(发生异常)的图。
[0127] 图21(a)是示出利用图2所示的设置在室内天花板上的红外线阵列传感器拍摄的卧姿图像(无闪烁)的图。图21(b)是示出利用图2所示的设置在室内天花板上的红外线阵列传感器拍摄的卧姿图像(头部附近的热源扩大)的图。
[0128] 图22(a)是示出利用图2所示的设置在室内天花板上的红外线阵列传感器拍摄的卧姿图像(有剧烈闪烁)的图。图22(b)是示出利用图2所示的设置在室内天花板上的红外线阵列传感器拍摄的卧姿图像(掀开被子、有剧烈闪烁)的图。
[0129] 图23是示出利用图2所示的设置在室内侧墙的红外线阵列传感器拍摄的坐姿图像(有剧烈闪烁)的图。
[0130] 图24是示出本发明的其他实施方式的显示控制装置以及具有该显示控制装置的显示控制系统的结构的框图。
[0131] 图25(a)、图25(b)是示出由本发明的又一实施方式的显示控制装置进行显示控制的显示装置将跌倒卧姿图像(发生异常)与文字信息组合显示的图。
具体实施方式
[0132] 关于本发明的一个实施方式的显示控制装置10以及具有该显示控制装置10的显示控制系统20，利用图1～图23进行如下的说明。
[0133] 1.显示控制系统20的结构
[0134] 例如，如护理设施、医院等，本实施方式的显示控制系统20用于对日常生活中需要护理的被护理者进行监视，并使护理者准确地识别被护理者的状态。而且，如图1所示，显示控制系统20具有显示控制装置10、红外线阵列传感器21a、21b和显示装置22。
[0135] 此处，为了对身处室内30的被护理者(人体)P1进行看护，如图2所示，本实施方式的显示控制系统20中利用可以从室内30的上方及侧方拍摄被护理者P1的两个红外线阵列传感器21a、21b。
[0137] 显示控制装置10利用由红外线阵列传感器21a、21b拍摄的红外线图像 G1(参照图12)，判定身处室内30的被护理者P1是否处于需要护理的状态，并显示在显示装置22上。需要说明的是，显示控制装置10的详细结构将在后文进行详细叙述。
[0138] 此处，为了对室内30的被护理者P1进行看护，本实施方式的显示控制装置10中利用了红外线图像G1(参照图12)。由此，例如，与利用监控照相机图像进行看护的情况相比，可以在看护的同时保护被护理者P1的隐私。
[0139] 需要说明的是，红外线传感器21a、21b被设置为拍摄的红外线图像G1 中人的面部的部分是2～6个像素。由此，即使是利用图像中面部的部分的个人认证技术等也不能对个人进行确定，由此能够在看护的同时保护被护理者 P1的隐私。
[0140] 如图2所示，红外线阵列传感器21a、21b安装于室内30的天花板30a，并从上方拍摄身处室内30的被护理者P1。
[0141] 需要说明的是，如图3(a)所示，红外线阵列传感器(第一图像传感器) 21a直接固定于室内30的天花板30a。
[0142] 如图2所示，红外线阵列传感器21b(第二图像传感器)安装于室内30 的墙面30b，并从侧方拍摄身处室内30的被护理者P1。
[0143] 需要说明的是，如图3(b)所示，红外线阵列传感器21b可以被设置为嵌入架子33等室内设备中，而不是设置在墙面30b上。
[0144] 红外线阵列传感器21a、21b所获取的红外线图像数据被发送给显示控制装置10的图像获取部11。
[0145] 需要说明的是，红外线阵列传感器21a、21b所拍摄的红外线图像数据具有像素值越高拍摄区域的温度就越高、像素值越低拍摄区域的温度就越低的特征。即，由于人体所在的区域的温度较高，因此拍摄人体的区域的像素值较高。因此，根据红外线图像数据找到像素值较高的区域，由此能够确定人体所在的区域(温度较高的区域)。
[0146] 显示装置22例如是设置在护理设施内的主计算机22a(参照图4(a)) 的显示器、便携终端22b(参照图4(b))等，并对拍摄得到的被护理者P1 的红外线图像G1(参照图12)进行显示。而且，显示装置22由显示控制装置10进行显示控制。
[0147] 主计算机22a例如设置于护理设施中的护理者的办公室等。由此，护理者能够远程确认多个被护理者P1的状况。
[0148] 需要说明的是，便携终端22b包括护理者所持有的便携电话、智能手机、平板终端等。
[0149] 由此，即使护理者身处其他被护理者P1的房间时或正在移动中，也能够通过对便携终端22b发送图像，而使护理者在紧急时立即赶到被护理者P1 的地点。
[0150] 2.显示控制装置10的结构
[0151] 如图1所示，本实施方式的显示控制装置10具有图像获取部11、姿势推定部12、控制部13、存储部14、判定部15和人数推定部16。
[0152] 图像获取部11从红外线阵列传感器21a、21b获取由两个红外线阵列传感器21a、21b拍摄的红外线图像数据。
[0153] 姿势推定部12利用图像获取部11所获取的红外线图像数据来推定身处室内30的被护理者P1的姿势。
[0154] 需要说明的是，姿势推定部12进行的姿势推定是通过利用了变换模型的公知方法(参照专利文献1)来进行的(后文中说明)。而且，作为姿势推定部12所推定的被护理者P1的姿势，例如包括站立姿势、坐姿、仰卧姿势、侧卧姿势、俯卧姿势、弯腰姿势等。
[0155] 控制部13基于姿势推定部12所推定的被护理者P1的姿势，选择与存储部14中保存的各姿势对应的虚拟图像(第一虚拟图像)D1(参照图12)。然后，使选择的虚拟图像D1以叠加于红外线图像G1的状态显示在显示装置 22上。
[0156] 此处，虚拟图像D1是指简易地示出进行了姿势推定而得到的被护理者P1的姿势、外形的图像，准备了与多种姿势对应的图像。本实施方式中，为了可以与从上方、侧方拍摄被护理者P1而得到的图像重合，准备了与各方向对应的虚拟图像D1。
[0157] 需要说明的是，后文将详细说明控制部13对显示装置22进行的显示控制。
[0158] 存储部14将图像获取部11所获取的红外线图像数据进行保存，并且将与姿势推定部12所推定的被护理者P1的多种姿势对应的多个虚拟图像D1 建立关联并保存。
[0159] 需要说明的是，作为与存储部14所保存的被护理者P1的姿势对应的虚拟图像D1，例如包括与站姿姿势、坐姿、仰卧姿势、侧卧姿势、俯卧姿势、弯腰姿势等对应的图像。
[0160] 这些虚拟图像D1只分与从上方拍摄室内30的红外线图像G1以及从侧方拍摄室内30的红外线图像G1各自的姿势对应的两种保存在存储部14中。
[0161] 例如，对于站姿姿势，设置有用于叠加在从上方拍摄到的红外线图像G1 上的虚拟图像D1、用于叠加在从侧方拍摄到的红外线图像G1上的虚拟图像 D1即可。其他的姿势也是同样，与从上方拍摄的红外线图像G1以及从侧方拍摄的红外线图像G1对应的虚拟图像D1被保存在存储部14中。
[0162] 判定部15基于图像获取部11所获取的红外线图像数据，判定身处室内 30的被护理者P1的护理紧急程度。
[0163] 具体而言，例如，判定部15参照连续获取的多个红外线图像G1(动态图像)，检测图像中的闪烁的变化、热源的扩大等，并判定护理的紧急程度。
[0164] 例如，当姿势推定部12所推定的被护理者P1的姿势为坐姿，并且图像获取部11所连续获取的多个图像中的闪烁的变化较小时，存在被护理者P1 可能正无力地坐着的危险。
[0165] 相反，当被护理者P1的姿势为坐姿，并且图像获取部11所连续获取的多个图像中的闪烁的变化较大时，推测被护理者P1正在坐着更衣，或者操作便携终端等。
[0166] 因此，当连续获取的多个红外线图像G1中保持相同姿势长时间没有闪烁时，判定部15判定为护理的紧急程度为高，控制部13使显示装置22进行警告显示。
[0167] 此外，当姿势推定部12所推定的被护理者P1的姿势为卧姿，并且图像获取部11所连续获取的多个图像中的热源扩大时，被护理者P1呕吐的可能性较高(参照图21(b))。
[0168] 因此，在该情况下，判定部15判定为护理的紧急程度高，控制部13使显示装置22进行警告显示。
[0169] 此处，作为警告显示的例子，考虑在显示装置22中使用虚拟图像D1的闪光显示、改变颜色的显示、兼用文字信息的警告等。在改变颜色的情况下，例如，使虚拟图像D1从通常的显示色变为红色即可。此外，作为兼用文字信息的警告显示，例如，可以兼用“被护理者需要护理！”等文字显示。此外，也可以与显示一起使用蜂鸣声等警告音。
[0170] 人数推定部16利用图像获取部11所获取的红外线图像数据推定在室内 30中的人数。
[0171] 具体而言，人数推定部16通过检测红外线图像G1中包括的被推定为人的头部的高温部分，并计算其数量，由此推定在室内30中的人的数量。
[0172] 需要说明的是，人数推定部16所推定的室内30的人数被发送给控制部 13。当人数推定部16所推定的室内30的人数为两人以上时，控制部13不对显示装置22进行显示控制。
[0173] 即，本实施方式的显示控制装置10中，例如，假定当居住在室内30的被护理者P1的人数通常为一人时，或当被护理者P1以外的人(例如，护理者或亲戚、朋友等)在室内30中时，看护的必要性较低。
[0174] 因此，本实施方式的显示控制装置10中，当室内30中有被护理者P1 以外的人时，即，当人数推定部16推定为两人以上时，不对显示装置22进行显示控制。
[0175] 3.显示控制的内容
[0176] 3－1.姿势推定
[0177] 如上所述，本实施方式的显示控制装置10中，图像获取部11获取分别由两个红外线阵列传感器21a、21b拍摄的红外线图像数据。然后，姿势推定部12利用图像获取部11所获取的从上方拍摄室内30的红外线图像G1和从侧方拍摄室内30的红外线图像G1，推定被护理者P1的姿势。
[0178] 姿势推定部12按照如下的顺序对被护理者P1进行姿势推定。
[0179] 即，姿势推定部12利用检查信息进行姿势推定，该检查信息包括表示人体姿势的变换模型中的各姿势的红外线图像数据(上方及侧方)的检查区域的区域信息，和表示用于判定是否变换到各姿势的基准值的基准值信息。
[0180] 需要说明的是，变换模型信息及检查信息用于推定当前时刻的人体姿势。
[0181] 图5及图6是用于说明由红外线阵列传感器21a从天花板30a(上方) 拍摄到的红外线图像数据及其检查区域的图。红外线图像数据由X方向的16 个像素、Y方向的16个像素构成。
[0182] 区域RV1是红外线图像数据的整个区域，即0≦X≦15、0≦Y≦15的范围的区域。
[0183] 区域RV2是离与床31(参照图2)的对应区域的长度方向的边界相邻接的位置相距规定宽度(3像素)的区域，即7≦X≦9、3≦Y≦10的范围的区域。
[0184] 区域RV3是与床31对应的区域，即3≦X≦6、3≦Y≦10的范围的区域。
[0185] 区域RV4是除区域RV3以外的区域，由四个区域构成。第一区域是0 ≦X≦2、0≦Y≦15的范围的区域。第二区域是7≦X≦15、0≦Y≦15的范围的区域。第三区域是3≦X≦6、0≦Y≦2的范围的区域。第四区域是3≦X ≦6、11≦Y≦15的范围的区域。
[0186] 图7及图8是用于说明由红外线阵列传感器21b从墙面30b(侧方)拍摄的红外线图像数据及其检查区域的图。红外线图像数据由X方向的16个像素、Z方向的16个像素构成。
[0187] 区域RH1是第二图像数据的整个区域，即0≦X≦15、0≦Z≦15的范围的区域。
[0188] 区域RH2在铅直方向(Z方向)上的范围是整个范围。区域RH2在水平方向(X方向)上的范围是离与床31的对应范围(11≦X≦15)相邻接的位置相距规定宽度(3个像素)的范围。因此，区域RH2是8≦X≦10、0≦ Z≦15的范围的区域。
[0189] 区域RH3在铅直方向(Z方向)上的范围是离与床31的对应范围的上方边界相邻接的位置相距规定的宽度(5个像素)的范围。区域RH3的水平方向(X方向)的范围与床31的对应范围相同。因此，区域RH3是11≦X ≦15、5≦Z≦9的范围的区域。
[0190] 区域RH4在铅直方向(Z方向)上的范围是离与床31的对应范围的上方边界邻接的位置相距规定宽度(3个像素)的范围。区域RH4在水平方向 (X方向)上的范围与床31的对应范围相同。因此，区域RH4是11≦X≦ 15、7≦Z≦9的范围的区域。
[0191] 区域RH5在水平方向上的范围是整个范围中除了与床31对应的范围以外的范围。区域RH5在铅直方向上的范围是离最低位置(Z＝15)向上方相距规定宽度(6个像素)的范围。因此，区域RH5是0≦X≦10、10≦Z≦15 的范围的区域。
[0192] 区域RH6在水平方向上的范围是整个范围中除了与床31对应的范围以外的范围。区域RH6在铅直方向上的范围是离规定位置(Z＝12)向上方相距规定宽度(3个像素)的范围。因此，区域RH6是0≦X≦10、10≦Z≦12 的范围的区域。
[0193] 图9是表示被护理者(人体)P1的姿势的变换模型的图。图10是表示变换模型信息的图。
[0194] 将作为监视对象的被护理者P1不在室内30(A)的姿势当作初始状态。
[0195] 姿势(A)的下一姿势是在室内停留(B)或原来的姿势(A)中的任一者。
[0196] 姿势(B)的下一姿势是在床31旁边站立(C)、跌倒(X)、不在室内(A)或原来的姿势(B)中的任一者。
[0197] 姿势(C)的下一姿势是躺在床31上(D)、坐在床31上(E)、坐在床31边(F)、跌倒(X)、在室内停留(B)或原来的姿势(C)中的任一者。
[0198] 姿势(D)的下一姿势是坐在床31上(E)、坐在床31边(F)、在床 31旁边站立(C)、从床31上跌落(第一模式)(Y1)或原来的姿势(D) 的任一者。
[0199] 姿势(E)的下一姿势是躺在床31上(D)、坐在床31边(F)、在床 31旁边站立(C)、从床31上跌落(第一模式)(Y1)或原来的姿势(E) 中的任一者。
[0200] 姿势(F)的下一姿势是躺在床31上(D)、坐在床31上(E)、在床 31旁边站立(C)、从床31上跌落(第二模式)(Y2)或原来的姿势(F) 中的任一者。
[0201] 图11是表示区域信息和基准值信息的图，该区域信息表示变换模型中的各姿势的红外线图像数据的检查区域和红外线图像数据的检查区域，基准值信息表示用于判定是否变换到各姿势的基准值。
[0202] 当判定是否变换到了不在室内30(A)时，计算由红外线阵列传感器21a、 21b从上方拍摄的红外线图像数据的区域RV1的统计量与从侧方拍摄的红外线图像数据的区域RH1的统计量之和。当该统计量之和为基准值THA以上时，判定为变换到了姿势(A)。
[0203] 当判定是否变换到了在室内30停留(B)时，计算由红外线阵列传感器 21a、21b从上方拍摄的红外线图像数据的区域RV1的统计量与从侧方拍摄的红外线图像数据的区域RH1的统计量之和。当该统计量之和为基准值THB 以上时，判定为变换到了姿势(B)。
[0204] 当判定是否变换到了在床31旁边站立(C)时，计算由红外线阵列传感器21a、21b从上方拍摄的红外线图像数据的区域RV2的统计量与从侧方拍摄的红外线图像数据的区域RH2的统计量之和。当该统计量之和为基准值 THC以上时，判定为变换到了姿势(C)。
[0205] 当判定是否变换到了躺在床31上(D)时，计算由红外线阵列传感器21a、 21b从上方拍摄的红外线图像数据的区域RV3的统计量与从侧方拍摄设置的红外线图像数据的区域RH4的统计量之和。当该统计量之和为基准值THD 以上时，判定为变换到了姿势(D)。
[0206] 当判定是否变换到了坐在床31上(E)时，计算由红外线阵列传感器21a、 21b从上方拍摄的红外线图像数据的区域RV3的统计量与从侧方拍摄的红外线图像数据的区域RH3的统计量之和。当该统计量之和为基准值THE以上时，判定为变换到了姿势(E)。
[0207] 当判定是否变换到了坐在床31边(F)时，计算由红外线阵列传感器21a、 21b从上方拍摄的红外线图像数据的区域RV3的统计量与从侧方拍摄的红外线图像数据的区域RH2的统计量之和。当该统计量之和为基准值THF以上时，判定为变换到了姿势(F)。
[0208] 当判定是否变换到了跌倒(X)时，计算由红外线阵列传感器21a、21b 从上方拍摄的红外线图像数据的区域RV4的统计量与从侧方拍摄的红外线图像数据的区域RH5的统计量之和。当该统计量之和为基准值THX以上时，判定为变换到了姿势(X)。
[0209] 此处，当判定是否变换到了从床31上跌落(第一模式)(Y1)时，计算由红外线阵列传感器21a、21b从上方拍摄的红外线图像数据的区域RV2 的统计量与从侧方拍摄的红外线图像数据的区域RH6的统计量之和。当该统计量之和为基准值THY1以上时，判定为变换到了姿势(Y1)。
[0210] 需要说明的是，在该判定中利用区域RH6的理由是，在区域RH6中，设置有红外线阵列传感器21b的位置与被护理者P1从床31上跌落的位置之间的距离较短，因此从侧方拍摄的红外线图像数据中，拍摄到跌落的被护理者P1的部分在比最低线(Y＝15)更高的位置。
[0211] 此外，当判定是否变换到了从床31上跌落(第二模式)(Y2)时，计算由红外线阵列传感器21a、21b从上方拍摄的红外线图像数据的区域RV2 的统计量与从侧方拍摄的红外线图像数据的区域RH6的统计量之和。当该统计量之和为基准值THY2以上时，判定为变换到了姿势(Y2)。
[0212] 需要说明的是，在该判定中利用区域RH6的理由与从床31上跌落(第一模式)相同。
[0213] 3－2.显示控制
[0214] 本实施方式的显示控制装置10中，作为上述的姿势推定的结果，基于推定出的被护理者P1的姿势来控制显示装置22，使得将与存储部14中保存的各姿势对应的虚拟图像D1与红外线图像G1叠加显示。
[0215] 即，存储部14中保存有与姿势推定部12所推定的被护理者P1的姿势对应的多个虚拟图像D1。因此，如图12所示，控制部13基于姿势推定部 12所的姿势推定的结果，从存储部14中读取与红外线图像G1中的被护理者 P1的姿势对应的适合的虚拟图像D1，并与红外线图像G1叠加显示。
[0216] 此处，在将与推定的姿势对应的虚拟图像D1叠加显示在红外线图像G1 上时，以被护理者P1的头部的位置为基准进行叠加。
[0217] 更具体而言，在红外线图像G1中，由于多数情况下头部、面部的部分位于人体的较高位置，且通常露出，因此头部、面部的部分被表示为温度较高的部分。因此，以被推定为红外线图像G1中的头部、面部的部分的位置为基准，将虚拟图像D1的头部、面部的部分叠加以进行位置对准，并显示在显示装置22上。
[0218] 3－3.显示控制的流程
[0219] 本实施方式的显示控制装置10按照图13所示的流程图进行显示控制。
[0220] 即，步骤S11中，图像获取部11获取由两个红外线阵列传感器21a、21b 从上方及侧方拍摄室内30的红外线图像G1。
[0221] 接着，步骤S12中，人数推定部16利用获取的红外线图像G1推定在室内30的人数。
[0222] 接着，步骤S13中，判定人数推定部16所推定的在室内30的人数是否为一个人。此处，当为一个人时，则进行步骤S14。反之，当为两个人以上时，判断为在室内30有被护理者P1以外的人可以进行护理的状态，并结束显示控制处理。
[0223] 接着，步骤S14中，姿势推定部12对在步骤S13中被判定为一个人在室内30的被护理者P1的姿势进行推定。
[0224] 接着，步骤S15中，控制部13从存储部14中读取与在步骤S14中推定的被护理者P1的姿势(例如，站立等)对应的虚拟图像D1。
[0225] 接着，步骤S16中，控制部13以红外线图像G1中包括的被护理者P1 的头部或面部的部分为基准，将从存储部14中读取的虚拟图像D1进行叠加显示。
[0226] 由此，护理者能够识别显示装置22上显示的被护理者P1的姿势，并且容易地判断有无异常。
[0227] 3－4.姿势推定的流程
[0228] 本实施方式的显示控制装置10中，图13的流程图的步骤S14中的姿势推定根据图14所示的流程图来进行。
[0229] 即，在步骤S11中，从两个红外线阵列传感器21a、21b获取了红外线图像G1后，在步骤S21中，判定红外线图像G1中的被护理者P1的姿势是否为跌倒或跌落。此处，当判定为跌倒或跌落时，则进行步骤S22。反之，当判定为没有跌倒或跌落时，由于是除跌倒或跌落以外的姿势，因此进行步骤 S23。
[0230] 接着，步骤S22中，作为步骤S21中的判定结果，姿势推定部12判定为被护理者P1为跌倒或跌落的姿势。
[0231] 接着，步骤S23中，判定红外线图像G1中的被护理者P1是否在床边。此处，当判定为被护理者P1在床边时，则进行步骤S24。反之，当判定为被护理者P1不在床边时，则进行步骤S25。
[0232] 接着，步骤S24中，作为步骤S23中的判定结果，姿势推定部12判定为在床边。
[0233] 接着，步骤S25中，判定红外线图像G1中的被护理者P1是否在床上。此处，当判定为被护理者P1在床上时，则进行步骤S26。反之，当判定为被护理者P1不在床上时，则进行步骤S29。
[0234] 接着，步骤S26中，判定红外线图像G1中的被护理者P1是否坐在床上。此处，当判定为被护理者P1坐在床上时，则进行步骤S27。反之，当判定为被护理者P1未坐在床上时，则进行步骤S28。
[0235] 接着，步骤S27中，作为步骤S26中的判定结果，姿势推定部12判定为被护理者P1坐在床上。
[0236] 接着，步骤S28中，作为步骤S26中的判定结果，姿势推定部12判定为被护理者P1躺在床上。
[0237] 接着，步骤S29中，由于被护理者P1既不在床边也不在床上，因此判定是否在红外线图像G1内的测定区域内。此处，当判定为被护理者P1在测定区域内时，则进行步骤S30。反之，当判定为被护理者P1测定区域外时，则进行步骤S31。
[0238] 接着，步骤S30中，判定为被护理者P1正在床边、床上以外的室内30 的位置上移动。
[0239] 接着，步骤S31中，这次确认被护理者P1是否在床上。此处，若判定为被护理者P1在床上，则进行步骤S33。反之，若判定为不在床上，则进行步骤S32。
[0240] 接着，步骤S32中，作为利用红外线图像G1判定的结果，由于被护理者P1未跌倒、跌落，也不在床边、床上、测定区域内，因此判定为在测定区域外。
[0241] 接着，由于步骤S31中判定为被护理者P1在床上，因此在步骤S33中，例如，判定为盖着被子躺下的状态。
[0242] 4.各姿势对应的虚拟图像的显示例
[0243] 4－1.站立姿势
[0244] 如图15(a)及图15(b)所示，当被护理者P1为站立姿势时，将表示被护理者P1为站立状态的虚拟图像D1与红外线图像G1叠加显示。
[0245] 具体而言，如图15(a)所示，由于在红外线图像G1中从头上拍摄被护理者P1，因此使用俯视时显示头部和肩的部分的虚拟图像D1，该红外线图像G1是从在上方拍摄室内30的红外线阵列传感器21a中获取的。
[0246] 另一方面，如图15(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1的全身的虚拟图像D1，该红外线图像 G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0247] 需要说明的是，图15(a)及图15(b)所示的红外线图像G1上显示了表示作为室内设备的床31的虚拟图像(第二虚拟图像)D2。
[0248] 由此，护理者能够参照床31等室内设备的位置来识别被护理者P1在室内30中的哪个位置。
[0249] 4－2.坐姿
[0250] 如图16(a)及图16(b)所示，当被护理者P1为坐姿时，表示被护理者P1坐在轮椅或椅子上的状态的虚拟图像D1与红外线图像G1叠加显示。
[0251] 具体而言，如图16(a)所示，由于在红外线图像G1中从头上拍摄被护理者P1，因此使用在俯视时不仅显示头部和肩的部分也显示腿的部分的虚拟图像D1，该红外线图像G1是从在上方拍摄室内30的红外线阵列传感器21a 中获取的。
[0252] 另一方面，如图16(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1的身体弯曲的姿势的虚拟图像D1，该红外线图像G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0253] 4－3.卧姿(有被子)
[0254] 如图17(a)及图17(b)所示，当被护理者P1为在床31上躺下的卧姿时，表示被护理者P1在床31上躺下的状态的虚拟图像D1与红外线图像G1 叠加显示。
[0255] 具体而言，如图17(a)所示，由于在红外线图像G1中从上方拍摄躺下的被护理者P1，因此使用显示被护理者P1的全身的虚拟图像D1，该红外线图像G1是从上方拍摄室内30的红外线阵列传感器21a中获取的。
[0256] 需要说明的是，如图17(a)所示，当在床31上躺下的被护理者P1盖着被子(虚拟图像D3)时，红外线图像G1中盖着被子的部分作为温度较低的部分进行显示，仅头部作为温度较高的部分进行显示。
[0257] 另一方面，如图17(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1在床31上躺下的卧姿的虚拟图像D1，该红外线图像G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0258] 需要说明的是，与图17(a)同样地，如图17(b)所示，当在床31上躺下的被护理者P1盖着被子时，红外线图像G1中盖着被子的部分作为温度较低的部分进行显示，仅头部作为温度较高的部分进行显示。
[0259] 4－4.卧姿(掀开被子)
[0260] 如图18(a)及图18(b)所示，当被护理者P1为在床31上躺下的卧姿并且掀开被子(虚拟图像D3)时，表示被护理者P1在床31上躺下的状态的虚拟图像D1与红外线图像G1叠加显示。
[0261] 具体而言，如图18(a)所示，由于在红外线图像G1中从上方拍摄躺下的被护理者P1，因此使用显示被护理者P1的上半身的虚拟图像D1，该红外线图像G1是从在上方拍摄室内30的红外线阵列传感器21a中获取的。
[0262] 需要说明的是，如图18(a)所示，当在床31上躺下的被护理者P1用被子(虚拟图像D3)盖着下半身时，红外线图像G1中盖着被子的部分作为温度较低的部分进行显示，仅上半身作为温度较高的部分进行显示。
[0263] 另一方面，如图18(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1在床31上躺下的卧姿的虚拟图像D1，该红外线图像G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0264] 需要说明的是，与图18(a)同样地，如图18(b)所示，当在床31上躺下的被护理者P1用被子盖着下半身时，红外线图像G1中盖着被子的部分作为温度较低的部分进行显示，仅上半身作为温度较高的部分进行显示。
[0265] 4－5.卧姿(跌倒)
[0266] 如图19(a)及图19(b)所示，当被护理者P1为在床31的旁边跌倒的卧姿时，表示被护理者P1在床31(虚拟图像D2)旁边跌倒的状态的虚拟图像D1与红外线图像G1叠加显示。
[0267] 具体而言，如图19(a)所示，由于在红外线图像G1中从上方拍摄在床 31的旁边跌倒的被护理者P1，因此使用显示被护理者P1的全身的虚拟图像 D1，该红外线图像G1是从在上方拍摄室内30的红外线阵列传感器21a中获取的。
[0268] 需要说明的是，该情况下，由于被护理者P1在与表示床31的虚拟图像 D2不同的位置躺下，并假定为跌倒，因此虚拟图像D1例如将颜色变为与通常颜色不同的红色、黄色等，或者闪光显示。
[0269] 另一方面，如图19(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1在床31下躺下的卧姿的虚拟图像D1，该红外线图像G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0270] 另外，与图19(a)同样地，当被护理者P1在床31下躺下时，由于假定为跌倒，因此虚拟图像D1例如将颜色变为与通常颜色不同的红色、黄色等，或者闪光显示。
[0271] 由此，护理者能够确认图19(a)及图19(b)所示的红外线图像G1，从而识别为需要立即进行紧急护理的状态。
[0272] 4－6.坐姿(跌倒)
[0273] 如图20(a)及图20(b)所示，当被护理者P1在床31的旁边坐下时，表示被护理者P1在床31(虚拟图像D2)旁边跌倒并软弱无力的状态的虚拟图像D1与红外线图像G1叠加显示。
[0274] 具体而言，如图20(a)所示，由于在红外线图像G1中从上方拍摄在床 31的旁边坐下的被护理者P1，因此使用俯视时显示被护理者P1的头部、肩、腿的部分的虚拟图像D1，该红外线图像G1是从在上方拍摄室内30的红外线阵列传感器21a中获取的。
[0275] 需要说明的是，该情况下，由于假定被护理者P1在表示床31的虚拟图像D2的旁边跌倒并坐下，因此虚拟图像D1例如将颜色变为与通常颜色不同的红色、黄色等，或者闪光显示。
[0276] 另一方面，如图20(b)所示，由于在红外线图像G1中从旁边拍摄被护理者P1，因此使用显示被护理者P1在床31的旁边软弱无力地坐下的坐姿的虚拟图像D1，该红外线图像G1是从在侧方拍摄室内30的红外线阵列传感器21b中获取的。
[0277] 另外，与图20(a)同样地，当被护理者P1在床31的旁边坐下时，由于假定被护理者P1跌倒并瘫坐，因此虚拟图像D1例如将颜色变为与通常颜色不同的红色、黄色等，或者闪光显示。
[0278] 由此，护理者能够确认图20(a)及图20(b)所示的红外线图像G1，从而识别为需要立即进行紧急护理的状态。
[0279] 需要说明的是，可以通过确认连续获取的红外线图像G1，并根据移动是否被确认来判断在床31的旁边坐姿的被护理者P1的紧急程度。
[0280] 4－7.卧姿(有闪烁)
[0281] 如图21(a)所示，当被护理者P1为卧姿并且在连续获取的红外线图像中闪烁较小时，被护理者P1躺下的可能性较高。
[0282] 因此，该情况下，判定部15判定为被护理者P1不需要护理的状态。
[0283] 此外，如图22(a)所示，被护理者P1为卧姿，在连续获取的红外线图像中，当检测在被护理者P1的上半身附近闪烁较大的闪烁区域G1a时，被护理者P1正在进行将要起身的动作的可能性较高。
[0284] 此外，如图22(b)所示，被护理者P1为卧姿，在连续获取的红外线图像中，当检测在掀开被子的状态下被护理者P1的上半身附近闪烁较大的闪烁区域G1a时，被护理者P1正在进行将要起身的动作的可能性较高。
[0285] 该情况下，由于被护理者P1需要起身辅助，因此判定部15判定为需要护理的状态。
[0286] 此处，利用了红外线图像G1中的像素的闪烁的判定如下地进行。
[0287] 即，在基于连续获取的红外线图像中的图像的闪烁进行判定时，判定部 15根据图像中的热重心位置的波动来进行判定。
[0288] 具体而言，例如，截取红外线图像G1中的比室温高出规定值以上温度的区域，对截取的区域内的像素的XY方向上的位置取平均值并求出热重心的位置。然后，根据与规定阈值相比该热重心的位置是否移动(波动)，判定为需要护理的紧急程度即可。
[0289] 由此，即使在利用红外线传感器作为图像传感器的情况下，运用红外线图像(热图像)的特性，例如当热重心位置的变化小于规定阈值时，也能判定为被护理者P1需要护理的状态。
[0290] 反之，当热重心位置的变化大于规定阈值时，例如，被护理者正在更衣、操作便携终端等，能够判断为不需要护理的状态。
[0291] 结果，护理者能够通过看显示装置22上显示的被护理者P1的图像来准确地判断是否需要护理。
[0292] 4－8.卧姿(热源扩大)
[0293] 如图21(b)所示，被护理者P1为卧姿，当检测在连续获取的红外线图像中头部附近的热源扩大的热源扩大区域G1b时，被护理者P1在躺下的状态下呕吐的可能性较高。
[0294] 因此，该情况下，判定部15判定为被护理者P1需要紧急的护理的状态。
[0295] 如图21(b)所示，控制部13根据姿势推定部12的姿势推定的结果及判定部15中的护理紧急程度的判定结果，进行虚拟图像D1的颜色改变、或闪光等显示控制。
[0296] 由此，护理者能够确认显示装置22上显示的画面，从而容易地识别被护理者P1为卧姿、并且需要紧急护理的状态。
[0297] 4－9.坐姿(有闪烁)
[0298] 如图23所示，被护理者P1为坐在轮椅的虚拟图像(第二虚拟图像)D4 上的姿势，在连续获取的红外线图像中，当检测在表示轮椅32的虚拟图像 D4上的被护理者P1的上半身附近闪烁较大的闪烁区域G1a时，被护理者P1 正在进行更衣的动作的可能性较高。
[0299] 因此，该情况下，判定部15判定为被护理者P1不需要护理的状态。
[0300] 相反地，被护理者P1为坐在轮椅32的姿势，在连续获取的红外线图像中，当在被护理者P1的上半身附近经过规定时间以上几乎没有闪烁时，被护理者P1有可能瘫坐在轮椅上。
[0301] 因此，该情况下，判定部15判定为被护理者P1需要护理的状态。
[0302] 该情况下，控制部13根据姿势推定部12的姿势推定的结果及判定部15 中的护理紧急程度的判定结果，进行虚拟图像D1的颜色改变、或闪光等显示控制。
[0303] 由此，护理者能够识别被护理者P1长时间处于静止在轮椅上的状态，从而赶往被护理者P1的房间。
[0304] [其他的实施方式]
[0305] 以上，说明了本发明的一个实施方式，但本发明并不限定于上述实施方式，在不脱离发明主旨的范围内可以进行各种变更。
[0306] (A)
[0307] 上述实施方式中，作为实施上述显示控制方法的显示控制装置10以及具有该显示控制装置10的显示控制系统20，举出并说明了实现本发明的例子。但是，本发明不限于此。
[0308] 例如，作为上述的显示控制方法，也可以实现本发明。
[0309] 或者，作为使计算机执行上述显示控制方法的显示控制程序，也可以实现本发明。此外，作为存储该显示控制程序的记录介质，也可以实现本发明。
[0310] 通过任一实现方法都能获得与上述同样的效果。
[0311] (B)
[0312] 如图1所示，上述实施方式中，举出并说明了具有将与被护理者P1的各姿势对应的虚拟图像D1进行保存的存储部14的显示控制装置10的例子。但是，本发明不限于此。
[0313] 例如，如图24所示，作为保存虚拟图像的存储单元，可以利用在显示控制装置110及显示控制系统120的外部设置的云空间114等。
[0314] 即，若本发明的显示控制装置是从外部的存储单元(云空间、服务器装置等)读取并使用虚拟图像的结构，则可以是在装置内不具有存储部的结构。
[0315] (C)
[0316] 上述实施方式中，对于显示装置22，举出并说明了将虚拟图像D1叠加于红外线图像G1上进行显示的例子。但是，本发明不限于此。
[0317] 例如，如图25(a)及图25(b)所示，可以将“○○○号房XX发生异常”等文字信息与图像信息一并显示。
[0318] 该情况下，可以更清楚地向护理者显示护理的紧急程度。
[0319] 另外，这些文字信息中，与判定被护理者的护理的紧急程度的判定部中的判定结果对应的多个文字信息可以被预先保存在存储部14等。
[0320] (D)
[0321] 如图2所示，上述实施方式中，作为第一、第二图像传感器，举出并说明了将红外线阵列传感器21a、21b设置在天花板和侧面的例子。但是，本发明不限于此。
[0322] 例如，可以是将图像传感器仅设置在天花板、或者仅设置在侧面的结构，也可以利用倾斜地拍摄人体的图像传感器。
[0323] 但是，为了准确地判定人体的姿势，如上述实施方式，优选分别在天花板和侧面设置有图像传感器的结构。
[0324] (E)
[0325] 上述实施方式中，作为对图像获取部11发送图像的图像传感器，举出并说明了利用了检测温度分布的红外线阵列传感器21a、21b的例子。但是，本发明不限于此。
[0326] 例如，作为图像传感器，也可以利用监控照相机、距离传感器等其他图像传感器。
[0327] (F)
[0328] 上述实施方式中，作为护理多个被护理者P1的护理设施等中的护理方法，举出并说明了应用了本发明的显示控制装置10及显示控制系统20的例子。但是，本发明不限于此。
[0329] 例如，可以将本发明应用于护理设施以外的老人或残疾人生活的医院等设施。
[0330] 或者，可以将本发明应用于独居老人的护理。
[0331] 该情况下，通过将与老人分开生活的孩子的便携终端作为显示装置，就能从远程进行护理。
[0332] 工业可用性
[0333] 由于本发明的显示控制装置例如起到能够使护理者有效地识别被护理者需要护理的状况的效果，因此也可以广泛适用于对老人或孩子、宠物等进行护理的各种装置。
[0334] 附图标记说明
[0335] 10 显示控制装置
[0336] 11 图像获取部
[0337] 12 姿势推定部
[0338] 13 控制部
[0339] 14 存储部
[0340] 15 判定部
[0341] 16 人数推定部
[0342] 20 显示控制系统
[0343] 21a 红外线阵列传感器(第一图像传感器)(天花板)
[0344] 21b 红外线阵列传感器(第二图像传感器)(侧方)
[0345] 22 显示装置
[0346] 22a 主计算机(显示装置)
[0347] 22b 便携终端(显示装置)
[0348] 30 室内
[0349] 30a 天花板
[0350] 30b 墙面
[0351] 31 床
[0352] 32 轮椅
[0353] 33 架子
[0354] 110 显示控制装置
[0355] 114 云空间
[0356] 120 显示控制系统
[0357] G1 红外线图像(图像)
[0358] G1a 闪烁区域
[0359] G1b 热源扩大区域
[0360] D1 虚拟图像(被护理者)(第一虚拟图像)
[0361] D2 虚拟图像(床)(第二虚拟图像)
[0362] D3 虚拟图像(被子)(第二虚拟图像)
[0363] D4 虚拟图像(轮椅)(第二虚拟图像)
[0364] P1 被护理者(人体)
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种车辆紧急刹车防护系统及方法 | 2020-07-08 | 1 |
| 基于多传感网络的室内活动检测识别方法及系统 | 2020-08-20 | 3 |
| 曝光装置 | 2021-12-27 | 2 |
| 一种顺层岩质边坡软弱层应力监测及围岩加固方法 | 2021-02-10 | 2 |
| 改进的制冷食品台装置以及用于冷却该食品台的冷却系统 | 2021-11-28 | 1 |
| 一种硫化机热板位置精度检测工装及检测调整方法 | 2022-12-26 | 1 |
| 投影方法、投影设备及计算机可读存储介质 | 2021-11-07 | 2 |
| 一种太阳能环保监控路灯 | 2020-07-23 | 2 |
| 一种自监控螺栓 | 2022-08-13 | 0 |
| 一种龙门式大直径超长绳揽收放线装置 | 2021-05-20 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
位置传感器热门专利
QQ群二维码
意见反馈
意见反馈