街景服务方法及执行该方法的装置专利检索-服务器计算机网络专利检索查询-专利查询网

街景服务方法及执行该方法的装置

阅读：1035发布：2020-05-08

专利汇可以提供街景服务方法及执行该方法的装置专利检索，专利查询，专利分析的服务。并且本发明涉及街景服务方法及执行该方法的装置。街景服务方法可包括如下的步骤：街景服务服务器从第一影像处理装置接收针对第一路径的第一路径影像；所述街景服务服务器基于所述第一路径影像生成第一提供用户信息，所述第一提供用户信息用于针对所述第一路径的街景服务；所述街景服务服务器向用户设备传输所述第一提供用户信息。，下面是街景服务方法及执行该方法的装置专利的具体信息内容。

权利要求

1.一种街景服务方法，其特征在于，包括如下的步骤：
街景服务服务器从第一影像处理装置接收针对第一路径的第一路径影像；
所述街景服务服务器基于所述第一路径影像生成第一提供用户信息，所述第一提供用户信息用于针对所述第一路径的街景服务；
所述街景服务服务器向用户设备传输所述第一提供用户信息。
2.根据权利要求1所述的街景服务方法，其特征在于，
所述第一提供用户信息包括第一提供用户影像信息及第一控制信息；
所述第一提供用户影像信息为用于所述街景服务的影像信息，所述影像信息通过对所述第一路径影像进行影像后续处理生成；
所述第一控制信息为用于在所述用户设备上控制所述影像信息的信息。
3.根据权利要求2所述的街景服务方法，其特征在于，
所述第一影像处理装置生成全向影像；
所述第一影像处理装置为穿戴式装置。
4.根据权利要求3所述的街景服务方法，其特征在于，还包括如下的步骤：
所述街景服务服务器从第二影像处理装置接收针对所述第一路径的第二路径影像；
所述街景服务服务器基于所述第一路径影像及所述第二路径影像生成第二提供用户信息，所述第二提供用户信息用于针对所述第一路径的所述街景服务；及所述街景服务服务器向用户设备传输所述第二提供用户信息。
5.根据权利要求4所述的街景服务方法，其特征在于，
所述第二提供用户信息包括第二提供用户影像信息；
所述第二提供用户影像信息为用于所述街景服务的影像信息，所述影像信息通过针对所述第一路径影像及所述第二路径影像进行影像后续处理生成。
6.一种用于街景服务的街景服务服务器，其特征在于，包括：
通信部，用于与用户设备数据通信；及
处理器，可操作地与所述通信部连接；
其中，所述处理器如下实现：
从第一影像处理装置接收针对第一路径的一路径影像，
基于所述第一路径影像生成第一提供用户信息，所述第一提供用户信息用于针对所述第一路径的街景服务，
进而向用户设备传输所述第一提供用户信息。
7.根据权利要求6所述的街景服务服务器，其特征在于，
所述第一提供用户信息包括第一提供用户影像信息及第一控制信息；
所述第一提供用户影像信息为用于所述街景服务的影像信息，所述影像信息通过针对所述第一路径影像进行影像后续处理生成；
所述第一控制信息为用于在所述用户设备上控制所述影像信息的信息。
8.根据权利要求7所述的街景服务服务器，其特征在于，还包括：
所述第一影像处理装置生成全向影像；
所述第一影像处理装置为穿戴式装置。
9.根据权利要求8所述的街景服务服务器，其特征在于，
所述处理器如下实现：从第二影像处理装置接收针对所述第一路径的第二路径影像，基于所述第一路径影像及所述第二路径影像生成用于针对所述第一路径的所述街景服务的第二提供用户信息，
进而向用户设备传输所述第二提供用户信息。
10.根据权利要求9所述的街景服务方法，其特征在于，
所述第二提供用户信息包括第二提供用户影像信息；
所述第二提供用户影像信息为用于所述街景服务的影像信息，所述影像信息通过对所述第一路径影像及所述第二路径影像进行影像后续处理生成。
11.一种计算机可读记录介质，其特征在于，记录有用于施行权利要求1至5中的任意一项的方法的电脑程序。

说明书全文

街景服务方法及执行该方法的装置

技术领域

[0001] 本发明涉及街景服务方法及执行该方法的装置，更详细地说涉及基于对用户的影像拍摄装置生成的影像进行后续处理提供街景服务的方法及装置。

背景技术

[0002] 全方位(omnidirectional)图像系统是指能够以特定视点为基准记录所有方向(360度)的图像信息的图像系统。与现有的图像系统相比，能够得到非常宽的视场角(field-of-view)的图像，因此，最近不仅应用于计算机视觉、移动机器人等的研究领域，还应用至如监视系统、虚拟现实系统、PTZ(pan-tilt-zoom，平移-俯仰-变焦)摄像机、视频会议那样的实用领域，从而其应用范围在日益扩大。

[0003] 为了得到全方位图像而能够使用各种方法。例如，将使一个摄像机以满足单视点(single view point)的光轴(optical axis)为基准旋转而得到的图像拼接就能够生成全方位图像。或者，还能够使用将多个摄像机排列成环形结构并组合从各个摄像机得到的图像的方法。用户能够使用各种全方位图像处理装置(或全方位图像处理摄像机、360度摄像机)而生成全方位图像。

[0004] 全向影像装置可灵活利用于各种领域。例如，也可灵活利用于需要诸如防盗/保安的全向成像监控的区域，也可灵活利用于记录在旅行时曾到访的场所。不仅如此，对于基于全向影像装置拍摄的全向影像可进行编辑用作销售影像商品，也可灵活用作用于提供诸如街景(street view)服务的基于影像的地图服务。

[0005] 据此，需要开发如下的技术：用户针对基于全向影像处理装置生成的全向影像进行各种处理，据此将全向影像灵活利用于各种领域。

发明内容

[0006] 本发明的目的在于解决上述的问题。

[0007] 另外，本发明的另一目的在于，基于对由用户对通过影像处理装置收集的影像(例如，全向影像)进行后续处理，提供基于视频的街景服务。

[0008] 另外，本发明的另一目的在于，实现一种街景服务，针对由多个用户分别的多个影像处理装置分别生成的多个影像进行后续处理，据此快速更新影像及提供各种拍摄时间点的街景。

[0009] 不仅如此，本发明其他目的在于提供人可移动的各种路径(例如，车辆无法经过的路径(阶梯、狭窄的小巷等))的街景服务。

[0010] 为了达到上述的目的，本发明的代表性的结构如下：

[0011] 根据本发明的一方面，街景服务方法包括如下的步骤：街景服务服务器从第一影像处理装置接收针对第一路径的第一路径影像；所述街景服务服务器基于所述第一路径影像生成第一提供用户信息，所述第一提供用户信息用于针对所述第一路径的街景服务；所述街景服务服务器向用户设备传输所述第一提供用户信息。

[0012] 根据本发明的另一方面，用于街景服务的街景服务服务器包括：通信部，用于与用户设备数据通信；及处理器，可操作地(operatively)与所述通信部连接；其中，所述处理器如下实现：从第一影像处理装置接收针对第一路径的一路径影像，基于所述第一路径影像生成第一提供用户信息，所述第一提供用户信息用于针对所述第一路径的街景服务，进而向用户设备传输所述第一提供用户信息。

[0013] 根据本发明，基于对由用户对通过影像处理装置收集的影像(例如，全向影像)进行后续处理，提供基于视频的街景服务。

[0014] 另外，根据本发明，可实现一种街景服务，针对由多个用户分别的多个影像处理装置分别生成的多个影像进行后续处理，据此快速更新影像及提供各种拍摄时间点的街景。

[0015] 另外，根据本发明，可提供针对人可移动的各种路径(例如，车辆无法经过的路径(阶梯、狭窄的小巷等))的街景。附图说明

[0016] 图1是示出本发明的实施例的街景服务提供系统的概念图。

[0017] 图2是本发明的实施例的影像处理装置的影像处理方法的概念图。

[0018] 图3是示出本发明的实施例的帧组的概念图。

[0019] 图4是示出本发明的实施例的帧组的概念图。

[0020] 图5是示出本发明的实施例的拍摄位置信息决定方法的概念图。

[0021] 图6是示出本发明的实施例的提供用户影像生成方法的概念图。

[0022] 图7是示出本发明的实施例的提供用户影像生成方法的概念图。

[0023] 图8是示出本发明的实施例的提供用户影像生成方法的概念图。

[0024] 图9是示出本发明的实施例的提供用户影像生成方法的概念图。

[0025] 图10是示出本发明的实施例的提供用户影像生成方法的概念图。

[0026] 图11是示出本发明的实施例的提供用户影像生成方法的概念图。

[0027] 图12是示出本发明的实施例的提供用户影像生成方法的概念图。

[0028] 图13是示出本发明的实施例的街景服务方法的概念图。

[0029] 图14为显示本发明的实施例的全方位图像处理设备的概念图。

[0030] 图15为显示本发明的实施例的位于全方位图像处理设备的多个图像成像部的特性的概念图。

[0031] 图16为显示本发明的实施例的多个图像成像部的成像线的概念图。

[0032] 图17为显示本发明的实施例的多个图像成像部的成像线的概念图。

具体实施方式

[0033] 对于如上所述的本发明的具体说明，参照将本发明实施的特定的实施例作为例示而显示的附图。对该实施例进行具体说明，以使本领域技术人员能够充分对本发明进行实施。应当理解，本发明的各种实施例相互不同但不存在相互排它性需求。例如，本说明书中记载的特定形状、结构及特性不脱离本发明的思想与范围，并能够由一实施例变更为其它实施例而实现。并且，各个实施例内的个别结构要素的位置或配置也未脱离本发明的思想与范围的情况，并能够进行变更。因此，下面所述的说明并非通过限定的意义进行，本发明的范围包括权利要求范围的权利要求项所请求的范围及与其同等的所有范围。在附图中类似的参照符号在各个方面显示相同或类似的构成要素。

[0034] 下面，参照附图对本发明的几个优选的实施例进行具体他说明，以使本发明所属的技术领域中的普通技术人员能够容易实施本发明。

[0035] 以下，本发明的实施例的影像处理装置可包括全向影像处理装置。全向影像处理装置可包括可成像全向影像(或者360度影像)的全向拍摄机(360度拍摄机)。不仅如此，影像处理装置也可以是可成像特定视角而非全向的影像的装置。

[0036] 另外，以下在本发明的实施例中公开的影像信息、视频信息可包括全向影像(或者，360度影像)，影像信息、视频信息除了全向影像还可包括具有预定视角的影像。

[0037] 以下，在本发明的实施例中，基于影像的服务主要可以是街景服务，以便于说明。街景服务是提供移动路径/道路周边的影像信息的服务。用户可通过街景服务获取未曾去过的路径的影像信息。另外，对于街景除了移动路径/道路周边的影像信息以外，还可解释为包括在移动路径上可移动的室内(例如，购物中心、咖啡店)的影像的意思。

[0038] 图1是示出本发明的实施例的街景服务提供系统的概念图。

[0039] 在图1中公开了基于由影像处理装置成像的影像提供街景服务的街景服务提供系统。

[0040] 街景服务提供系统可包括影像处理装置100、街景服务服务器120、用户设备140。

[0041] 影像处理装置100可以是为了生成用于提供街景服务的路径影像而实现的。影像处理装置100可以是为生成针对路径的影像(例如，路径以及路径周边的全向影像)而实现的。例如，影像处理装置100可在路径上移动，拍摄路径及路径周边，可生成路径影像。以下，路径影像可以是在路径上的特定位置由影像处理装置100拍摄的全向影像、全向图像的集合。

[0042] 影像处理装置100可移动路径的同时生成路径影像。影像处理装置100探测生成路径影像的当前拍摄位置可生成当前拍摄位置信息。例如，影像处理装置100可包括用于探测当前拍摄位置信息并生成拍摄位置信息的位置信息生成模块(例如，GPS(global positioning system，全球定位系统)模块)。位置信息生成模块探测当前影像处理装置100的拍摄位置，可生成拍摄位置信息。针对路径影像的信息和拍摄位置信息相互匹配，或者以诸如在关于路径影像的信息包括拍摄位置信息的形式的能够以一个信息单位生成。

[0043] 据此，在之后的影像后续处理过程上考虑拍摄位置信息可对路径影像执行影像后续处理。通过这种对路径影像进行影像后续处理可对用户提供街景。基于路径影像进行影像后续处理对用户提供街景服务的影像可用用语“提供用户影像”表述。

[0044] 根据本发明的实施例，由影像处理装置100生成的路径影像所包括的多个帧中的至少一个帧可分别对应拍摄位置信息。影像处理装置100可每时间单位生成多个帧，在多个帧中的至少一个帧可分别对应拍摄位置信息。这种路径影像包括的帧和拍摄位置信息之间的对应可通过影像处理装置100直接执行，也可通过街景服务服务器120执行。帧和拍摄位置信息之间的对应及由影像处理装置100生成的路径影像的后续处理将在以后进行说明。

[0045] 街景服务服务器120可基于从影像处理装置100接收的路径影像的信息及拍摄位置信息向用户设备140提供街景服务。

[0046] 街景服务可以是通过用户的用户设备140提供在地图上的特定路径中拍摄的实际图像的服务。以往是基于静止图像提供街景服务，但是在本发明的实施例的街景服务可基于在特定路径上拍摄的视频提供全向影像。

[0047] 通过街景服务向用户设备140提供的用户提供信息可包括提供用户影像信息及控制信息等，其中所述控制信息用于用户设备140提供用户输入信息的街景服务。提供用户影像信息作为通过由影像处理装置100拍摄的路径影像进行后续处理而生成的影像，可包括用于向用户设备140提供街景服务的后续处理的街景影像信息。

[0048] 例如，街景服务服务器120可生成用户提供信息，用于通过对从影像处理装置100接收的路径影像进行后续处理向用户设备140提供街景服务。用户提供信息可包括提供用户影像信息及控制信息(例如，移动控制信息、探索相关信息等)，其中所述控制信息用于用户设备140根据用户的输入信息控制街景服务。

[0049] 街景服务服务器120基于与帧相对应的拍摄位置信息可将在从影像处理装置100接收的路径影像重叠或者不必要的部分除外。另外，街景服务服务器120按照移动路径对路径影像进行分割影像处理可生成提供用户影像信息。

[0050] 例如，街景服务服务器120在由影像处理装置100生成的影像中将重叠拍摄的部分除外可形成提供用户影像。是否为重叠拍摄的影像可基于与帧相对应的拍摄位置信息决定。

[0051] 另外，街景服务服务器120考虑拍摄路径影像的拍摄位置信息，按照路径分割路径影像，进而可按照路径生成提供用户影像。例如，在分支点路径分为第一路径及第二路径的情况下，基于针对第一路径的第一路径影像生成针对第一路径的提供用户影像，基于针对第二路径的第二路径影像可生成针对第二路径的提供用户影像。

[0052] 另外，街景服务服务器120可生成控制信息，所述控制信息用于用户在提供用户影像上虚拟移动。

[0053] 例如，在用户接受街景服务的情况下，可通过用户设备140提供提供用户影像(或者，街景影像)，根据用户输入信息改变提供用户影像，可提供用户在实际路径上移动的视觉感。街景服务服务器120判断存在于提供用户影像内的路径，可生成用于在路径输出用户界面(移动)的控制信息。

[0054] 举其他示例，街景服务服务器120判断存在于提供用户影像内的路径，可生成用于在路径的分支点上输出用户界面(移动)的控制信息。

[0055] 另外，街景服务服务器120可生成控制信息，以考虑通过用户界面(移动)的输入信息匹配提供用户影像。例如，街景服务服务器120在提供用户影像内的分支点显示用户界面(移动)，通过用户界面(移动)接收用户输入信息，根据用户输入信息可生成用于对用户提供提供用户影像的控制信息。控制信息可以是用于提供与通过用户输入信息指示的移动方向相对应的提供用户影像的信息。基于控制信息提供针对通过用户设备140指示的移动方向的提供用户影像，用户可在路径上虚拟移动。

[0056] 街景服务服务器120也可一次性向用户设备140提供提供用户影像及/或者控制信息，并且也可在用户设备140上根据提供用户影像信息及控制信息执行街景服务。

[0057] 街景服务服务器120从用户设备140接收提供用户影像请求信息，并且也可提供向用户设备140请求的提供用户影像及/或者用于基于请求的提供用户影像提供街景服务的控制信息。提供用户影像请求信息可基于通过用户界面输入的用户输入信息生成。或者，街景服务服务器120从用户设备140通过用户界面(移动)接收用户输入信息，以用户输入信息为基准可提供可在预定时间内被用户请求的提供用户影像。例如，街景服务服务器120可向用户设备140提供以用户的当前位置为基准相当于临界移动距离以内的提供用户影像。或者，在用户设备140通过用户界面(移动)只以第一方向移动的情况下，可向用户设备140提供以第一方向为基准相当于临界移动距离以内的提供用户影像。

[0058] 街景服务服务器120包括用于与影像处理装置100及用户设备140数据通信的通信部，并且可包括可操作(operatively)地与通信部连接的处理器。以下，基于在本发明的实施例中公开的街景服务服务器120的操作可基于处理器执行。

[0059] 用户设备140从街景服务服务器120接收用户提供信息，可将街景服务提供于用户。如上所述，用户提供信息可包括提供用户影像信息及控制信息。

[0060] 例如，用户设备140可基于用户提供信息输出提供用户影像。另外，基于控制信息通过用户设备140提供的提供用户影像上输出用户界面(移动)，基于通过用户界面(移动)输入的信息可改变通过用户设备140提供的提供用户影像。

[0061] 例如，用户设备140可输出基于全向VR(virtual reality，虚拟现实)/AR(augmented reality，增强现实)的街景影像，可以是可识别用户的动作的装置。用户设备140可以是HMD(head mounted display，头戴式显示器)，可接收并解析用户的手的动作解释为用户输入信息。或者，用户设备140也可以诸如智能手机、PC(personal computer，个人电脑)的装置，也可接收基于触摸/按键的用户输入信号来输出街景影像。

[0062] 具体地说，用户在通过用户设备140提供的提供用户影像上选择通过用户界面(移动)待移动的方向可在路径上虚拟移动。例如，提供用户影像可在分支点输出用户界面(移动)。可通过用户的手选择包括于用户界面(移动)指示待移动的方向的图标(或者，图案)。用户设备140识别手的动作作为用户输入信息，可对用户提供与用户输入信息相对应的提供用户影像。

[0063] 或者，用户设备140识别用户的其他身体部位的动作作为用户输入信息，基于移动控制信息可通过用户设备140向用户提供与由用户选择的特定方向相对应的提供用户影像。

[0064] 影像处理装置可以是针对全向可生成视频信息的装置，本发明的实施例的街景服务服务器通过针对由多个用户分别的多个影像处理装置分别生成的多个影像进行后续处理可提供可快速更新影像及提供各种拍摄时间点的街景的基于视频的街景服务。

[0065] 不仅如此，根据本发明的实施例，影像处理装置为穿戴式装置，可拍摄穿戴影像处理装置的人可移动的各种路径(例如，车辆无法经过的路径(阶梯、狭窄的箱子等))的街景。即，与基于通过车辆收集的图像提供街景服务的以往不同，可提供针对人可移动的路径的街景服务。

[0066] 图2是本发明的实施例的影像处理装置的影像处理方法的概念图。

[0067] 在图2中，公开了用于决定由影像处理装置200生成的针对路径影像的信息(或者，视频信息、全向影像信息、360度影像信息)(或者，影像信息)所包括的多个帧(frame)(或者，图片(picture))相对应的拍摄位置信息的方法。

[0068] 影像处理装置200在特定时间单位(例如，1秒)拍摄多个帧，可生成针对路径影像的信息。例如，影像处理装置200拍摄诸如60fps(frame per second)、30fps、24fps的每预定时间(例如，秒)的多帧，可生成针对路径影像的信息。

[0069] 根据本发明的实施例，作为与多个帧中的至少一个帧相对应的信息可决定针对拍摄帧的位置的拍摄位置信息(或者，地理标签(geo tag)信息)。即，作为与由影像处理装置200生成的所有帧或者提前设定的帧相对应的信息可生成拍摄位置信息。

[0070] 影像处理装置200可在室内或者室外拍摄路径影像。影像处理装置200(或者，单独的外部装置)可在室内或者室外获取拍摄位置信息，获取的拍摄位置信息可与构成路径影像的多个帧中的至少一个帧相对应。

[0071] 拍摄位置信息作为针对帧的参数信息，包括于针对路径影像的信息(视频比特流)的传输单位(或者传输格式)可由街景服务服务器进行处理。拍摄位置信息作为帧的参数信息包括，也可与针对路径影像的信息一同传输，其中所述针对路径影像的信息包括针对帧的信息。具体地说，针对拍摄位置信息的第一信息单位及包括帧信息的第二信息单位可构成一个视频比特流。

[0072] 或者，拍摄位置信息通过单独的外部装置生成也可直接传输到街景服务服务器，也可与多个帧信息结合，其中，所述多个的帧信息构成从街景服务服务器通过影像处理装置200传输的路径影像的信息。

[0073] 或者，拍摄位置信息也可用与针对路径影像的信息分开的个别信息格式(或者，传输单位)生成。例如，拍摄位置信息与帧成像时间信息相对应用另外的信息格式生成，针对路径影像的信息可包括帧的信息及与帧相对应的帧成像时间信息。拍摄位置信息包括(时间信息、拍摄位置信息)，路径影像的信息包括(时间信息、帧信息)，以同步化的时间信息为基准匹配拍摄位置信息和帧信息，可获取拍摄帧的拍摄位置信息。

[0074] 图3是示出本发明的实施例的帧组的概念图。

[0075] 在图3中公开了包括多个帧的帧组。帧组可以是包括多个帧的集合。在图3中，假设生成与包括于帧组的多个帧分别相对应的拍摄位置信息的情况。

[0076] 可生成与包括于帧组的多个帧分别相对应的拍摄位置信息。拍摄位置信息可以是拍摄帧的拍摄位置的信息。拍摄位置信息也可通过影像处理装置生成，也可通过单独的外部装置生成。

[0077] 参照图3的上端，在相同的时间资源上拍摄位置信息的个数与每秒的帧的个数(例如，30fps)相对应可针对多个帧分别生成拍摄位置信息。例如，每秒探测并生成拍摄位置信息30次，并且可与拍摄位置信息相对应，而所述拍摄位置信息分别与生成30fps的多个帧分别相对应。

[0078] 参照图3的中间，在相同的时间资源上拍摄位置信息的个数多于每秒帧的个数的情况下，拍摄位置信息中的一部分被无视，可决定时间上与帧最相邻对应的拍摄位置信息作为针对该帧的拍摄位置信息。例如，在1/30秒生成的第一拍摄位置信息和在1/25秒生成的第二拍摄位置信息存在的情况下，在1/30秒生成的帧的拍摄位置信息可以是第一拍摄位置信息。

[0079] 参照图3的下端，在相同的时间资源上拍摄位置信息的个数少于每秒帧数的情况下，基于拍摄位置信息决定预测拍摄位置信息，作为针对帧的拍摄位置信息可决定预测拍摄位置信息。

[0080] 例如，拍摄第一帧310时接收的拍摄位置信息可以是第一拍摄位置信息315；之后拍摄第五帧350时接收的拍摄位置信息可以是第二拍摄位置信息325。

[0081] 第一帧310和第五帧350之间拍摄的第二帧、第三帧、第四帧的拍摄位置信息可可决定为第一拍摄位置信息315或者可基于第一拍摄位置信息315及第二拍摄位置信息325决定。由第一拍摄位置信息315指示的第一位置和由第二拍摄位置信息325指示的第二位置直线连接，或者可考虑地图上的路径信息等设定用户移动路径。

[0082] 第一位置和第二位置之间的用户移动路径被分割，可分别决定分割的第一预测拍摄位置360、第二预测拍摄位置370及第三预测拍摄位置380作为针对第二帧、第三帧、第四帧的拍摄位置信息。例如，以相等间距分割第一位置和第二位置之间的用户移动路径，可分别决定以相对间距分割用户移动路径的第一预测拍摄位置360、第二预测拍摄位置370及第三预测拍摄位置380。考虑影像处理装置的移动速度，也可不分割第一位置和第二位置之间的用户移动路径。

[0083] 已决定的第一预测拍摄位置360可作为针对第二帧的拍摄位置信息决定；第二预测拍摄位置370可作为针对第三帧的拍摄位置信息决定；第三预测拍摄位置380可作为针对第四帧的拍摄位置信息决定。

[0084] 街景服务服务器接收拍摄位置信息及帧信息，基于拍摄位置信息及帧信息可生成提供用户影像。

[0085] 图4是示出本发明的实施例的帧组的概念图。

[0086] 在图4中公开了包括多个帧的帧组。帧组可以是包括多个帧的集合。在图4中，假设包括于帧组的多个帧中只与一部分帧对应拍摄位置信息的情况。

[0087] 参照图4，在存在多个帧中只与一部分帧相对应的拍摄位置信息的情况下，与拍摄位置信息相对应的帧可用用语“拍摄位置信息帧400”表述。

[0088] 例如，在影像处理装置为30fps，拍摄位置信息每秒生成2次的情况下，在1秒内生成的30个帧中2个帧可以是拍摄位置信息帧400，可与在2个拍摄位置信息帧400分别生成的2个拍摄位置信息相对应。

[0089] 在多个帧中可指示拍摄位置信息帧400。服务服务器基于针对拍摄位置信息帧400的指示信息获取拍摄位置信息可生成提供用户影像。

[0090] 或者，影像处理装置可将在提前包括于帧组的多个帧中的一部分帧提前设定为拍摄位置信息帧400。例如，在帧组包括10帧的情况下，在10帧(第一帧至第十帧)中可设定第一帧410及第六帧460作为拍摄位置信息帧400。多个帧中可指示拍摄位置信息帧400。服务服务器基于针对拍摄位置信息帧400的指示信息可生成拍摄位置信息，基于拍摄位置信息帧400及拍摄位置信息不对应的其余帧可生成提供用户影像。具体地说，为了生成提供用户影像，基于针对拍摄位置信息帧的指示信息决定拍摄位置信息帧，基于与拍摄位置信息帧相对应的拍摄位置信息可通过影像后续处理生成提供用户影像。

[0091] 图5是示出本发明的实施例的拍摄位置信息决定方法的概念图。

[0092] 在图5中公开了用于决定拍摄影像的影像处理装置的拍摄位置信息的方法。

[0093] 参照图5，影像处理装置可包括诸如GPS(global positioning system)的定位模块，基于诸如GPS的定位模块可生成当前拍摄位置信息。

[0094] 在定位模块准确接收到位置信号(例如，GPS信号)的情况下，影像处理装置可接收位置信号，基于位置信号可确认当前拍摄位置信息。

[0095] 另外，根据本发明的实施例，在基于定位模块无法确认当前位置信息的情况下，为了生成拍摄位置信息，也可考虑影像处理装置(或者用户)的移动信息。

[0096] 移动信息可包括与影像处理装置的移动相关的信息，诸如按时间的移动距离、总移动距离、移动速度/移动方向、移动时间等。

[0097] 在影像处理装置接收位置信号(或者，GPS信号)被断开的情况下，考虑到移动信息可决定拍摄位置信息。

[0098] 例如，第一区域510可以是可接收位置信号的区域，第二区域520可以是无法接收位置信号的区域。在影像处理装置从第一区域510向第二区域520移动的情况下，可能无法接收位置信号。在无法接收位置信号的第二区域520生成移动信息，根据移动信息可决定拍摄位置信息。

[0099] 在临界时间期间无法接收位置信号的情况下，影像处理装置可生成移动信息。若假设基于位置信号决定拍摄位置信息的动作模式为第一模式，基于移动信息决定拍摄位置信息的动作模式为第二模式，则影像处理装置从第一模式转换为第二模式可决定拍摄位置信息。

[0100] 例如，可假设佩戴影像处理装置的用户从第一区域510向第二区域520移动的情况。在第一区域510可基于位置信号决定拍摄位置信息。在影像处理装置从第一区域510向第二区域520移动的情况下，可无法接收位置信号。无法接收位置信号的点设定为基准点550，以基准点550为基准考虑移动信息可决定拍摄位置信息。

[0101] 具体地说，在未接收到位置信号的情况下，对于最终位置信号接收时间点设定为基准点550，考虑到以基准点550为基准移动的影像处理装置的移动信息可决定拍摄位置信息。例如，若假设以基准点550为基准移动第一路径560、第二路径570，则基于影像处理装置的第一路径560上的移动信息(移动方向、移动速度、移动距离、总移动距离、移动时间等)以基准点550为基准可决定第一路径560上的影像处理装置的拍摄位置信息。另外，基于影像处理装置的第二路径570上的移动信息(移动方向、移动速度、移动距离、总移动距离、移动时间等)以基准点550为基准可决定第二路径570上的影像处理装置的拍摄位置信息。

[0102] 具体地说，在影像处理装置移动第一路径560的情况下，能够按移动时间以移动方向(东侧方向)决定移动距离，根据移动方向、按移动时间的移动距离能够以基准点为基准按照移动时间决定拍摄位置信息。同样地，在影像处理装置移动第二路径570的情况下，能够以移动方向(北侧方向)按照移动时间决定移动距离，根据移动方向、按移动时间的移动距离以基准点为基准可按照移动时间决定拍摄位置信息。

[0103] 即，基于基准点550及第一路径560上等的移动信息、第二路径570上的移动信息可决定影像处理装置的路线。以基准点550为原点可在坐标平面(例如，三维坐标)上决定影像处理装置的路线。

[0104] 如上所述，拍摄位置信息可与由影像处理装置拍摄的影像(或者，帧)匹配，并且与用户界面(移动)匹配可提供提供用户影像。街景服务服务器接收第一路径560上的移动信息、第二路径570上的移动信息，并且可在提供用户影像上提供用户界面(移动)，使得用户可在第一路径560至第二路径570上移动。

[0105] 另外，街景服务服务器可匹配在路径上基于移动信息决定的拍摄位置信息和拍摄的帧可生成提供用户影像。基于移动信息的拍摄位置信息和帧之间的匹配将在以后进行详细说明。

[0106] 通过这种方法，不仅是室外，还可提供室内的影像。例如，影像处理装置在外部移动之后向室内购物中心移动的情况下，在室内购物中心内根据移动信息提供用户界面(移动)，也可提供针对室内购物中心内部的影像信息作为提供用户影像。即，接受街景服务的用户行走在街上时也可接收特定购物中心或者店铺内部的影像作为街景。即，本发明的实施例的街景不仅包括外部路径周边的影像，还可包括与路径连接的室内空间的影像。

[0107] 移动信息还可包括移动的高度的信息，在用户在室内乘坐扶梯或者电梯移动的情况下，也可在三维坐标上判断用户的位置。

[0108] 图6是示出本发明的实施例的提供用户影像生成方法的概念图。

[0109] 在图6中公开了基于移动信息决定的拍摄位置信息和帧之间的匹配方法。

[0110] 参照图6，在如图5决定移动信息的情况下，可基于移动信息决定拍摄位置信息。即，基于移动信息可按时间决定影像处理装置的拍摄位置。

[0111] 如上所述，移动信息可包括诸如按时间的移动距离、总移动距离、移动速度/移动方向等的信息。在假设基准点为原点的情况下，可基于移动信息按时间决定影像处理装置的位置，即作为按时间决定影像处理装置的拍摄位置的信息的拍摄位置信息。

[0112] 在以基准点(0,0,0)为基准在0～1秒时影像处理装置可位于(a～a’,0,0)点，在1～2秒时影像处理装置可位于(b～b’,0,0)点，在2～3秒时影像处理装置可位于(c～c’,0,0)点；可决定这种针对影像处理装置的位置的信息作为拍摄位置信息。为了便于说明，设定秒单位，但是也能够以不是秒的各种单位决定拍摄位置信息。

[0113] 若通过影像处理装置以30fps(frame per second)执行拍摄，则在包括在0～1秒拍摄30帧的第一帧组610的情况下，与拍摄位置信息(a～a’,0,0)相对应，包括在1～2秒拍摄的30帧的第二帧组620的情况下，与拍摄位置信息(b～b’,0,0)相对应；包括在2～3秒拍摄的30帧的第三帧组630的情况下，可与拍摄位置信息(c～c’,0,0)相对应。

[0114] 影像处理装置按照移动时间执行影像拍摄可按时间生成帧信息。基于同步化的时间信息匹配(时间、拍摄位置信息)和(时间、帧信息)可匹配拍摄位置信息和帧信息。街景服务服务器基于同步化的时间信息匹配拍摄位置信息和帧信息可生成提供用户影像。

[0115] 图7是示出本发明的实施例的提供用户影像生成方法的概念图。

[0116] 在图7中公开了通过针对路径影像信息进行影像后续处理生成提供用户影像的方法。

[0117] 本发明的实施例的街景服务可基于多个用户直接使用影像处理装置拍摄的路径影像提供。例如，影像处理装置可以是穿戴式装置，佩戴影像处理装置的多个用户分别移动特定路径，并且多个影像处理装置分别可生成针对路径周边的路径影像。

[0118] 在对于特定路径只存在一个路径影像720的情况下，街景服务服务器通过对一个路径影像(例如，一个全向影像)720进行影像后续处理可生成针对路径的提供用户影像750。街景服务服务器分析一个路径影像720，在一个路径影像720中去除不必要的帧，可生成户提供影像750。另外，街景服务服务器对路径影像执行后续处理可生成控制信息，以生成提供用户影像750。

[0119] 在对于相同的路径存在从多个影像处理装置接收的多个路径影像(例如，多个全向影像)740的情况下，街景服务服务器通过对多个路径影像740进行影像后续处理可生成针对路径的提供用户影像750。街景服务服务器分析多个路径影像740，在多个路径影像740中决定用于生成提供用户影像750的至少一个选择路径影像，在选择路径影像中可去除不必要的帧。另外，街景服务服务器对选择路径影像执行后续处理可生成控制信息，以生成提供用户影像750。具体地说，街景服务服务器可对路径影像执行后续处理，进而使得用户对于路径影像能够感受到移动实际路径的感觉。

[0120] 图8是示出本发明的实施例的提供用户影像生成方法的概念图。

[0121] 在图8中公开了通过对路径影像进行影像后续处理生成针对路径的提供用户影像的方法。尤其是，公开了去除不必要的帧以生成提供用户影像。

[0122] 参照图8，路径影像可以是由佩戴穿戴式影像处理装置的用户拍摄的影像。

[0123] 街景服务服务器在包括于路径影像(或者，选择路径影像)的多个的帧中可对不必要的帧执行删除，以提供提供用户影像。

[0124] 在影像处理装置持续停留在特定位置的情况下，影像处理装置可拍摄相同的区域，对于相同区域的拍摄可生成不必要的帧。例如，影像处理装置在A点800停留2秒的情况下，可生成在2秒期间对相同个体执行拍摄的帧。

[0125] 为了生成提供用户影像，需要在A点800拍摄的帧中去除不必要的帧。

[0126] 服务服务器在A点800拍摄生成的帧中可去除除了用于生成提供用户影像的必要的帧以外的其余的帧。

[0127] 例如，在A点800在2秒期间拍摄120帧的情况下，在120帧中除了30帧以外的其余90帧被服务服务器判断为不必要的帧，可去除这些帧。

[0128] 图9是示出本发明的实施例的提供用户影像生成方法的概念图。

[0129] 在图9中公开了对一个路径影像(例如，一个全向影像)进行影像后续处理生成针对路径的提供用户影像的方法。

[0130] 参照图9，街景服务服务器分析用户的路径可对路径影像执行后续处理。

[0131] 街景服务服务器可对由影像处理装置拍摄的路径影像执行分析。可假设在第一路径上影像处理装置移动的状况。影像处理装置为穿戴式装置，可被用户佩戴。影像处理装置在第一路径上不在第一路径的中心移动而是脱离第一路径的中心移动的同时可生成路径影像。

[0132] 据此，为了对接受街景服务的用户提供诸如在路径中心900中拍摄的路径中心影像，需要对路径影像执行后续处理。路径中心影像可对接受街景服务的用户提供以预定的移动方向(或者，移动路径)为基准的提供用户影像(或者，街景影像)。

[0133] 即，在影像处理装置在第一路径上未移动路径中心900的情况下，街景服务服务器基于对拍摄的路径影像进行影像后续处理可生成路径中心影像。街景服务服务器在提供街景服务时可对用户提供路径中心影像，用户界面(移动)位于路径中心影像可接收用户信号。

[0134] 为了基于对路径影像进行影像后续处理生成路径中心影像，街景服务服务器可在路径影像中决定基准路径影像。基准路径影像作为以路径中心为基准的临界范围内拍摄的影像，可以是灵活用作用于生成路径中心影像的基准的影像。在路径影像中除基准路径影像以外的路径影像可用“参照路径影像”表述。街景服务服务器以基准路径影像为基准生成路径中心影像，而且可参照参照路径影像。

[0135] 街景服务服务器基于包括于路径影像的路径的信息可设定路径中心。在路径影像内可包括针对用户经过的道路的影像信息，街景服务服务器以针对道路的影像信息为基准可设定路径中心900。在用户经过的路径为宽度在5m的道路的情况下，以宽度中心为基准的临界距离的区域设定为路径中心900。即，街景服务服务器判断在路径影像内用户可经过的路径的中心，以路径的中心为基准至临界距离区域可设定为路径中心900。

[0136] 街景服务服务器可进行学习以决定路径中心900。街景服务服务器接收包括各种路径及针对各种路径的中心点的信息通过机械性学习可获取对于路径中心900的判断基准。

[0137] 街景服务服务器将在路径中心900中心拍摄的路径影像设定为基准路径影像，脱离路径中心拍摄的路径影像可决定为参照路径影像。街景服务在拍摄基准路径影像的位置可基于基准路径影像生成提供用户影像。相反地，街景服务在拍摄参照路径影像的位置基于基准路径影像及参照路径影像可生成提供用户影像。

[0138] 考虑在路径中心是否拍摄路径影像，第一路径可分成至少一个下级路径。第一路径可区分为拍摄基准路径影像的基准下级路径和拍摄参照路径影像的参照下级路径。第一路径可分为诸如基准下级路径1 910、参照下级路径1 915、基准下级路径2 920、参照下级路径2 925、基准下级路径3 930的下级路径。在基准下级路径1 910上拍摄基准路径影像1，在基准下级路径2 920上拍摄基准路径影像2，在基准下级路径3 930上可拍摄基准路径影像3。在参照下级路径1 915上可拍摄参照路径影像1，在参照下级路径2 925上可拍摄基准路径影像2。

[0139] 公开了基于基准下级路径及参照下级路径生成提供用户影像的具体方法。

[0140] 图10是示出本发明的实施例的提供用户影像生成方法的概念图。

[0141] 在图10中公开了对一个路径影像(例如，一个全向影像)进行影像后续处理生成针对路径的提供用户影像的方法。

[0142] 参照图10，基准下级路径(例如，基准下级路径1、基准下级路径2及基准下级路径3)1000中基于基准路径影像(例如，准路径影像1、基准路径影像2及基准路径影像3)1010可生成提供用户影像1020。基准路径影像1010是在路径中心中拍摄的影像，因此去除不必要的帧可生成提供用户影像1020。去除不必要的帧也可在决定基准路径影像1010及参照路径影像1040前执行。

[0143] 参照下级路径(例如，参照下级路径1及参照下级路径2)1030中基于参照路径影像(例如，参照路径影像1及参照路径影像2)1040及/或者相邻位置的基准路径影像(例如，基准路径影像1、基准路径影像2及基准路径影像3)1010可生成提供用户影像1020。

[0144] 在未对在参照下级路径1拍摄的参照路径影像1进行影像后续处理生成提供用户影像的情况下，无法对用户提供以路径中心为基准的影像。据此，通过与参照路径影像1及参照路径影像1相邻拍摄的基准路径影像1及/或者基准路径影像2的组合可生成针对参照下级路径1的提供用户影像1020。

[0145] 基于在参照下级路径1上对参照路径影像1及基准路径影像1及/或者基准路径影像2进行组合生成路径信息1060和路径周边信息1070，结合路径信息1060和路径周边信息1070可生成提供用户影像1020。路径信息1060可以是针对路径的影像信息，路径周边信息
1070可以是针对以路径为基准的路径周边的影像信息。街景服务服务器在基于针对路径的机械性学习接收的路径影像可决定与路径相对应的部分，提取与路径部分相对应的影像决定为路径信息1060。另外，街景服务服务器可将除了路径以外的部分决定为路径周边信息
1070。路径信息1060可包括路径图像及生成路径图像的位置信息。路径周边信息1070可包括路径周边图像及生成路径周边图像的位置信息。

[0146] 具体地说，参照下级路径1的路径信息可基于路径图像1、路径图像2及路径图像3中的至少一个的路径图像决定。路径图像1可包括针对参照下级路径1的路径的图像信息，其中所述参照下级路径1包括于基准路径影像1，所述基准路径影像1是在基准下级路径1和参照下级路径1相遇的点拍摄的。路径图像2可包括针对参照下级路径1的路径的图像信息，其中所述参照下级路径1包括于参照路径影像1。路径图像3可包括针对参照下级路径1的路径的图像信息，其中所述参照下级路径1包括于基准路径影像2，所述基准路径影像2是在参照下级路径1和基准下级路径2相遇的点拍摄的。

[0147] 街景服务服务器基于路径图像1、路径图像2及路径图像3中的至少一个图像通过插值/预测步骤可决定参照下级路径1上的路径信息。在路径图像为从路径中心倾向于左或者右的图像的情况下，假设通过影像插值/预测影像处理装置位于路径中心的情况生成插值/预测的路径图像作为路径信息1060。例如，在影像处理装置从路径中心向左侧移动生成参照路径影像的情况、位于路径中心的情况下，预测影像处理装置的拍摄范围可插值参照路径影像。影像处理装置可拍摄全向影像，在全向影像的拍摄中心点向路径中心移动的情况下，街景服务服务器预测与路径相应的部分的影像变化插值影像，可生成路径信息1060。影像变化可以是按照拍摄位置拍摄的路径图像的变化。

[0148] 另外，参照下级路径1的路径周边信息1070可基于路径周边图像1、路径周边图像2及路径周边图像3中的至少一个路径周边图像决定。路径周边图像1可包括针对参照下级路径1的路径周边的图像信息，所述参照下级路径1包括于基准路径影像1，所述基准路径影像1是在基准下级路径1和参照下级路径1相遇的点拍摄的。路径图像2可包括针对参照下级路径1的路径周边的图像信息，所述参照下级路径1包括于参照路径影像1。路径图像3可包括针对参照下级路径1的路径周边的图像信息，所述参照下级路径1包括于基准路径影像2，所述基准路径影像2是在参照下级路径1和基准下级路径2相遇的点拍摄的。

[0149] 街景服务服务器基于路径周边图像1、路径周边图像2及路径周边图像3中的至少一个通过插值/预测步骤可决定参照下级路径1上的路径周边信息1070。在路径周边图像在路径中心向左或者右倾向的情况下，假设通过影像插值/预测影像处理装置位于路径中心的情况，生成插值/预测的路径周边图像可作为路径周边信息1070生成。例如，影像处理装置在路径中心向左侧移动生成参照路径影像的情况、位于路径中心的情况下，预测影像处理装置的拍摄范围可插值参照路径影像。影像处理装置可拍摄全向影像，在全向影像的拍摄中心点向路径中心移动的情况下，街景服务服务器预测与路径周边相应的部分的影像变化插值影像可生成路径周边信息。影像变化可以是按照拍摄位置拍摄的路径周边图像的变化。

[0150] 即，街景服务服务器单独生成路径信息1060和路径周边信息1070，基于位置信息匹配路径信息1060及路径周边信息1070上也可提供在参照下级路径以路径中心为基准的提供用户影像。

[0151] 图11是示出本发明的实施例的提供用户影像生成方法的概念图。

[0152] 在图11中公开了通过对多个路径影像(例如，多个全向影像)进行影像后续处理生成针对路径的提供用户影像的方法。

[0153] 参照图11，街景服务服务器接收针对相同路径的多个路径影像1120，通过对多个路径影像1120进行影像后续处理可生成提供用户影像。

[0154] 街景服务服务器在多个路径影像1120中可决定用于生成提供用户影像的至少一个选择路径影像。

[0155] 街景服务服务器决定路径中心，将距离路径中心大于临界距离或者难以生成提供用户影像的影像(例如，因为用户弯腰的动作以低于临界高度拍摄的图像)除外，可决定选择路径影像1140。

[0156] 街景服务服务器基于选择路径影像1140可生成提供用户影像1160。提供用户影像可基于各种方法生成。

[0157] 提供用户影像1160可通过多个的选择路径影像1140的组合生成。

[0158] 例如，路径被分割成多个的下级路径，分别对于多个的下级路径可分别决定最优选的选择路径影像1140。多个优选的选择路径影像1140分别结合可生成提供用户影像1160。此时，多个的优选的选择路径影像1140分别可以是在类似的拍摄环境(拍摄时间。拍摄时的天气、广度等)上拍摄的影像。

[0159] 作为其他方法，街景服务服务器基于多个的选择路径影像1140生成路径信息和路径周边信息，基于位置信息结合路径信息和路径周边信息可生成提供用户影像1160。

[0160] 如上所述，在图10中街景服务服务器从多个的选择路径影像1140提取与路径相应的影像部分按位置生成路径信息。另外，街景服务服务器从多个的选择路径影像1140提取与路径周边相应的影像部分可按位置生成路径周边信息。

[0161] 即，街景服务服务器基于多个选择路径影像1140单独生成路径信息和路径周边信息，基于位置信息匹配路径信息及路径周边信息在参照下级路径上也可提供以路径中心为基准的提供用户影像1160。

[0162] 街景服务服务器可从影像处理装置持续接收针对特定路径的路径影像信息，基于接收的路径影像信息可持续更新提供用户影像。

[0163] 图12是示出本发明的实施例的提供用户影像生成方法的概念图。

[0164] 在图12中公开了通过对多个路径影像(例如，多个全向影像)执行影像后续处理生成针对路径的提供用户影像。

[0165] 参照图12，公开了通过街景服务按时间提供街景影像的方法。

[0166] 街景服务服务器按时间段(或者，拍摄环境)组合选择路径影像1200可提供提供用户影像1220。例如，组合上午拍摄的选择路径影像可提供该路径的上午街景作为提供用户影像1220，并且组合下午拍摄的选择路径影像提供下午街景作为提供用户影像1220，并且组合晚上拍摄的选择路径影像可提供晚上街景作为提供用户影像1220。

[0167] 用户按照当前时间提供符合当前时间的街景作为提供用户影像1220，也可根据用户另外选择的时间点接收该时间点的街景。

[0168] 街景服务服务器按照拍摄环境(拍摄时间点、拍摄时间点的天气等)组合选择路径影像按时间点生成街景可作为提供用户影像1220提供。

[0169] 图13是示出本发明的实施例的街景服务方法的概念图。

[0170] 在图13中公开了街景服务服务器生成控制信息，按路径提供街景服务的方法。

[0171] 可在包括现有的路径的信息的地图信息按位置匹配提供用户影像，街景服务服务器从用户设备基于地图信息接收请求针对特定位置的街景提供请求，根据街景提供请求可向用户设备提供用户影像(或者街景影像)。

[0172] 街景服务服务器可提供控制信息，用户设备基于控制信息输出用户界面(移动)1300，根据向用户界面(移动)1300上输入的用户信号可提供用户影像。具体地说。在具有移动方向(南/北)的路径的情况下，用户界面(移动)1300可以是用于输入在一个移动方向(南/北)中应该向哪一方向移动的用户界面。

[0173] 另外，用户界面(移动)1300可考虑拍摄的区域生成。是在路径中移动方向(东/西/南/北)，在只对东/西/南提供用户影像的情况下，可提供能够以除了北侧移动方向以外的其余东/西/南方向移动的用户界面(移动)。

[0174] 街景服务服务器判断可移动的分支点，对在分支点对于可移动的路径按路径判断是否存在提供用户影像可生成用户界面(移动)1300。

[0175] 以下，图14至图16是针对在图1至图13公开的影像处理装置的一示例。本发明的实施例的街景服务也可通过不同的各种影像处理装置执行，这种实施例也包括在本发明的权利范围内。

[0176] 图14为显示本发明的实施例的全方位图像处理设备的概念图。

[0177] 图14中公开全方位图像处理设备的结构。

[0178] 参照图14，全方位图像处理设备1400为可穿戴结构，为与戴在用户的颈部的项链类似的形状。全方位图像处理设备1400如图1所示，也能够为一面开放的项链的形状，也能够为一面未开放的项链的形状。下面，在本发明的实施例中，假设全方位图像处理设备1400为一面开放的U字形状。该U字形状的全方位图像处理设备1400为以可穿戴设备(wearable device)形状戴在用户的颈部而拍摄全方位图像。

[0179] 在本发明的实施例中，为便于说明，假设全方位图像处理设备100为项链形状(或者一面开放的项链形状、U字形状)，而戴在用户的颈部的情况。但，全方位图像处理设备1400也并非为简单戴在用户的颈部的形状。例如，全方位图像处理设备1400以能够挂卡/附着的各种形状，设置于用户的不同的身体部位或外部物体(或者个体)/设备/结构等，由此，也能够获得全方位图像。

[0180] 用户将作为可穿戴设备实现的全方位图像处理设备100戴在颈部，并在双手自由的状态下，获得用于生成全方位图像的多个图像。

[0181] 全方位图像处理设备1400包括多个图像成像部。多个图像成像部分别以特定间距(或预定的间距)而设置在全方位图像处理设备，由此，分别对视角/成像线的图像个别成像。多个图像成像部各自的位置也能够固定于全方位图像处理设备1400，但多个图像成像部能够分别移动，且多个图像成像部各自的位置也能够进行变更。

[0182] 例如，全方位图像处理设备1400包括三个图像成像部，三个图像成像部按一定的视角(field of view)(例如，120度～180度)对全方位图像进行成像。三个图像成像部为图像成像部1 1410、图像成像部2 1420、图像成像部3 1430。

[0183] 下面，为了便于说明，公开有三个图像成像部包含于全方位图像处理设备1400的结构。但，并非三个而也能够为多个(例如，2、4、5、6个等)图像成像部包含于全方位图像处理设备1400，对全方位图像进行成像，该形状也包含于本发明的权利要求范围。

[0184] 图像成像部1 1410、图像成像部2 1420及图像成像部3 1430根据视角而对图像进行成像。在相同的时间资源上，通过图像成像部1 1410而生成图像1，通过影像成像部2 1420而生成图像2，通过图像成像部3 1430而生成图像3。图像成像部1 1410、图像成像部2
1420、图像成像部3 1430各自的视角为120度，在图像1、图像2及图像3中存在重叠的成像区域。之后，通过全方位图像处理设备1400拼

[0185] 接/补正在相同的时间资源上所成像的图像1及图像2及图像3，从而，生成全方位图像。对多个图像的拼接及/或补正顺序也能够在全方位图像处理设备本身执行，也能够基于能够与全方位图像处理设备1400通信的用户设备(智能手机)执行。即，对所生成的多个图像的增加的图像处理顺序也能够通过全方位图像处理设备1400及/或其它图像处理设备(智能手机、电脑(personal computer)等)执行。

[0186] 下面，具体显示全方位图像处理设备的具体特征及全方位图像生成方法。

[0187] 图15为显示本发明的实施例的位于全方位图像处理设备的多个图像成像部的特性的概念图。

[0188] 在图15中，公开位于U字型的全方位图像处理设备的多个图像成像部的特征。图15中例示公开的图像成像部的位置。多个图像成像部分别位于全方位图像处理设备上的不同的位置，以用于对用于生成全方位图像的多个图像进行成像。

[0189] 在图15的上端显示有全方位图像处理设备的后面。

[0190] 包含在全方位图像处理设备的图像成像部1 1510及图像成像部2 1520位于在全方位图像处理设备上存在曲率的弯曲的部分。具体地，对于用户将全方位图像处理设备作为可穿戴设备而挂于颈部的情况，在与颈部的后部位接触并弯曲的区域设置图像成像部1 1510及图像成像部2 1520。例如，基于U字型的全方位图像处理设备的最大曲率支点(例如，U字型的中间部分)而将图像成像部1 1510及影像成像部2 1520设置在一定距离上。

[0191] 图像成像部1 1510基于用户的视线(line of sight)方向而对包含后面左侧死角区域的区域进行成像。图像成像部2 1520基于用户的视线而对包含后面右侧死角区域的区域进行成像。具体地，图像成像部1 1510具有第一视角，执行与第一视角相应的区域的成像。图像成像部2 1520具有第二视角，执行与第二视角相应的区域的成像。例如，第一视角及第二视角为120～180度。

[0192] 对于执行通过图像成像部1 1510及图像成像部2 1520的成像的情况，生成通过第一视角与第二视角而重叠的第一重叠区域1515。之后，以基于重叠区域的拼接为基础而生成全方位图像。

[0193] 图15的下端公开全方位图像处理设备的前部。

[0194] 在全方位图像处理设备的前面设置有图像成像部3 1530。具体地，图像成像部3 1530设置在全方位图像处理设备的末端部(U字型的端(末端)部分)。对于用户将全方位图像处理设备作为可穿戴设备挂于颈部的情况，U字型的全方位图像处理设备的末端部分位于用户的前面方向(用户的视线注视的方向)。全方位图像处理设备包括：第一末端部与第二末端部，图像成像部3 1530设置在第一末端部与第二末端部中一个末端部。

[0195] 图像成像部3 1530以与用户的视线的方向相同的方向执行成像而执行对与用户的视线相应的区域的成像。

[0196] 具体地，图像成像部3 1530具有第三视角，执行对与第三视角相应的区域的成像。例如，第三视角为120度～180度。对于执行通过图像成像部3 230的成像的情况，因图像成像部11510的第一视角与图像成像部3 1530的第三视角而产生第二重叠区域1525。对于执行通过图像成像部3 1530的成像的情况，因图像成像部2 1520的第二视角与图像成像部3
1530的第三视角而产生第三重叠区域1535。对于在挂于颈部的可穿戴设备的结构上，全方位图像处理设备挂于颈部的情况，图像成像部1 1510、图像成像部2 1520基于地面而相对地处于高于图像成像部3 1530的地方。并且，图像成像部3 1530位于一侧末端部。在现有的全方位图像处理设备中，位于相同高度的多个图像成像部具有一定的角度，而本发明的实施例的全方位图像处理设备的多个图像成像部之间的角度不同，且所处的高度也各不相同。因此，分别通过多个图像成像部生成的多个影像的第一重叠区域1515、第二重叠区域
1525及第三重叠区域1535的大小/形状相互不同。

[0197] 之后，以通过基于第一重叠区域1515/第二重叠区域1525/第三重叠区域1535的图像成像部1 1510、图像成像部2 1520及图像成像部3 1530而分别生成的图像1、图像2及图像3的图像处理次序(拼接/补正等)为基础而生成全方位图像。第一视角、第二视角、第三视角的大小也能够被相同地设定，但也能够进行相互不同地设定，并包含于该实施例及本发明的权利要求范围内。

[0198] 图16为显示本发明的实施例的多个图像成像部的成像线的概念图。

[0199] 图16中，显示设置于全方位图像处理设备的多个图像成像部各自的成像线。对于假设将地面与X轴与Z轴构成的XZ平面平行的情况，成像线被定义为在由X轴/Y轴/Z轴呈现的空间上，垂直通过包含于全方位图像处理设备的多个图像成像部各自的透镜的中央的线。

[0200] 现有的全方位图像处理设备在相同的高度上，将多个图像成像部按一定的角度(例如，120度)实现。对于该情况，包含于现有的全方位图像处理设备的多个图像成像部的多个成像线是指与地面(或XZ平面)平行，且在多个成像线之间为具有一定的角度(例如，120度)的多个线。

[0201] 本发明的实施例的全方位图像处理设备如上所述，多个图像成像部的高度(或多个图像成像部的实现的位置)及多个图像成像部之间的角度(或成像线之间构成的角度)在成像时相互不同。因此，本发明的实施例的全方位图像处理设备的成像线的特性与现有的全方位图像处理设备的成像线的特性存在差异。

[0202] 图16中例示呈现的多个图像成像部各自的成像线用于显示因可穿戴设备的特性而造成的多个图像成像部各自的成像线之间的特性(例如，高度，角度)的差异。并且，图16中显现的成像线为不存在因佩戴全方位图像处理设备的用户的移动，或为在全方位图像处理设备特定状态下固定的情况的成像线。

[0203] 图16的上端公开图像成像部1 1610及图像成像部2 320的成像线。

[0204] 图像成像部1 1610及图像成像部2 1620相对地呈现在比图像成像部3 1630高的位置。假设佩戴全方位图像处理设备的用户的所处的方向为Y轴方向的情况，在挂于颈部的可穿戴设备的结构上，在全方位图像成像设备上，相对地提升具有影像成像部1 1610及图像成像部2 1620所处的曲率的部分(U字中的曲线/中央部分)，并图像成像部3 1630所处的腿部分(U字中末端部分)相对下移。

[0205] 例如，图像成像部1 1610的成像线1 1615与XZ平面平行，而在Y轴的坐标a中，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。

[0206] 图像成像部2 1620的成像线2 1625与XZ平面平行，而在Y轴的支点a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。

[0207] 参照图16的下端，图像成像部3 1630的成像线3 1635与XZ平面平行，而在Y轴的坐标b上，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。b为小于a的值。图像成像部3 1630的成像线3 1635与XZ平面平行，注视与用户的视线相同地前面(例如，与XY平面垂直的方向)。

[0208] 即，成像线1 1615及成像线2 1625基于Y轴而具有相同的高度，成像线3 1635基于Y轴而处于相对地比成像线1及成像线2低的位置。在图3中公开的成像线1 1615、成像线21625及成像线3 1635为具有相互不同特性的成像线的一个例示，定义各种成像线，并成像全方位图像。

[0209] 图17为显示本发明的实施例的多个图像成像部的成像线的概念图。

[0210] 在图17中，公开与图16不同的多个图像成像部的成像线。同样地，在图17中，假设地面与X轴和Z轴构成的XZ平面平行。

[0211] 图17的上端公开图像成像部1 1710及图像成像部2 1720的成像线。

[0212] 图像成像部1 1710及图像成像部2 1720处于相对地高于图像成像部3 1730的位置。同样地，对于假定用户所处的方向为Y轴方向的情况，挂于颈部的可穿戴设备的结构上的全方位图像成像设备以相对提升具有图像成像部1 1710及图像成像部2 1720所处的曲率的部分(U字中曲线部分)，且图像成像部3 1730所处的腿的部分(U字中末端部分)相对下移的形式而对图像进行成像。

[0213] 例如，图像成像部1 1710的成像线1 1715与XZ平面平行，而Y轴的坐标a上，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。图像成像部2 1720的成像线2 1725与XZ平面平行，而在Y轴的坐标a上，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。

[0214] 图17的下端公开图像成像部3 1730的成像线。

[0215] 图像成像部3 1730的成像线3 1735未与XZ平面平行，将Y轴的坐标b作为开始支点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

[0216] 图像成像部3 1730位于全方位图像处理设备的末端部，由此，成像线未与XZ平面平行，并与XZ平面具有一定角度(例如，0～30度)。

[0217] 即，成像线1 1715及成像线2 1725基于Y轴而具有相同的高度，成像线3 1735基于Y轴而处于相对地低于成像线1 1715及成像线2 1725位置。并且，成像线1 1715及成像线2 1725与XZ平面平行，但成像线3 1735未与XZ平面平行。

[0218] 作为本发明的另一实施例，例如，图像成像部1的成像线1与XZ平面构成第1’角度，并将Y轴的坐标a作为开始支点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，图像成像部2的成像线2与XZ平面构成第1’角度，将Y轴的坐标a作为开始支点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。图像成像部3的成像线3与XZ平面构成第2’角度，将Y轴的坐标b作为开始支点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

[0219] 通过本发明的又一实施例，例如，图像成像部1的成像线1与XZ平面构成第1’角度，将Y轴的坐标a作为开始支点，与X轴成第1角度1、与Y轴成第2角度、与Z轴成第3角度。并且，图像成像部2的成像线2与XZ平面构成第2’角度，将Y轴的坐标a作为开始支点，与X轴成第4角度、与Y轴成第5角度、与Z轴成第6角度。图像成像部3的成像线3与XZ平面构成第3’角度，将Y轴的坐标b作为开始支点，与X轴成第7角度、与Y轴成第8角度、与Z轴成第9角度。

[0220] 即，多个图像成像部各自的成像线与在现有的相同的Y轴支点上，具有与地面相同的角度的图像处理设备不同，本发明的实施例的全方位图像处理设备的多个图像成像部各自的成像线处于相互不同的Y轴支点上，并具有与地面(或XZ平面)相互不同的角度。

[0221] 以上说明的根据本发明的实施例能够以通过各种计算机构成要素而能够执行的程序指令的方式具体实现并记录于计算机可读记录介质中。上述计算机可读记录介质能够将程序指令、数据文件、数据结构等单独或组合而包括。记录于上述计算机可读记录介质的程序指令可以是为本发明而专门设计并构成的程序指令，或者可以是计算机软件领域的技术人员所公知而能够使用的程序指令。在计算机可读记录介质的例子中包括如硬盘、软盘以及磁带那样的磁介质、如CD-ROM和DVD那样的光学记录介质、如光磁软盘(floptical disk)那样的磁光介质(magneto-optical medium)以及如ROM、RAM、快闪存储器等那样的存储并执行程序指令地专门构成的硬件设备。在程序指令的例子中不仅包括诸如由编译器生成的机器语言代码还包括使用编译器等而通过计算机能够执行的高级语言代码。硬件设备能够变更为一个以上的软件模块以执行根据本发明的处理，反之亦然。

[0222] 以上虽然通过诸如具体构成要素等的特定事项和有限的实施例以及附图说明了本发明，但这只是为了有助于更全面地理解本发明而提供而已，本发明并不限定于上述实施例，本领域普通技术人员通过这些记载能够进行各种修改和变更。

[0223] 因此，本发明的思想不得由上面所说明的实施例所限定，不仅是所附的权利要求书，与该权利要求书等同或由此等价地变更的所有范围均属于本发明的思想的范畴。

标题	发布/更新时间	阅读量
用于增加IDC的机架密度的智能电池备用系统	2020-05-08	491
一种5G移动通信网络自动路测系统	2020-05-08	521
音视频文件的获取方法、装置、服务器及存储介质	2020-05-08	453
5G终端设备双通道接入注册方法、设备及存储介质	2020-05-08	827
服务器、信息处理方法、网络系统以及空气净化器	2020-05-08	714
一种直播APP的勋章加载方法、存储介质、电子设备及系统	2020-05-08	470
用于运行至少两个自动化车辆的方法和设备	2020-05-08	236
视频转码方法、转码器、电子设备及存储介质	2020-05-11	201
用于生成和/或更新数字地图的数字模型的系统	2020-05-08	566
一种体检数据的传输与存储方法	2020-05-08	730

街景服务方法及执行该方法的装置

街景服务方法及执行该方法的装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：