影像设备及影像设备的动作方法专利检索-硬件电脑零配件专利检索查询-专利查询网

影像设备及影像设备的动作方法

阅读：953发布：2024-02-29

专利汇可以提供影像设备及影像设备的动作方法专利检索，专利查询，专利分析的服务。并且本发明提供影像设备及影像设备的动作方法，判断是否连接到显示设备，根据连接到显示设备的判断，获得对应于包含影像设备及一个或其以上的其他影像设备的设备组的组密钥，将利用组密钥连接服务器以获得用于再现内容的地址信息提供给包含于设备组的其他影像设备，根据各其他影像设备中基于地址信息的内容的加载是否完成，向其他影像设备传送对内容的再现命令，根据内容及在用于再现内容的整个区域中与显示设备对应的区域再现内容的至少一部分用的标定信息，生成用于显示设备的影像信息并提供。，下面是影像设备及影像设备的动作方法专利的具体信息内容。

权利要求

1.一种影像设备的动作方法，包括：
判断是否连接到显示设备的步骤；
根据上述连接到上述显示设备的判断，获得与包含上述影像设备及一个或其以上的其他影像设备的设备组对应的组密钥的步骤；
利用上述组密钥连接服务器，以获得用于再现内容的地址的步骤；
将上述地址信息提供给包含于上述设备组的上述其他影像设备的步骤；
根据上述其他影像设备各自基于上述地址信息的内容的加载的完成与否，向上述其他影像设备传送对上述内容的再现命令的步骤；
根据上述内容及在用于再现上述内容的整个区域中、与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于上述显示设备的影像信息的步骤；及向上述显示设备提供上述影像信息的步骤。
2.根据权利要求1所述的影像设备的动作方法，其中：
上述地址信息包括关于包含于上述设备组的多个影像设备各自再现的内容的信息及包含在上述多个影像设备各自中的内容再现顺序的再现列表。
3.根据权利要求1所述的影像设备的动作方法，其中：
上述内容的加载的完成与否，根据保留而用于上述内容的加载完成的第一时间是否小于保留而用于上述内容的再现完成的第二时间进行判断。
4.根据权利要求1所述的影像设备的动作方法，其中，
该动作方法还包括：
当从上述显示设备供电时，判断是否需要进行初始化的步骤；
根据上述需要进行初始化的判断，作为热点主机进行动作，从移动设备获得用于连接的信息的步骤；
利用上述用于连接的信息连接接入点而接收上述组密钥的步骤；及
存储上述组密钥的步骤。
5.根据权利要求1所述的影像设备的动作方法，其中，该动作方法还包括如下步骤：判断上述影像设备是为由移动设备确定的主影像设备。
6.根据权利要求1所述的影像设备的动作方法，其中，该动作方法还包括：
判断上述影像设备是否存储有上述组密钥的步骤；及
根据上述存储有组密钥的判断，将上述影像设备的动作模式转换为主模式的步骤。
7.根据权利要求1所述的影像设备的动作方法，其中：
生成用于上述显示设备的影像信息的步骤，包括如下步骤：根据将包含于上述设备组的多个影像设备之间的时间偏移输入给随机采样一致模型而决定的、用于使上述多个影像设备同步的同步信息，生成用于上述显示设备的影像信息。
8.根据权利要求1所述的影像设备的动作方法，其中，该动作方法还包括如下步骤：确定对用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。
9.根据权利要求1所述的影像设备的动作方法，其中：
上述内容包括多媒体内容、多面内容、视频内容、游戏内容及文本中的至少一种。
10.一种计算机程序，其与硬件结合而存储于介质中，以执行权利要求1至9的任意一项的方法。
11.一种影像设备，其包括：
检测部，其检测是否连接到显示设备；
处理器，其根据上述连接到显示设备的判断，获得与包含上述影像设备及一个或其以上的其他影像设备的设备组对应的组密钥，将利用上述组密钥连接服务器获得的用于再现内容的地址信息提供给包含于上述设备组的上述其他影像设备，根据上述其他影像设备各自基于上述地址信息的内容的加载的完成与否，向上述其他影像设备传送对上述内容的再现命令，根据上述内容及在用于再现上述内容的整个区域中与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于上述显示设备的影像信息；及通信接口，其向上述显示设备提供上述影像信息。
12.根据权利要求11所述的影像设备，其中：
当从上述显示设备供电时，上述处理器判断是否需要进行初始化，根据上述需要进行初始化的判断，上述处理器作为热点主机进行动作，从移动设备获得用于连接的信息，利用上述用于连接的信息连接接入点而接收上述组密钥并存储。
13.根据权利要求11所述的影像设备，其中：
上述处理器根据是否存储有上述组密钥，判断上述影像设备是为由移动设备确定的主影像设备，根据是上述主影像设备的判断，将上述影像设备的动作模式转换为主模式。
14.根据权利要求11所述的影像设备，其中：
上述处理器根据将包含于上述设备组的多个影像设备之间的时间偏移输入给随机采样一致模型而决定的、用于使上述多个影像设备同步的同步信息，生成用于上述显示设备的影像信息。
15.根据权利要求11所述的影像设备，其中：
上述处理器确定对在用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。
16.根据权利要求12所述的影像设备，其中：
该影像设备还包括存储基于上述地址信息加载的内容的存储器。
17.一种影像设备，其包括：
通信接口，其从设备组的主影像设备接收用于再现内容的地址信息；及
处理器，其基于上述地址信息加载用于上述设备组的内容，判断上述内容的加载的完成与否，根据从获得上述内容的加载完成的判断结果的上述主影像设备接收到的对上述内容的再现命令，基于上述内容及在用于再现上述内容的整个区域中与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于上述显示设备的影像信息，上述通信接口向上述显示设备提供上述影像信息。
18.根据权利要求17所述的影像设备，其中：
上述处理器判断上述影像设备是否连接于上述显示设备，根据连接于上述显示设备的判断，确认是否存储有组密钥，若判断不存储有上述组密钥，则将上述影像设备的动作模式转换为从模式。
19.根据权利要求17所述的影像设备，其中：
上述处理器通过将包含于上述设备组的多个影像设备之间的时间偏移输入给随机采样一致模型，生成用于使上述主影像设备和上述影像设备同步的同步信息，并根据上述同步信息生成用于上述显示设备的影像信息。
20.根据权利要求17所述的影像设备，其中：
上述处理器确定对在用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。

说明书全文

影像设备及影像设备的动作方法

技术领域

[0001] 下面的实施例涉及影像设备及影像设备的动作方法。

背景技术

[0002] 在电影院、展览馆或博物馆等，可利用多屏幕设备或多投影仪等多个显示设备提供大画面影像。在为了这样提供一个大画面影像而利用多个显示设备时，不容易进行多个显示设备各自的画面配置、要再现的内容的决定及内容的再现时间等管理。另外，需要进行为设置通过各多个显示设备再现的内容的区域的标定(calibration)、更自然地表现通过多个显示设备提供的大画面影像的动作及通过多个显示设备再现的影像之间的同步的复杂的运算等。发明内容

[0003] 课题解决手段

[0004] 根据一方面的影像设备的动作方法，包括：判断是否连接到显示设备的步骤；根据上述连接到上述显示设备的判断，获得与包含上述影像设备及一个或其以上的其他影像设备的设备组对应的组密钥的步骤；利用上述组密钥连接服务器，以获得用于再现内容的地址的步骤；将上述地址信息提供给包含于上述设备组的上述其他影像设备的步骤；根据上述其他影像设备各自基于上述地址信息的内容的加载(loading)的完成与否，向上述其他影像设备传送对上述内容的再现命令的步骤；根据上述内容及在用于再现上述内容的整个区域中、与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息(calibration information)，生成用于上述显示设备的影像信息的步骤；及向上述显示设备提供上述影像信息的步骤。

[0005] 上述地址信息可包括关于包含于上述设备组的多个影像设备各自再现的内容的信息及包含在上述多个影像设备各自中的内容再现顺序的再现列表(playlist)。

[0006] 上述内容的加载的完成与否，可根据保留而用于上述内容的加载完成的第一时间是否小于保留而用于上述内容的再现完成的第二时间进行判断。

[0007] 上述影像设备的动作方法，还可包括：当从上述显示设备供电时，判断是否需要进行初始化的步骤；根据上述需要进行初始化的判断，作为热点主机进行动作，从移动设备获得用于连接的信息的步骤；利用上述用于连接的信息连接接入点而接收上述组密钥的步骤；及存储上述组密钥的步骤。

[0008] 上述影像设备的动作方法，还可包括：判断上述影像设备是为由移动设备确定的主影像设备的步骤。

[0009] 上述影像设备的动作方法，还可包括：判断上述影像设备是否存储有上述组密钥的步骤；及根据上述存储有组密钥的判断，将上述影像设备的动作模式转换为主模式的步骤。

[0010] 生成用于上述显示设备的影像信息的步骤，可包括如下步骤：根据将包含于上述设备组的多个影像设备之间的时间偏移(time offset)输入给RANSAC(Random Sample Consensus，随机采样一致)模型而决定的、用于使上述多个影像设备同步的同步信息，生成用于上述显示设备的影像信息。

[0011] 上述影像设备的动作方法，还可包括如下步骤：确定对用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。

[0012] 上述内容可包括多媒体内容、多面内容、视频内容、游戏内容及文本中的至少一种。

[0013] 根据一方面的一种影像设备，包括：检测部，其检测是否连接到显示设备；处理器，其根据上述连接到显示设备的判断，获得与包含上述影像设备及一个或其以上的其他影像设备的设备组对应的组密钥，将利用上述组密钥连接服务器获得的用于再现内容的地址信息提供给包含于上述设备组的上述其他影像设备，根据上述其他影像设备各自基于上述地址信息的内容的加载的完成与否，向上述其他影像设备传送对上述内容的再现命令，根据上述内容及用于再现上述内容的整个区域中与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于上述显示设备的影像信息；及通信接口，其向上述显示设备提供上述影像信息。

[0014] 可当从上述显示设备供电时，上述处理器判断是否需要进行初始化，根据上述需要进行初始化的判断，上述处理器作为热点主机进行动作，从移动设备获得用于连接的信息，利用上述用于连接的信息连接接入点而接收上述组密钥并存储。

[0015] 上述处理器可根据是否存储有上述组密钥，判断上述影像设备是为由移动设备确定的主影像设备，根据是上述主影像设备的判断，将上述影像设备的动作模式转换为主模式。

[0016] 上述处理器可根据将包含于上述设备组的多个影像设备之间的时间偏移输入给 RANSAC模型而决定的、用于使上述多个影像设备同步的同步信息，生成用于上述显示设备的影像信息。

[0017] 上述处理器可确定对用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。

[0018] 上述影像设备还可包括存储基于上述地址信息加载的内容的存储器。

[0019] 根据一方面的影像设备，包括：通信接口，其从设备组的主影像设备接收用于再现内容的地址信息；处理器，其基于上述地址信息加载用于上述设备组的内容，判断上述内容的加载的完成与否，根据从获得上述内容的加载完成的判断结果的上述主影像设备接收到的对上述内容的再现命令，基于上述内容及用于再现上述内容的整个区域中与上述显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于上述显示设备的影像信息。

[0020] 上述通信接口可向上述显示设备提供上述影像信息。

[0021] 上述处理器可判断上述影像设备是否连接于上述显示设备，根据连接于上述显示设备的判断，确认是否存储有组密钥，若判断不存储有上述组密钥，则将上述影像设备的动作模式转换为从模式。

[0022] 上述处理器可通过将包含于上述设备组的多个影像设备之间的时间偏移输入给RANSAC模型，生成用于使上述主影像设备和上述影像设备同步的同步信息，并根据上述同步信息生成用于上述显示设备的影像信息。

[0023] 上述处理器可确定对用于包含于上述设备组的多个影像设备中与上述影像设备对应的显示设备再现上述内容的整个区域中要再现的至少一部分区域进行设定的上述标定信息。附图说明

[0024] 图1为用于说明执行一实施例的影像设备的动作方法的系统的结构的示意图；

[0025] 图2为表示一实施例的影像设备的动作方法的流程图；

[0026] 图3为表示一实施例的影像设备的初始化方法的流程图；

[0027] 图4为表示另一实施例的影像设备的动作方法的流程图；

[0028] 图5为表示一实施例的移动设备的动作方法的流程图；

[0029] 图6为用于说明一实施例的影像设备的影像再现方法的示意图；

[0030] 图7为表示一实施例的影像设备的影像再现方法的流程图；

[0031] 图8为用于说明根据一实施例生成掩模的方法的示意图；

[0032] 图9至图10为用于说明根据一实施例确定参考纹理的方法的示意图；

[0033] 图11为表示一实施例的影像设备的同步方法的流程图；

[0034] 图12为用于说明一实施例的某一个从影像设备和主影像设备之间交换的时间信息的示意图；

[0035] 图13为表示根据一实施例生成同步信息的方法的流程图；

[0036] 图14为表示根据一实施例获得过滤掉异常值的采样数据的方法的流程图；

[0037] 图15为表示根据一实施例确定同步信息的方法的流程图；

[0038] 图16为表示根据一实施例将通过SNTP(Simple Network Time Protocol，简单网络时间协议)分组获得的时间信息应用于RANSAC模型的过程的伪代码(pseudo code) 的示意图；

[0039] 图17为一实施例的影像设备的框图。

具体实施方式

[0040] 本说明书所公开的特定结构或功能说明，只是用于说明根据技术概念的实施例的示例，实施例可通过各种其他形式实施，不受本说明书中说明的实施例的限制。

[0041] “第一”或“第二”等术语可用于说明各种结构要素，但这些术语只用于将一个构成要素从其他构成要素区别开来。例如，第一构成要素可以命名为第二构成要素，而与此相似，第二构成要素也可以命名为第一构成要素。

[0042] 一个结构“连接”或“接入”另一个结构是指直接连接或连接另一个结构或通过其他结构连接或连接。与此相反，一个结构与另一个结构“直接连接”或“直接接入”是指中间不存在其他结构。说明结构之间关系的其他描述，例如“……之间”和“正在……之间”或“相邻于……”和“相接于……”等也是同样的意思。

[0043] 在语境中没有明显的区别，则单数的记载包含复数的含义。在本申请中，“包括”或“具有”等术语表示存在说明书上记载的特征、数字、步骤、动作、结构、部件或它们的组合，而非预先排除一个或以上的其他特征、数字、步骤、动作、结构、部件或它们的组合的存在或附加可能性。

[0044] 除非有特别的说明，包括技术或科学术语在内的在此使用的所有术语的意思与本发明所属技术领域的技术人员通常所理解的意思一样。一般使用的与词典中定义的术语相同的术语具有与相关技术的语境中的意思相同的含义，除非有明确的定义，在本申请中不具有理想的或过度的含义。

[0045] 图1为用于说明执行一实施例的影像设备的动作方法的系统的结构的示意图。如图1所示，一实施例的系统100可包括服务器110、移动设备130、显示设备151、 153、155、157及影像设备171、173、175、177。

[0046] 服务器110可登记影像设备171、173、175、177并通过网络进行管理和/或控制。服务器110可管理影像设备171、173、175、177属于哪个用户，属于哪个组，在何时何地再现何种内容等信息。

[0047] 服务器110可以是网络服务器(web server)。或者服务器110例如可以是单一服务器计算机或与之类似的系统，或一台以上的服务器库(server banks)或此外以其他排列排列的多个服务器。服务器110可设置于单一设施或可以是多个分布在不同的地理位置之间的服务器“云(cloud)”。

[0048] 移动设备130与影像设备171、173、175、177联动并控制影像设备171、173、 175、177。例如，移动设备130可变更影像设备171、173、175、177中至少一个的设定或控制动作。

[0049] 移动设备130例如可从用户135输入得到通过影像设备171、173、175、177在显示设备151、153、155、157中再现的内容和/或再现内容的时间等。内容例如可包括多媒体内容、多面内容、视频内容、流媒体内容、游戏内容及文本等。

[0050] 移动设备130可通过影像设备171、173、175、177控制各显示设备151、153、 155、157，以按照设定的时间段开或关显示设备151、153、155、157。显示设备151、 153、155、157例如可以是多屏幕设备或多投影仪。

[0051] 影像设备171、173、175、177例如可以小型杆设备的形式实现。影像设备171、173、175、177例如可结合于各显示设备151、153、155、157的HDMI(High Definition Multimedia Interface)端口或USB(Universal Serial Bus)端口。各影像设备171、 173、175、177可从所结合的各显示设备151、153、155、157获得电源供应动作。

[0052] 影像设备171、173、175、177例如通过Wi-Fi、IEEE802.11、无线近距离通信网(WLAN)等无线网络相互通信并再现经同步的内容。

[0053] 影像设备171、173、175、177例如不仅是视频文件，还可同步通过Youtube等流媒体服务的视频流媒体、游戏内容并通过显示设备151、153、155、157进行再现。

[0054] 需要使用影像设备171、173、175、177的用户135例如可在服务器110提供的网络(Web)上创建自己的帐户之后，将影像设备171、173、175、177连接(结合) 于显示设备151、153、155、157完成设备登记程序。

[0055] 用户135例如可在登录移动应用之后，选择影像设备171、173、175、177创建再现一个大画面的设备组。

[0056] 在各显示设备151、153、155、157上连接影像设备171、173、175、177获得电源供应，则影像设备171、173、175、177判断是否需要进行初始化，若需要进行初始化，则以热点主机动作，可从移动设备130获得用于连接的信息(例如，接入点 (Access Point，AP)信息)。

[0057] 各影像设备171、173、175、177可被赋予设备标识符。设备标识符可通过UDP (User Datagram Protocol)广播(broadcasting)至设备组内。例如，包含于各影像设备171、173、175、177的)HostAP模块自动动作，广播该影像设备171、173、 175、177固有的WiFi SSID(Service Set Identifier，服务集标识符)。SSID存在于通过无线网络传送的所有分组的报头的固有标识符。

[0058] 移送设备130可连接被固有的SSID装载的各影像设备171、173、175、177。移动设备130可向影像设备171、173、175、177传递要连接的接入点(AP)的地址。影像设备171、173、
175、177连接接入点，移动设备130也可以连接相同的接入点。用户135可通过移动设备130确认连接共同接入点的影像设备的列表，选择包含于设备组的影像设备。移动设备130可自动向服务器110传送关于所设定的设备组的信息以完成登记程序。

[0059] 另外，用户135可通过应用或移动应用管理内容，创建和/或操作内容再现条件。用户135可利用通过服务器110提供的网页或移动设备130控制影像设备171、173、175、177及/或显示设备151、153、155、157。用户135在完成内容的再现之后，可断开影像设备171、173、175、177及/或显示设备151、153、155、157的电源。当用户135再次希望再现内容时，可远程驱动影像设备171、173、175、177及/或显示设备151、153、155、157。

[0060] 移动设备130可将影像设备171、173、175、177中的任一个设置为主影像设备 (例如，影像设备171)。移动设备130在生成对应于设备组的组密钥之后，向主影像设备171传送组密钥。移动设备130可向服务器110传送对包含于设备组的影像设备的信息、对主影像设备171的信息及组密钥信息。此时，在包含于设备组的影像设备中，除主影像设备171之外的其余影像设备可相当于从影像设备173、175、177。

[0061] 主影像设备171及各从影像设备173、175、177在连接于显示设备时，确认是否完成了初始化(例如，设备组设置等)，若完成了初始化，则可确定以主模式动作还是以从模式动作。作为一例，各影像设备确认是否存储有组密钥，若存储有组密钥，则可确定以租模式动作，而若不存储有组密钥，则可确定以从模式动作。

[0062] 主影像设备171利用组密钥尝试登陆服务器110，而服务器110可进行组密钥盐城(validation)。当完成对组密钥的验证，则服务器110可通过对主影像设备171 的登陆过程控制主影像设备171。服务器110可向主影像设备171提供用于内容再现的地址信息。

[0063] 从服务器110获得用于内容再现的地址信息的主影像设备171，可向从影像设备 173、175、177提供用于内容再现的地址信息。从服务器110接收用于内容再现的地址信息的从影像设备173、175、177，可基于地址信息加载(loading)内容。当完成加载，则从影像设备
173、175、177向主影像设备171传送完成信息。从从影像设备173、175、177接收完成信号之后，主影像设备171可向从影像设备173、175、 177传送内容再现命令。

[0064] 下面，结合图2至图5，对一实施例的主影像设备171、从影像设备及移动设备的动作进行更具体的说明。

[0065] 对包含于设备组的所有影像设备171、173、175、177完成上述设备登记程序之后，各影像设备171、173、175、177可执行在这个大画面(内容的全部区域)中设定相应影像设备要再现的至少一部分区域的标定。之后，当从主影像设备171接收再现命令，则从影像设备173、175、177可根据各自的标定信息再现内容的部分区域。

[0066] 一实施例的影像设备可对任意显示设备的构成提供简单的标定方法。影像设备例如通过移动设备130的用户界面(User Interface，UI)和WiFi相互联动，从而可使用户135在直接查看移动设备130的画面的同时，设定显示设备151、153、155、 157需要再现的至少一部分区域。

[0067] 当在包含于设备组的所有影像设备171、173、175、177上完成标定，则各影像设备171、173、175、177可存储自己的标定信息。当接收到内容再现命令，则影像设备171、173、
175、177利用所存储的标定信息生成影像信息并传递至自己连接的显示设备。

[0068] 根据实施例，各标定信息可传送至服务器110。此时，为提供一个大画面，服务器110管理与各影像设备171、173、175、177结合的各显示设备151、153、155、 157的几何信息，并控制对各显示设备151、153、155、157的修正。

[0069] 影像设备171、173、175、177可根据标定信息，通过对应于各影像设备171、 173、175、177的显示设备151、153、155、157，再现内容的全部区域(例如，大画面)。此时，各显示设备151、153、155、157可再现内容的全部区域中的至少一部分区域。

[0070] 当确定对各影像设备171、173、175、177的标定信息时，用户135无需重复对各影像设备171、173、175、177的设定或调整过程，可通过移动设备130或网页执行为内容再现的作业。

[0071] 用户135利用通过服务器110提供的网页或通过移动设备130提供的移动应用上传所需内容，创建再现列表再现大画面影像。此时，上传的内容可通过服务器或移动设备130的内容管理系统(Contents Management System，CMS)进行管理。

[0072] 例如，若用户135在网页上生成再现计划设置所需再现列表，则再现列表可存储于服务器110。若按照各电影院或展览馆等上映场所的开始时间，从服务器110收到再现命令，则各影像设备171、173、175、177在与服务器110进行通信的同时进行流动传输(streaming)，或将预先缓冲(caching)的内容，可按照各影像设备171、 173、175、177的标定信息，通过显示设备151、153、155、157进行再现。下面，结合图6至图10，对一实施例的的影像设备进行标定的方法进行具体说明。

[0073] 另外，一实施例的影像设备可利用简单的协议，支持用于再现内容的影像设备 171、173、175、177之间的细致的时间同步。

[0074] 例如，假设用户135在无线网络上连接各影像设备171、173、175、177之后，在各影像设备171、173、175、177同步视频及音频流进行再现。一实施例中，可使用包含时间戳的SNTP(Simple Network Time Protocol)同步影像设备。此时，为使时间戳在各影像设备上有效，各影像设备171、173、175、177需要进行时间同步。

[0075] 一般而言，为同步网络上连接的设备，可使用NTP(Network Time Protocol)。 NTP虽然是可适用于各种环境的强有力的协议，但在用于特定情况时存在一些不足。尤其在最近广泛使用的IoT(Internet of Things)设备或移动设备中，因开发环境或OS(Operating System)等因素，难以利用全部NTP功能。

[0076] 较之NTP，SNTP的动作简单，因此只要是能够进行编程的环境，即可简单实现同步。但是，在连接于无线网络的情况下，若依靠SNTP进行同步，则延迟(delay)或事件误差每个时间都发生很大变化。因此，在无线网络环境下利用SNTP进行同步时，较之用有线LAN连接的情况，同步结果的变化幅度可能变大。这样大的变化幅度，在将视频等内容在设备之间同步再现时，出现很大的问题。例如，因每一帧需要大概数十毫秒(ms)的时间，因此设备间的时间同步误差需小于数毫秒(ms)，才能使内容在无同步误差的情况下被再现。

[0077] 一实施例中，将在无线网络通过SNTP分组传送获得的时间偏移(time offset) 输入给RANSAC(Random Sample Consensus)模型中，以此减少同步误差。RANSAC 模型可相当于利用属于正常分布的数据集(例如，正常数据(inlier))进行回归分析的模型。

[0078] 下面，结合图11至图16，对一实施例的的影像设备的同步方法进行具体说明。

[0079] 图2为表示一实施例的影像设备的动作方法的流程图。如图2所示，一实施例的影像设备(例如，主影像设备)判断能否获得对应于设备组的组密钥210。例如，影像设备可确认存储器等存储空间中是否存储有组密钥，或确认指示存储有组密钥的标记信息。

[0080] 若在210步骤中判断不能获得组密钥，则影像设备可以初始化模式或从模式动作。例如，影像设备可按图3或图4的流程图动作。

[0081] 若在210步骤中判断能获得组密钥，则影像设备获得对应于包含影像设备及一个或其以上的其他影像设备的设备组的组密钥(group key)220。影像设备例如可通过确认在该影像设备的缓存或存储器中是否存储有组密钥获得组密钥。此时，存储有组密钥的影像设备可相当于该设备组的主影像设备。影像设备可根据组密钥的获得与否判断自己(影像设备)是否为移动设备确定的主影像设备。

[0082] 影像设备在启动(booting)，可根据是否存储有组密钥，利用组密钥尝试对服务器的登录(log in)。

[0083] 根据实施例，影像设备判断存储器等中是否存储有组密钥，并根据存储有组密钥的判断，可将自己(影像设备)的动作模式转换为主模式。另外，若判断不存储有组密钥，则影像设备可将自己的动作模式转换为从模式。

[0084] 影像设备通过利用组密钥连接服务器获得用于再现内容的地址信息230。地址信息例如可以是内容URL(Uniform Resource Locator)。或地址信息例如可包括对在包含于设备组的多个影像设备中再现的内容的信息，及包含在多个影像设备中的内容再现顺序的再现列表(playlist)等。再现列表可以是根据内容的再现顺序的内容 URL的集合。

[0085] 影像设备将地址信息提供给包含于设备组的其他影像设备240。其他影像设备例如可以是从影像设备。

[0086] 影像设备根据在各其他影像设备中基于地址信息的内容的加载(loading)是否完成，向其他影像设备传送对内容的再现命令(250)。此时，内容的加载是否完成，例如可根据为内容的加载完成剩余的第一时间是否小于为内容的再现完成剩余的第二时间进行判断。换言之，假设内容的加载完成为止剩余的时间为15秒，内容的再现完成为止剩余的时间为
20秒，则影像设备可判断内容的加载已完成。相反，若正在再现的内容的再现完成为止剩余的时间为10秒，则影像设备可判断内容的加载未完成。

[0087] 影像设备可获得已存储的标定信息。标定信息可包括包含于上述设备组的多个影像设备中对应于影像设备的显示设备，在用于再现内容的整个区域中设定需要再现的至少一部分区域的信息。影像设备根据内容及标定信息生成为显示设备的影像信息 (260)。影像设备向显示设备提供影像信息(270)。

[0088] 图3为表示一实施例的影像设备的初始化方法的流程图。如图3所示，一实施例的影像设备(主影像设备)，当从显示设备供电时(310)，可判断是否需要进行初始化(320)。

[0089] 若在320步骤中判断不需要进行初始化，则影像设备可结束初始化工作。此时，是否需要进行初始化，可根据影像设备是否包含用于连接的信息(例如，AP地址等) 进行判断。例如，若不包含用于连接的信息，则可判断影像设备不需要进行初始化。另外，也可利用指示是否需要进行初始化或初始化是否完成的单独的标记信息。

[0090] 若在320步骤中判断需要进行初始化，则影像设备可由热点主机(Hot spot host) 330，从移动设备获得用于连接的信息(340)。

[0091] 影像设备可利用在340步骤中获得的用于连接的信息连接接入点接收组密钥 (350)。

[0092] 影像设备可将组密钥存储于缓存或存储器等(360)。

[0093] 图4为表示另一实施例的影像设备的动作方法的流程图。如图4所示，一实施例的影像设备(例如，从影像设备)从设备组的主影像设备接收用于内容再现的地址信息(410)。

[0094] 影像设备基于地址信息加载用于设备组的内容(420)。

[0095] 影像设备判断内容的记载是否完成(430)，影像设备将430步骤的判断结果(加载完成与否)传送给主影像设备(440)。

[0096] 影像设备从主影像设备接收对内容的再现命令(450)。

[0097] 影像设备根据内容及在用于再现内容的整个区域中对应于与影像设备连接的显示设备的区域再现上述内容的至少一部分用的标定信息，生成用于显示设备的影像信息(460)。

[0098] 影像设备向显示设备提供影像信息(470)。

[0099] 根据实施例，影像设备判断是否连接于显示设备，并根据连接于显示设备的判断，确认是否存储有组密钥。影像设备若确认不存储有组密钥，则可将影像设备的动作模式转换为从模式。

[0100] 图5为表示一实施例的移动设备的动作方法的流程图。如图5所示，移动设备可向影像设备传送用于连接的信息(510)。移动设备例如可连接以热点主机动作的影像设备，向该影像设备传送AP地址。

[0101] 移动设备可利用在510步骤中传送的用于连接的信息，确定包含影像设备中的至少一部分的设备组(520)。移动设备例如可连接AP，向用户显示连接AP的影像设备的列表。移动设备可响应于选择影像设备中的至少一部分的用户的输入，确定包含所选的的影像设备的设备组。

[0102] 移动设备可生成对应于设备组的组密钥(530)。组密钥例如可由UUID(Universal Unique Identifier)等128bit的随机数构成。

[0103] 移动设备可在包含于设备组的影像设备中确定主影像设备(540)，向主影像设备传送在530步骤中生成的组密钥(540)。移动设备例如可通过随机选择包含于设备组的影像设备中的某一个确定主影像设备。确定主影像设备的方法，可根据将通信环境最好的影像设备确定为主影像设备等预先设定的条件进行各种变形。

[0104] 移动设备可向服务器传送包含组密钥的组信息(560)。

[0105] 一实施例的标定方法

[0106] 图6为用于说明一实施例的影像设备的影像再现方法的示意图。如图6的(a) 所示，表示在包含角落的投射面上通过四个影像设备再现内容的画面。

[0107] 一实施例的影像设备不仅可再现对平面、曲面的内容，而且还可再现对混合平面和曲面的各种形状的空间的内容。例如，假设在展览馆的角落空间610、620、630、 640再现说明水墨山水画的内容，在该空间的中间通过显示器605等再现其他内容。此时，为了在展览馆的角落空间再现内容，假设需要四个影像设备。

[0108] 一实施例的影像设备通过移动设备的用户界面(UI)和WiFi相互联动，以使用户进行在整个大画面(内容的整个区域)中设定该影像设备需要再现的至少一部分区域的标定。

[0109] 当从主影像设备接收对内容的再现命令，则从影像设备可与主影像设备一起，按照各自的标定信息，使对应的显示设备再现内容的部分区域。

[0110] 用户例如可在登录移动应用之后，选择四个影像设备创建再现一个大画面的设备组。此时，可进行标定以使对应于四个影像设备中的第一影像设备的第一显示设备再现对应于展览馆角落空间的投射面中的第一区域610的一部分影像，使对应于第二影像设备的第二显示设备再现对应于第二区域620的一部分影像，使对应于第三影像设备的第三显示设备再现对应于第三区域630的一部分影像，使对应于第四影像设备的第四显示设备再现对应于第四区域640的一部分影像。此时，可看到第一区域610 至第四区域640的形状各不相同。

[0111] 例如，各显示设备可设置成投射展览馆的角落空间的不同的区域。显示设备投射的区域可相互重叠一定区域。为进行标定，控制各显示设备的影像设备可在自己控制的显示设备的投射区域内表示多个点(例如，四个点)。根据实施例，通过各影像设备表示的多个点，可与其他影像设备表示的多个点区别(例如，不同的颜色或不同的形状等)表示。

[0112] 当通过各影像设备的控制，在展览馆的角落空间的投射面表示多个点(例如，四个点)，则用户可通过利用移动设备的UI移动投射面上的多个点，根据投射面的各区域的形状设置相应影像设备(对应的显示设备)需要显示的部分区域。根据实施例，可添加或去除至少一个点。

[0113] 当完成对第一区域610到第四区域640的设定时，各影像设备通过生成对应于除需要再现的区域的剩余区域的掩模，避免在其余区域再现影响。

[0114] 根据实施例，设定影像设备需要再现的至少一部分区域的标定过程，也可通过影像设备自动完成。虽然会在下面进行详细说明，控制利用360度摄像头获得对投射空间的信息，通过各显示设备投射不同图案的影像，以通过影像处理处理器自动设置为各显示设备(或各影像设备)的多个点。

[0115] 如图6的(b)所示，表示在曲面的投射面上通过三个影像设备再现内容的画面。与图6的(a)不同，如图6的(b)所示的投射面具有相同的圆筒形形状。

[0116] 例如，假设由圆筒形构成展览馆再现海洋影像的内容。

[0117] 一实施例的影像设备可利用可进行360度拍摄的全景摄像头检测需要再现海洋内容的空间(180度的圆筒形空间)。影像设备可获得对应于包含于设备组的多个影像设备的各显示设备投射的结构化图案。例如，假设该影像设备(第一影像设备)投射垂直形状的结构化图案，第二影像设备投射水平形状的结构化图案，而第三影像设备投射之字形状的结构化图案。

[0118] 影像设备根据对空间的检测结果(180度的圆筒形空间)及各影像设备的结构化图案，在180度的圆筒形空间再现的海洋影像的内容中确定对应于影像设备的各显示设备需要再现的区域。

[0119] 例如，影像设备在180度的圆筒形空间中，使对应于该影像设备(第一影像设备) 的显示设备再现对第一区域650的内容(例如，海洋影像的全部内容中的1/3区域)，对应于第二影像设备的显示设备再现对第二区域660的内容，对应于第三影像设备的显示设备再现对第三区域670的内容。如上所述，在以圆筒形构成的展览馆再现的海洋内容，可通过包含于设备组的影像设备(对应的显示设备)在投射面上再现。

[0120] 图7为表示一实施例的影像设备的影像再现方法的流程图。如图7所示，一实施例的影像设备获得对需要再现内容的空间的信息710。影像设备可通过从用户获得对需要再现内容的空间的信息输入，获得对需要再现内容的空间的信息。此时，对需要再现内容的空间的信息例如可包括关于需要再现的空间是平面形状，是曲面形状，是立方体形状，是圆柱体形状等的空间的形状及该空间的大致的大小。另外，影像设备根据对需要再现内容的空间的信息，也可以从用户获得对需要再现内容的投射面的选择的输入。在此，“(内容的)再现”可理解为包括利用投影仪的内容的投射或利用屏幕设备的内容的上映(再现)的概念。

[0121] 影像设备生成用于在根据在710步骤获得的对空间的信息确定的投射面，设定对应于影像设备的显示设备需要再现的至少一部分区域的掩模(mask)(720)。例如，投射面分割分配给多个显示设备，而各显示设备向分配给自己的区域投射影像。此时，各显示设备只向自己能够投射的全部区域中的部分区域投射影像即可，且将对部分区域的信息以掩模形式进行存储。

[0122] 内容的全部区域可通过包含影像设备及一个或其以上的其他影像设备的设备组再现在投射面。此时，掩模例如可以是α映射掩模(αmap mask)。

[0123] 根据实施例，显示设备可以是是多屏幕设备或多投影仪。例如，在显示设备是多投影仪时，一实施例的影像设备可通过如下自动方法确定显示设备需要再现的至少一部分区域。

[0124] 影像设备可利用可进行360度拍摄的全景摄像头检测需要再现内容的空间。影像设备可获得对应于包含于设备组的多个影像设备的各显示设备投射的结构化图案。影像设备根据对空间的检测结果及结构化图案，在整个区域中确定各显示设备需要再现的至少一部分区域。

[0125] 另外，根据实施例，影像设备可通过如下手动方法确定显示设备需要再现的至少一部分区域。影像设备可利用显示设备在投射面表示多个点。影像设备可根据用户输入移动多个点钟的至少一个点。影像设备根据包含移动点的多个点确定部分区域。例如，部分区域可确定为以各店作为顶点的多边形。

[0126] 影像设备可利用自动确定或通过用户输入确定的点，在投射面生成对应于除部分区域之外的其余区域的掩模。影像设备可利用掩模调整对应于其余区域的像素值。影像设备例如可通过将对应于其余区域的掩模值调整为“0”，避免在相当于掩模的区域输出影像。关于生成掩模的方法的更具体的事项，将结合图8在后面进行描述。

[0127] 影像设备在显示设备再现内容时，对应于部分区域的像素的坐标，确定包含在头沙面实际投射的区域的像素的参考坐标的参考纹理730。参考坐标例如可以是用于平面影像或曲面影像的UV坐标，也可以是用于360度影像的维度及经度坐标。另外，参考纹理可以是相当于UV坐标的集合的UV纹理或相当于维度及经度坐标的集合的 PHI映射(PHI map)。

[0128] 影像设备例如可利用对应于内容和内容实际投射到投射面的投射影像之间的关系的单应矩阵(homography matrix)确定参考纹理。此时，内容(Px)和内容实际投射到投射面的投射影像(Px')之间可存在如下[数学式1]所示的关系。

[0129] 【数学式1】

[0130]

[0131] 在此，H可相当于单应矩阵。

[0132] 在UV纹理的情况下，可将特定区域内的坐标表示为相对坐标。。例如，如图9所示，整个内容内的各像素可具有(0，0)，(1，0)，(0，1)，(1，1)以内的UV坐标。对应各影像设备确定的部分区域相当于投射影像(Px')上的区域，，可利用数学式1 确定匹配于部分区域内各像素的内容上的像素。作为一例，为确定投射影像(Px') 上的像素的UV坐标，利用单应矩阵将投射影像(Px')上的像素匹配于内容(Px)上的像素。投射影像(Px')上的像素的UV坐标可设定为内容(Px)上的匹配的像素的 UV坐标。

[0133] 影像设备利用掩模及参考纹理再现至少一部分区域740。影像设备将掩模及参考纹理中的至少一个对应于影像设备进行存储，或可匹配于对应于影像设备的显示设备进行存储。影像设备在再现内容时，利用所存储的掩模及参考纹理生成影像信息并将所生成的影像信息传递给显示设备。例如，影像设备可利用所存储的掩模，在与自己连接的显示设备可投射区域内确定实际需要投射影像的区域，并利用参考纹理确定所确定的实际投射区域内的各像素的值。如上所述，参考纹理包含关于为确定实际投射区域内的各像素的值需要参考内容内的哪个像素的值的信息。

[0134] 图8为用于说明根据一实施例生成掩模的方法的示意图。如图8所示，表示在整个投射面805对应于第一影像设备的第一显示设备可再现内容的部分810及对应于第二影像设备的第二显示设备可再现内容的部分850。此时，第一影像设备和第二影像设备可以是属于相同设备组的影像设备。

[0135] 例如，当从移动设备接收对内容的再现命令，则第一显示设备在部分810再现相当于内容的整个区域中的一部分的区域830，而第二显示设备在部分850再现相当于内容的整个区域中的一部分的区域860。

[0136] 在一实施例中，通过与影像设备联动的移动设备的用户界面(UI)，用户可确定显示设备需要再现的区域。

[0137] 例如，影像设备可利用显示设备在投射面805表示多个点(例如，部分810内部的任意四个点)。根据实施例，影像设备也可根据投射面805的基本性质(例如，投射空间的类型、投射空间的大小等)确定多个点最初表示的位置。

[0138] 用户可通过利用移动设备的用户界面移动四个点移动至区域830的角落。影像设备830可利用移动至角落的四个点设定第一显示设备需要再现的部分区域830。

[0139] 利用相同的方式，影像设备在投射面805上表示多个点，用户通过利用移动设备的用户界面移动对应于部分805的各角落的位置的四个点移动至区域860的角落。影像设备860可利用移动至角落的四个点设定第二显示设备需要再现的部分区域860。

[0140] 影像设备可生成用于第一显示设备的掩模信息。影像设备例如可将对应于部分区域830的掩模值调整为“1”，并将对应于其余区域820的掩模值调整为“0”。

[0141] 同样，影像设备可生成用于第二显示设备的掩模信息。影像设备可将对应于部分区域860的掩模值调整为“1”，并将对应于其余区域870的掩模值调整为“0”。

[0142] 第一影像设备可根据移动设备或服务传送的信号，判断对应于第一影像设备的第一显示设备再现的区域830产生与对应于第二影像设备的第二显示设备再现的区域 860重叠区域(overlapped area)840。此时，第一影像设备可将对重叠区域840的掩模值例如调整为0.5。与第一影像设备一样，第二影像设备也将对重叠区域840的掩模值例如调整为0.5。因此，通过多个显示设备重叠投射的区域的亮度变得与通过单一显示设备投射的区域的亮度一样。

[0143] 另外，第一影像设备或第二影像设备可对包含于重叠区域840的部分区域的边界线835、865及包含相邻于边界线835、865的区域的边界区域的掩模值进行平滑 (smoothing)处理。因此，可消除通过多个显示设备分割投射的区域之间的边界的可见性。

[0144] 影像设备可利用一次微分法、索贝尔边缘(sobel edge)提取法、普雷维边缘 (prewitt dege)提取法等各种边缘提取算法计算出边界区域。影像设备例如可利用高斯(Gaussian)平滑算法或直方图均衡化(Histrogram Equalization)等各种平滑算法平滑边界区域。

[0145] 图9为用于说明根据一实施例确定参考纹理的方法的示意图。如图9所示，表示作为参考纹理的一例的UV纹理910。

[0146] UV 坐标系可相当于为将纹理图像(UV纹理910)导入三维空间的纹理映射成为变换标准的二维坐标系。

[0147] UV坐标系可具有最少0至1为止的值。UV坐标不受参考纹理(UV纹理910)的分辨率的影响，可用0至1的值表示。

[0148] 图9的(a)表示还没导入参考纹理(UV纹理910)的两个三角形。此时，顶点 v0、v1、v2可构成一个三角形，顶点v0、v2、v3可构成另一个三角形。

[0149] 图9的(b)表示利用参考纹理进行渲染的v0、v1、v2、v的UV坐标的范围为(0， 0)～(1，1)的情况，而图9的(c)表示用于渲染的UV坐标的范围为(0，0)～ (0.5，1)的情况。根据图9的(c)，只显示参考纹理(UV纹理910)的左侧一半。

[0150] 图9的(d)表示用于渲染的UV坐标的范围为(0，0)～(0.5，0.5)的情况，此时只显示参考纹理(UV纹理910)的左侧一半中的上侧一半。

[0151] 图9的(e)表示用于渲染的UV坐标的范围为(0，0)～(1，2)的情况。此时，参考纹理(UV纹理910)需上下重复两次才能表示。当如图9的(f)所示，用于渲染的UV坐标的范围为(0，0)～(2，2)的情况下，参考纹理(UV纹理910)需上下重复两次及左右重复两次才能表示。此外，若将用于渲染的UV坐标的范围设为(1， 0)～(0，1)，则可将参考纹理(UV纹理910)的左右翻转表示。

[0152] 影像设备通过上述方式，在显示设备再现内容时，对应至少一部分区域的像素的坐标，利用包含实际投射于投射面的区域的像素的参考坐标的参考纹理。

[0153] 图10为用于说明根据另一实施例确定参考纹理的方法的示意图。如图10所示，表示利用维度及经度坐标表示360度影像的参考坐标。参考纹理可以是相当于维度及经度坐标的集合的PHI映射(PHI map)。在PHI映射中，维度及经度坐标可起到与结合图9说明的UV坐标相同的作用。

[0154] 一实施例的同步方法

[0155] 图11为表示一实施例的影像设备的同步方法的流程图。如图11所示，一实施例的影像设备(例如，从影像设备)在无线网络中，与包含于设备组的主影像设备交换时间信息1110。时间信息例如可利用SNTP分组进行交换。此时，时间信息可包括将第一分组在第一时间传送给主影像设备的影像设备一侧的第一时间戳，从影像设备在第二时间接收在第一时间传送的分组的主影像设备一侧的第二时间戳及将第二分组在从第二时间延迟一定时间之后的第三时间传送给影像设备的主影像设备一侧的第三时间戳。第一分组可包括第一时间戳，而第二分组可包括第一时间戳、第二时间戳及第三时间戳。一实施例的影像设备与主影像设备交换时间信息的具体方法，将结合图12进行具体说明。

[0156] 影像设备根据时间信息计算出主影像设备和影像设备之间的时间偏移1120。影像设备根据包含于在1110步骤中与主影像设备进行交换的时间信息中的第一至第三时间戳及从主影像设备在第四时间接收在第三时间传送的影像设备一侧的第四时间戳计算出时间偏移。根据实施例，影像设备检测对时间信息的有效性，并可根据通过有效性检查的时间信息计算出时间偏移。

[0157] 影像设备根据用于从时间偏移提取采样数据的采样参数及用于判断采样数据是否为异常值的滤波数据生成同步信息1130。此时，采样参数可根据在过滤掉异常值的采样数据中能够提取到采样数据的概率及在时间偏移中过滤掉异常值的采样数据的比率确定。滤波参数可根据过滤掉异常值的采样数据的标准偏差确定。影像设备生成同步信息的方法，将结合图13进行具体说明。

[0158] 影像设备利用同步信息与主影像设备进行同步1140。

[0159] 图12为用于说明一实施例的某一个从影像设备和主影像设备之间交换的时间信息的示意图。

[0160] 计算机硬件技术以小型化和高性能作为关键词得到持续发展，目前推出各种产品。尤其是，推出很多以Raspberry Pi等产品为代表的小型计算机，最近还陆续推出可完成高水平图像计算的产品，其使用性逐渐得到提高。这些设备支持Full-HD以上的影像解码，还支持网络模块和各种操作系统，从而可实现各种富有创意性的服务。当将这些高性能小型计算机用于使用多个显示器的影像系统时，可在一个显示器上连接一个小型计算机并各负责影像的一个部分进行再现。

[0161] 之后需在通过无线网络进行时间同步的同时再现各影像，在此关键就是稳定的同步。用于普通商用系统的无线同步再现模块的条件可整理成如下三条：

[0162] 1、用于帧同步的数毫秒之内的时间精度

[0163] 2、开始时间同步之后达到目标时间精度为止的快速性

[0164] 3、可应对网络状态不稳定的情况

[0165] 大部分系统为时间同步使用作为国际标准的NTP(Network Time Protocol)。NTP 理论上以作为国际标准时的UTC(Coordinated Universal Time)和毫秒为单位进行同步，为此从原子时钟开始以分级结构构成分布网络，与多个始终交换分组。另外，通过后处理算法对其信息利用统计方法进行分析以用于校准时钟。上述NTP的复杂结构，不是为了快速校准时钟，而是为了进行准确校准，从而难以迅速校准目标时间精度。因此，在一实施例中，为了满足上述条件2，作为无线同步再现模块使用SNTP。

[0166] SNTP因无需现有的NTP标准中复杂的后处理算法，从而实现比较简单，也容易定制。但是，需要在利用无线网络的设备之间完成时间同步时，SNTP因省略了对交换的分组的滤波过程，存在稳定性降低的问题。因为在较之有线连接不稳定的无线连接中，一个异常的分组就足以降低同步再现的质量。

[0167] 在一实施例中，可通过利用RANSAC算法处理在SNTP的驱动过程获得时间样本维持同步，可以SNTP作为基础提供具有快速性和精度的无线网络上的时间同步方法。这在有限的计算环境中也容易实现，在NTP的数据处理过程中能够选择可靠性高的样本。实验结果显示，一实施例的同步方法在5秒之内维持5毫秒以内的时间精度，使用很少的资源以至于在任何环境中也能够稳定驱动。

[0168] 在一实施例中，可利用在网络上的服务器(server)-同级(peer)-客户(clients) 之间交换包含时间信息的分组的同时分析信息的方法完成同步。此时，包含于分组中的时间信息可称之为时间戳(time stamp)。在时间戳中对发送分组和接收分组的信息都进行记录，从而即使同时与多个设备交换分组，不受分组丢失及/或重复传送的影响，可安全地完成同步。

[0169] 如图12所示，表示在从影像设备A1210和主影像设备B之间，从第一时间(T1) 到第四时间(T4)为止交换分组的时间信息。在一实施例中，可利用从第一时间(T1) 到第四时间(T4)为止的四个时间戳和org、rec、xmt三个状态变量。org表示发送 (从影像设备A1210)一侧时间戳，rec表示接收(主影像设备B1230)一侧的时间戳，而xmt表示发送(从影像设备A1210)一侧的时间戳。

[0170] 四个时间戳可包括将第一分组在第一时间(T1)传送给主影像设备的影像设备一侧的第一时间戳、从影像设备在第二时间(T2)接收在第一时间(T1)传送的分组的主影像设备一侧的第二时间戳、将第二分组在从第二时间(T2)延迟一定时间之后的第三时间(T3)传送给影像设备的主影像设备一侧的第三时间戳及从主影像设备在第四时间(T4)接收在第三时间(T3)传送的第二分组的影像设备一侧的第四时间戳。

[0171] 第一分组可从从影像设备A1210传送。

[0172] 从影像设备A1210通过第一分组传送作为发送一侧的时间戳的T1，而主影像设备 B1230可将时间戳T1复制在xmt中。

[0173] 主影像设备B1230在第二时间(T2)接收第一分组，并将作为接收的内容的T1复制在自己的org中，将T2复制在rec中。另外，在稍后的第三时间(T3)，主影像设备B1230在第二分组中包含全部T1、T2、T3传送给从影像设备A1210。此时，主影像设备B1230可将作为自己传送第二分组的时间的对T3的信息也复制在xmt中。

[0174] 从影像设备A1210可在第四时间(T4)接收主影像设备B1230传送的第二分组，并进行对第二分组的有效性检查。

[0175] 从影像设备A1210比较包含于在第四时间(T4)接收的第二分组中的T1是否与存储在xmt的信息相同，确认T3值是否为0，以检查第二分组是否为有效的分组。

[0176] 若检查结果表明第二分组是有效分组，则从影像设备A1210可利用作为到现在为止存储的信息的T1、T2、T3计算时间偏移(θ)和往返时延(round-trip delay)(δ)。

[0177] 时间偏移(θ)是指从影像设备A1210和主影像设备B1230之间的时间差，例如，可通过如下[数学式2]求得。

[0178] 【数学式2】

[0179]

[0180] 往返时间(δ)是指发送的分组回来为止完全消耗在移动的时间，例如，可利用第四时间和第一时间之间的差异即第三时间和第二时间之间的差异之和确定。

[0181] 在这样获得的时间偏移(θ)和往返时延(δ)信息中有可能包含因网络故障各种原因产生的噪声。在一实施例中，通过如下图13的方法去除包含于时间偏移中的噪声，最终利用最好的时间偏移值完成同步。

[0182] 图13为表示根据一实施例生成同步信息的方法的流程图。如图13所示，一实施例的影像设备通过将时间偏移输入RANSAC模型获得过滤掉时间偏移中的异常值 (outlier)的采样数据1310。在此，异常值例如可理解为时间偏移值超过200ms以上的情况等大大超出通常的时间偏移值范围的相当于噪声的值。另外，正常数据可理解为存在于通常的时间偏移值范围内的值。

[0183] RANSAC是从一些数据中获得能够表达给数据的数学模型的方法，可选择对随机选择的数据获得最多支持的模型。一般而言，在采样数据中异常值的比率对所要推测的模型的实际值的影响小的时候效果好。

[0184] 利用RANSAC模型时需要的是表示采样过程重复几次的重复次数(k)和决定是否将该时间偏移列入正常数据(inlier)列表中的标准值(t)。重复次数(k)可称之为采样参数。另外，标准值(t)可称之为滤波参数。

[0185] 为使RANSAC模型获得成功，在提取采样数据的尝试中，至少有一次需只在正常数据中提取到采样数据。虽然这样的概率随重复次数(k)的增加而增加，但同时计算两页随之增加，从而可利用如以下[数学式3]的概率计算式确定重复次数(k)。

[0186] 【数学式3】

[0187] p＝1-(1-αn)k

[0188]

[0189] 在此，p表示在正常数据中提取到采样数据的概率，α表示输入数据(时间偏移) 中正常数据的比率，即在时间偏移中过滤掉异常值的采样数据的比率。n表示一次提取的采样数据的数量，k表示提取采样数据的重复次数。

[0190] 若确定是否将该时间偏移列入正常数据列表的标准值(t)过大，则模型间的辨别力小时，而若过小，则将增加RANSAC算法本身失败的概率。在一实施例中，若设正常数据的标准偏差为2σ，则标准值(t)可确定为2σ或3σ。根据实施例，通过求得时间偏移的方差确定标准值(t)之后执行RANSAC，从而可获得更准确的结果。

[0191] 一实施例的影像设备获得过滤掉异常值的采样数据的方法，将结合图14进行具体说明。

[0192] 影像设备根据所获得的采样数据确定同步信息1320。而影像设备根据所获得的采样数据确定同步信息的方法，将结合图15进行具体说明。

[0193] 图14为表示根据一实施例获得过滤掉异常值的采样数据的方法的流程图。如图 14所示，一实施例的影像设备可从时间偏移提取采样数据1410。例如，假设时间偏移有1000个，则影像设备可将1000个时间偏移中的100个或50个提取为采样数据。

[0194] 影像设备可根据采样数据的统计值确定效标模型(criteria model)1420。效标模型模型例如可以是时间偏移值的平均值，即常熟模型。采样数据的统计值例如可以是平均或方差值。

[0195] 影像设备通过比较采样数据和效标模型之间的差异和滤波参数去除异常值1430。例如，假设滤波参数为0.0005，采样数据和效标模型之间的差异为0.0003。影像设备因采样数据和效标模型之间的差异(0.0003)小于滤波参数(0.0005)，从而可将该采样数据列入正常数据列表。相反，若采样数据和效标模型之间的差异为0.0007，则因采样数据和效标模型之间的差异(0.0007)大于滤波参数(0.0005)，从而可将该采样数据判定为异常值去除掉。

[0196] 图15为表示根据一实施例确定同步信息的方法的流程图。如图15所示，一实施例的影像设备对应于采样参数，可获得去除掉异常值的多个采样数据1510。

[0197] 影像设备可选择多个采样数据中的一个采样数据1520。

[0198] 影像设备可判断从所选择的采样数据去除掉的异常值的比率是否低于临界值 1530。在1530步骤中，若判断从所选择的采样数据去除掉的异常值的比率高于临界值，则影像设备可结束动作。

[0199] 在1530步骤中，若判断从所选择的采样数据去除掉的异常值的比率低于临界值，则影像设备可计算出采样数据的标准偏差1540。

[0200] 影像设备可从在1540步骤中计算出的采样数据的标准偏差中选择具有最低标准偏差的采样数据1550。

[0201] 影像设备可计算出在1550步骤中选择的采样数据的平均1560。

[0202] 影像设备可将所选择的采样数据的平均设定为同步信息1570。

[0203] 图16为表示根据一实施例将通过SNTP(Simple Network Time Protocol)分组获得的时间信息应用于RANSAC模型的过程的伪代码(pseudo code)的示意图。

[0204] 如图16所示的伪代码表示在通过SNTP获得时间信息上应用RANSAC模型的过程。在无线网络环境中通过SNTP获得的时间信息适合作为RANSAC的输入的原因是异常分组偶尔但持续产生。

[0205] 在图16所示的算法中，重复次数(k)使用1000次，而判断正常数据的标准值 (t)使用0.0005。另外，模型使用时间偏移值的平均值，即常数模型。

[0206] 在一实施例中，以在全部数据中正常数据包含50％以上的模型为准使用，而为了找到其中可靠性最高的模型，计算各标准偏差，另具有最低标准偏差的正常数据列表的平均值确定同步信息。根据一实施例，利用上述同步信息开始同步之后，可在5 秒内维持5ms以下的时间偏移。

[0207] 根据一实施例了，通过利用SNTP分组和RANSAC模型完成同步，在无线网络环境中利用简单的实现方法和较少的资源即可完成高质量的时间同步。不仅如此，根据一实施例，可在不提供或难以使用NTP的嵌入系统及IoT设备等各种环境中实现无线同步再现，为相关技术开发及应用提供帮助。

[0208] 一实施例的设备构成

[0209] 图17为一实施例的影像设备的框图。如图17所示，一实施例的影像设备1700 可包括检测部1710、通信接口1720、处理器1730及存储器1740。检测部1710、通信接口1720、处理器1730及存储器1740可通过服务器1705相互进行通信。

[0210] 检测部1710检测影像设备1700是否连接于显示设备。检测部1710例如根据影像设备1700是否结合于显示设备的HDMI端口或USB端口或是否供电检测是否连接于显示设备。

[0211] 处理器1730当从显示设备供电时，可判断是否需要进行初始化。处理器1730 可根据需要进行初始化的判断，作为热点主机动作，从移动设备获得用于连接的信息。处理器1730利用用于连接的信息连接接入点接收组密钥。处理器1730可将组密钥爆粗与存储器
1740。

[0212] 处理器1730可确定包含于上述设备组的多个影像设备中对应于影像设备的显示设备，在用于再现内容的整个区域中设定需要再现的至少一部分区域的标定信息。

[0213] 在影像设备1700中，通信接口1720获得对需要再现内容的空间的信息。处理器 1730生成用于在根据对空间的信息确定的投射面设定对应于影像设备的显示设备需要再现的至少一部分区域的掩模。处理器1730确定在显示设备再现内容时，对应至少一部分区域的像素的坐标，确定包含实际投射于投射面的区域的像素的参考坐标的参考纹理。

[0214] 处理器1730可利用全景摄像头检测需要再现内容的空间。处理器1730可获得对应于包含于设备组的多个影像设备的各显示设备投射的结构化图案。处理器1730根据对空间的检测结果及结构化图案，在整个区域中确定各显示设备需要再现的至少一部分区域。

[0215] 处理器1730可利用显示设备在投射面表示多个点。处理器1730可根据用户输入移动多个点钟的至少一个点，并根据包含移动的点的多个点确定部分区域。

[0216] 处理器1730可利用用户确定的点，在投射面生成对应于除部分区域之外的其余区域的掩模。处理器1730可利用掩模调整对应于其余区域的像素值。

[0217] 处理器1730可调整对至少一部分区域中与对应于属于设备组的其他影像设备的显示设备需要再现的部分区域重叠的区域的像素值。处理器1730对包含于重叠区域的至少一部分区域的边界线及包含相邻于边界线的区域的边界区域的像素值进行平滑处理[0218] 处理器1730可利用对应于内容和内容实际投射到投射面的投射影像之间的关系的单应矩阵确定参考纹理。存储器1730可存储掩模及参考文立中的至少一种。

[0219] 处理器1730可根据检测部1710的连接到显示设备的判断，获得对应于包含上述影像设备及一个或其以上的其他影像设备的设备组的组密钥。例如，处理器1730可从存储器1740获得组密钥。

[0220] 处理器1730根据是否存储有组密钥判断影像设备是为由移动设备确定的主影像设备。处理器1730根据该影像设备为主影像设备的判断，将影像设备的动作模式转换为主模式。

[0221] 处理器1730利用组密钥连接服务器以获得用于再现内容的地址，并将地址信息提供给包含于设备组的其他影像设备。处理器1730根据各其他影像设备中基于地址信息的内容的加载是否完成，向其他影像设备传送对内容的再现命令。处理器1730 根据内容及用于再现内容的整个区域中与显示设备对应的区域再现上述内容的至少一部分用的标定信息，生成用于显示设备的影像信息。

[0222] 处理器1730可根据用于同步多个影像设备的同步信息生成用于显示设备的影像信息。此时，同步信息例如可以是将包含于设备组的多个影像设备之间的时间偏移输入RANSAC模型确定的。

[0223] 存储器1740可存储处理器1730生成的影像信息。另外，存储器1740可存储根据用于内容再现的地址信息加载的内容。存储器1740例如可包括DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、DDR RAM(Double data rate synchronous dynamic random access memory)或如其他高速连接固体状态存储器等高速随机接入存储器(high-speed random access memory)。存储器1740 可包括挥发性存储器及非挥发性存储器。存储器1740可选择性地包括从处理器1730 位于远程的至少一个存储设备。

[0224] 通信接口1720强处理器1730生成的影像信息提供给显示设备。

[0225] 处理器1730若确认不存储有组密钥，则可将影像设备的动作模式转换为从模式。在影像设备1700中，通信接口1720从设备组的主影像设备接收用于再现内容的地址信息。
处理器1730根据地址信息加载用于设备组的内容。处理器1730判断内容的加载是否完成。
处理器1730从接收内容的加载是否完成的判断结果的主影像设备接收对内容的再现命令。
处理器1730根据再现命令，根据内容及在用于再现内容的整个区域中对应于与影像设备连接的显示设备的区域再现上述内容的至少一部分用的标定信息，生成用于显示设备的影像信息。

[0226] 影像设备1700的通信接口1720在无线网络中与包含于设备组的主影像设备交换时间信息。

[0227] 处理器1730根据时间信息计算出主影像设备和影像设备之间的时间偏移。处理器1730根据采样参数及滤波参数生成同步信息，并利用同步信息与主影像设备进行同步。

[0228] 处理器1730可通过将包含于设备组的多个影像设备之间的时间偏移输入RANSAC 模型，生成用于同步主影像设备和影像设备的同步信息。

[0229] 处理器1730通过将时间偏移输入RANSAC模型，获得过滤掉时间偏移中的异常值的采样数据。处理器1730可根据所获得的采样数据确定同步信息。

[0230] 处理器1730可根据时间信息及从主影像设备在第四时间接收在第三时间传送的影像设备一侧的第四时间戳计算出时间偏移。

[0231] 处理器1730从时间偏移提取采样数据，并根据采样数据的统计值确定效标模型。处理器1730可通过比较采样数据和效标模型之间的差异和滤波参数去除异常值。

[0232] 处理器1730对应于采样参数，可获得去除掉异常值的多个采样数据1510。处理器1730可根据从多个采样数据中所选择的一个采样数据判断去除掉的异常值的比率是否低于临界值，计算出采样数据的标准偏差。处理器1730选择具有最低标准偏差的采样数据，并将所选择的采样数据的平均设定为同步信息。

[0233] 此外，处理器1730可执行通过图1至图16在上面的内容中说明的一种方法或对应于至少一种方法的算法。处理器1730可执行程序并控制影像设备1700。被处理器 1730执行的程序代码可存储在存储器1740中。

[0234] 上述动作是示例性的，实施例可根据上述动作进行各种变形。

[0235] 上述说明的实施例可通过硬件结构要素、软件结构要素及/或硬件结构要素及软件结构要素的组合实现。例如，在实施例中说明的设备、方法及结构要素例如可通过处理器、控制器、中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、ALU(arithmetic logic unit)、数字信号处理器(digital signal processor)、微电脑、FPGA(field programmable gate array)、PLU (programmable logic unit)、微处理器、专用集成电路(Application Specific Integrated Circuits，ASICS)或可执行命令其他任何设备等一个以上的通用计算机或专用计算机实现。

[0236] 实施例的方法可实现为可通过各种计算机设备执行的程序命令形式并记录于计算机可读的记录媒体。上述计算机可读媒体可单独或组合包括程序命令、数据文件、数据结构等。记录于上述媒体的程序命令可以是为实施例特殊设计构成的，也可以是计算机软件领域公开使用的。计算机可读记录介质包括硬盘、软盘及磁带等磁性媒体 (Magnetic Media)、CD-ROM、DVD等光媒体(Optical Media)、光磁软盘(Floptical Disk)等磁光媒体(Magneto-Optical Media)及ROM)、RAM、闪存等可存储及执行程序命令的硬件设备。程序命令不仅包括编译器中产生的机器语言代码，而且还包括使用翻译器等在计算机中执行的高级语言代码。上述硬件设备可由执行实施例的动作的一个以上的软件模块组成，反之亦然。

[0237] 上述实施例仅用以说明本发明而非限制，本领域的普通技术人员应当理解，可以对本发明进行修改、变形或者等同替换。例如，所记载的技术按与记载的方法不同的顺序执行及/或所记载的系统、结构、设备、电路等结构要素以与所记载的方法不同的形式结合或组合，或被其他结构要素或等同物替代或置换也能获得适合的结果。而在不脱离本发明的精神和范围之内，其均应涵盖在本发明的权利要求范围当中。

标题	发布/更新时间	阅读量
一种实现电路仿真业务的方法及分布式系统	2020-05-08	504
一种系统推荐方法、终端及可读存储介质	2020-05-08	44
一种图像亮度统计方法及成像设备	2020-05-08	866
终端设备控制方法、装置及终端设备可读存储介质	2020-05-08	1476
基于FPGA和非线性插值的视频缩放方法	2020-05-08	679
一种气压高度开关	2020-05-08	536
一种星敏感器前向滤波硬件图像处理方法	2020-05-08	405
一种综合测试流程快速实现方法	2020-05-08	953
投屏方法、服务器、投屏系统和存储介质	2020-05-08	891
将EOC管理软件植入目标平台的方法和装置	2020-05-11	875

影像设备及影像设备的动作方法

影像设备及影像设备的动作方法

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：