首页 / 专利库 / 医疗设备 / 远程运动中心 / 涉及手持设备中边缘相机组件的系统和方法

涉及手持设备中边缘相机组件的系统和方法

阅读:203发布:2021-11-04

专利汇可以提供涉及手持设备中边缘相机组件的系统和方法专利检索,专利查询,专利分析的服务。并且本 申请 公开了用于捕获和显示用户前方环境的实时图像的系统和方法。在一个实施方式中,提供了一种用于具有面向上的显示表面和相对的下表面的移动设备的 外壳 。该外壳可包括罩和图像 传感器 ,该图像传感器具有至少一个光轴,该光轴配置为当该移动设备保持在所述罩中时,相对于该下表面以固定的钝 角 定向。所述图像传感器可以定向成:使得当行走的用户相对于该用户行走的平面以锐角持握该罩时,该至少一个光轴大体上面向该用户的行走方向。所述外壳还可包括用于从至少一个图像传感器传送用于在显示表面上实时显示的图像数据的 电路 。,下面是涉及手持设备中边缘相机组件的系统和方法专利的具体信息内容。

1.图像捕获外壳,用于具有面向上的显示表面和相对的下表面的手持移动通信设备,所述图像捕获外壳包括:
罩,用于围绕所述手持移动通信设备的至少一部分;
至少一个图像传感器,其安装在所述罩中并且具有至少一个光轴,所述光轴配置为,当所述手持移动通信设备保持在所述罩中时,所述光轴定向为相对于所述下表面成一固定的钝,其中所述至少一个图像传感器定向为,使得当所述罩被行走的用户以相对于所述用户行走的平面成锐角持握时,所述至少一个光轴大体上面向所述用户的行走方向;以及电路,用于从所述至少一个图像传感器传送用于实时显示在所述显示表面上的图像数据。
2.根据权利要求1所述的图像捕获外壳,其特征在于,所述罩中包括孔,所述孔配置为允许所述手持移动通信设备的附加图像传感器的光轴从中穿过,并且,其中所述附加图像传感器与安装在所述罩中的所述至少一个图像传感器不同。
3.根据权利要求1所述的图像捕获外壳,其特征在于,所述罩中包括至少一个通道,用于保持所述至少一个图像传感器,且其中当所述手持移动通信设备保持在所述罩中时,所述通道的轴线从所述罩相对于所述下表面成钝角延伸。
4.根据权利要求1所述的图像捕获外壳,其特征在于,所述罩包括外围边缘,并且所述至少一个图像传感器嵌入所述外壳边缘中。
5.根据权利要求1所述的图像捕获外壳,其特征在于,所述图像捕获外壳集成到所述手持移动通信设备中。
6.根据权利要求5所述的图像捕获外壳,其特征在于,所述手持移动通信设备还包括第一附加图像传感器和第二附加图像传感器,所述第一附加图像传感器具有横向于所述显示表面的平面的光轴,所述第二附加图像传感器嵌入在所述下表面下方。
7.根据权利要求6所述的图像捕获外壳,其特征在于,还包括至少一个处理器,其配置为:
经由所述电路从所述至少一个图像传感器、所述第一附加图像传感器和所述第二附加图像传感器接收图像数据;以及,
使得来自所述至少一个图像传感器、所述第一附加传感器和所述第二附加传感器中的至少两个的图像同时呈现在所述显示表面。
8.根据权利要求1所述的图像捕获外壳,其特征在于,配置为可选择性地与所述手持移动通信设备连接或分离。
9.根据权利要求8所述的图像捕获外壳,其特征在于,还包括联接器,用于当所述手持移动通信设备安放在所述罩中时,与所述手持移动通信设备的端口产生电连接。
10.根据权利要求8所述的图像捕获外壳,其特征在于,还包括电池,所述电池位于所述罩中并配置为为所述至少一个图像传感器提供电
11.根据权利要求8中所述的图像捕获外壳,其特征在于,所述电路还配置为将来自所述手持移动通信设备中的电池的电力输送到所述至少一个图像传感器。
12.根据权利要求1所述的图像捕获外壳,其特征在于,还包括定向麦克,所述定向麦克风大体上瞄准与所述至少一个图像传感器相关联的至少一个光轴的方向。
13.根据权利要求1所述的图像捕获外壳,其特征在于,所述手持移动通信设备是移动电话和平板中的至少一种。
14.一种手持移动通信设备,包括:
外壳;
在所述外壳的第一侧的面向上的显示表面;
在所述外壳的第二侧的相对所述显示表面的下表面;
至少一个图像传感器,其安装在所述外壳中并且具有至少一个光轴,所述光轴配置为,定向为相对于所述下表面成固定钝角,其中,所述至少一个图像传感器定向为,使得当所述外壳被行走的用户以相对于所述用户行走的平面成锐角持握时,所述至少一个光轴大体上面向所述用户的行走方向;以及
电路,用于从至少一个所述图像传感器传送用于实时显示在所述显示表面上的图像数据上。
15.根据权利要求14所述的手持移动通信设备,其特征在于,还包括:
第一附加图像传感器,其嵌入所述外壳的所述第一侧,并且具有面向远离所述显示表面的第一方向的第一附加光轴;
第二附加图像传感器,其嵌入所述外壳的所述第二侧,并且具有沿远离所述下表面的第二方向延伸的第二附加光轴;
其中,所述至少一个图像传感器至少部分地嵌入所述外壳的位于所述显示表面和所述下表面之间的边缘中,其中所述至少一个图像传感器的至少一个光轴沿远离所述边缘的至少一个第三方向延伸,并且,其中所述至少一个光轴、所述第一附加光轴以及所述第二附加光轴彼此偏离。
16.根据权利要求15所述的手持移动通信设备,其特征在于,所述至少一个光轴以及所述第二附加光轴定向为相对于彼此成锐角。
17.根据权利要求15所述的手持移动通信设备,其特征在于,所述至少一个光轴以及所述第一附加光轴定向为相对于彼此成钝角。
18.可拆卸壳体,用于具有面向上的显示表面和相对的下表面的手持移动通信设备,所述壳体包括:
罩,用于围绕所述手持移动通信设备的至少一部分;
联接器,用于当所述手持移动通信设备安放在所述罩中时,与所述手持移动通信设备中的端口进行电连接;
至少一个图像传感器,其安装在所述罩中并且具有至少一个光轴,所述光轴配置为,当所述手持移动通信设备保持在所述罩中时,定向为相对于所述下表面成固定的钝角,其中,所述至少一个图像传感器定向为,使得当所述罩被行走的用户相对于所述用户行走的表面成锐角持握时,所述至少一个光轴大体上面向所述用户的行走方向;以及电路,用于从所述至少一个图像传感器,传送用于实时显示在所述显示表面上的图像数据。
19.根据权利要求18所述的可拆卸壳体,其特征在于,所述至少一个图像传感器的视野大于180°。
20.根据权利要求18所述的可拆卸壳体,其特征在于,所述至少一个图像传感器包括多个图像传感器,并且其中所述多个图像传感器中的至少一个的视野与所述多个图像传感器中的另一个的视野重叠。
21.移动设备,用于当所述用户与显示的信息交互时,呈现所述用户前方环境的实时景象,所述移动设备包括:
罩,大体上具有中心轴平面;
位于所述罩第一侧的触敏显示屏;
背部,位于所述罩的第二侧,与所述第一侧相对;
在所述第一侧和所述第二侧之间的外围边缘表面;以及
至少一个图像传感器,所述图像传感器牢固地固定在所述罩中并且具有固定的光轴,所述光轴相对于所述罩的所述第一侧,所述罩的所述第二侧以及所述中心轴平面中的每一个成非正交角。
22.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器至少部分地嵌入所述外围边缘表面。
23.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器的所述固定光轴相对于所述中心轴平面以在约5°和约80°之间的角度倾斜。
24.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器的所述固定光轴相对于所述中心轴平面以在约10°和约70°之间的角度倾斜。
25.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器的视野大于60°。
26.根据权利要求21所述的移动设备,其特征在于,还包括:
第一附加图像传感器,嵌入在所述罩中并且具有沿远离所述第一侧的第一方向延伸的第一附加光轴;
第二附加图像传感器,嵌入在所述罩中并且具有沿远离所述第二侧的第二方向延伸的第二附加光轴;并且
其中所述至少一个图像传感器的所述光轴定向为:相对于所述第一附加光轴成固定钝角,并且相对于所述第二附加光轴成固定锐角。
27.根据权利要求26所述的移动设备,其特征在于,所述至少一个图像传感器的视野与所述第二附加图像传感器的视野部分重叠。
28.根据权利要求27所述的移动设备,其特征在于,还包括位于所述罩内的至少一个处理器,所述处理器配置为将来自所述至少一个图像传感器和所述第二附加图像传感器的图像数据拼接在一起。
29.根据权利要求26所述的移动设备,其特征在于,还包括位于所述罩中的至少一个处理器,所述处理器配置为:
从所述至少一个图像传感器、所述第一附加图像传感器和所述第二附加图像传感器接收图像数据;以及
实现接收自所述至少一个图像传感器、所述第一附加图像传感器和所述第二附加图像传感器的所述图像数据中的至少一部分在所述触敏显示屏上的呈现。
30.根据权利要求29所述的移动设备,其特征在于,所述至少一个处理器还配置为:
同时从所述至少一个图像传感器、所述第一附加图像传感器和所述第二附加图像传感器中的至少两个接收图像数据;并且
使得来自所述图像传感器中的所述至少两个的图像在所述触敏显示屏上呈现。
31.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器包括牢固地设置在所述外围边缘表面的第一图像传感器和第二图像传感器。
32.根据权利要求31所述的移动设备,其特征在于,所述第一图像传感器的视野与所述第二图相传感器的视野部分重叠。
33.根据权利要求21所述的移动设备,其特征在于,所述至少一个图像传感器包括图像传感器,其具有沿第一方向延伸的第一光轴和沿与所述第一方向不同的第二方向上延伸的第二光轴,其中所述第一光轴配置为定向为相对于所述第一侧成固定钝角。
34.根据权利要求33所述的移动设备,其特征在于,所述第一方向从所述外围边缘表面延伸,并且所述第二方向从所述第一侧延伸。
35.用于具有触敏显示屏的移动设备的可拆卸壳体,所述壳体包括:
用于围绕所述移动设备的至少一部分的罩,所述罩具有:第一侧;相对于所述第一侧的第二侧;使所述第一侧和所述第二侧相互连接的外围边缘表面,所述外围边缘表面具有大体上中心轴平面;
联接器,用于当所述移动设备安放在所述罩中时,与所述移动设备中的端口进行电连接;
至少一个图像传感器,其牢固地固定在所述罩内并具有相对于所述罩的所述第一侧、所述罩的所述第二侧以及所述中心轴平面中的每一个成非正交角的固定光轴;以及电路,用于从所述至少一个图像传感器传送用于实时显示在所述触敏显示屏表面上的图像数据。
36.根据权利要求35所述的可拆卸壳体,其特征在于,所述电路配置为,从所述至少一个图像传感器传送所述图像数据,用于在所述触敏显示屏上同时呈现所述移动设备的用户前方环境的实时景象和交互用户应用窗口。
37.根据权利要求35所述的可拆卸壳体,其特征在于,所述电路配置为通过无线连接传送所述图像数据。
38.根据权利要求35所述的可拆卸壳体,其特征在于,所述电路配置为使用有线连接传送所述图像数据。
39.根据权利要求35所述的可拆卸壳体,其特征在于,所述罩中包括开口,所述开口用于暴露嵌入所述移动设备的附加图像传感器。
40.根据权利要求39所述的可拆卸壳体,其特征在于,所述至少一个图像传感器的视野与嵌入所述移动设备的所述附加图像传感器的视野重叠。
41.手持移动设备,配置为:向正在通过前向行进路径的向下看的用户提供增强现实,所述手持移动通信设备,包括:
具有上表面,下表面以及侧边缘的罩;
位于所述上表面的触敏显示屏;
牢固地嵌入所述罩中的图像传感器,其定向为:使得当用户手中持握所述手持移动设备且所述触敏显示屏与所述向下看的用户的面部相对时,所述图像传感器的光轴大体上沿所述行进路径的方向延伸;
至少一个处理器,其编程为:
从所述图像传感器获取图像流;
在所述被获取的图像流中识别所述用户的所述行进路径中的对象;
查找关于所述被识别对象的信息;
在所述触敏显示屏上实时呈现所述被获取的图像流,包括所述被识别对象;以及在所述触敏显示屏上呈现与所述被识别的对象相关联的视觉指示符。
42.根据权利要求41所述的手持通信设备,其特征在于,所述视觉指示符包括图标或单词。
43.跟据权利要求41所述的手持通信设备,其特征在于,所述视觉指示符包括关于商业报价的信息。
44.根据权利要求41所述的手持通信设备,其特征在于,所述对象是人,且所述查找的信息包括所述人的名字。
45.根据权利要求41所述的手持通信设备,其特征在于,所述对象是销售机构,以及所述信息包括所述销售机构出售的产品或服务的细节。
46.根据权利要求41所述的手持通信设备,其特征在于,所述至少一个处理器还编程为:确定所述用户是否处于与所述对象的碰撞航向,并且生成所述碰撞航向的警告。
47.根据权利要求46所述的手持通信设备,其特征在于,所述警告包括触觉警告,视觉警告,声音中的任一种或其组合。
48.根据权利要求41所述的手持通信设备,其特征在于,所述至少一个处理器还编程为:在所述触敏显示屏上的第一部分中,呈现包括所述被识别的对象的所述被获取的实时图像流,并且在所述触敏显示屏的第二部分中,同时呈现所述被获取的实时图像流和交互用户应用。
49.根据权利要求48所述的手持通信设备,其特征在于,所述交互用户应用是消息应用,并且所述至少一个处理器还编程为:允许所述用户经由所述消息应用实时发送所述被获取的图像流中的至少一个图像。
50.根据权利要求41所述的手持通信设备,其特征在于,所述至少一个处理器还编程为:在所述实时图像流上叠加所述视觉指示符。
51.根据权利要求41所述的手持通信设备,其特征在于,所述视觉指示符包括与触敏显示屏交互以获取更多信息的指示,以及所述至少一个处理器还编程为:运行一个动作以响应于用户与所述视觉指示符的交互。
52.根据权利要求41所述的手持通信设备,其特征在于,还包括GPS芯片,并且所述至少一个处理器还编程为:
从方向指引应用接收指向目的地的一系列逐向导航指示;
当所述用户通过所述前向路径并且所述触敏显示屏与所述用户的面部相对时,在所述触敏显示屏上显示来自所述图像传感器的所述被获取的实时图像流;以及使用从所述GPS芯片获得的位置信息,来在所述触敏显示屏上同时显示所述逐向导航指示的至少一个视觉指示符以及所述实时图像流。
53.根据权利要求52所述的手持通信设备,其特征在于,还包括指南针,并且其中所述至少一个处理器还编程为:使用从所述GPS芯片获得的所述位置信息和从所述指南针获得的导航信息,来显示所述至少一个视觉指示符。
54.根据权利要求52所述的手持通信设备,其特征在于,所述逐向导航指示与行进路线相关联,并且所述至少一个视觉指示符包括所述行进路线的沿线地点的相关信息。
55.根据权利要求52所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括如下至少一种:箭头、指南针的表示、表示下一转弯的距离的数字、销售机构的名字和街道的名字。
56.用于包括触敏显示屏的手持通信设备的可拆卸壳体,所述壳体包括:
罩,其具有下表面,上表面和它们之间的边缘;
至少一个图像传感器,其嵌入所述罩中,定向为使得当所述手持通信设备安放在所述壳体中并且持握在向下看的用户手中,且所述触敏显示屏与所述向下看的用户的面部相对时,所述至少一个图像传感器的光轴大体上沿所述行进路径的方向延伸;
联接器,位于所述罩中,配置为:当所述手持通信设备安放在所述壳体中时,接合所述手持通信设备的端口;以及
至少一个导管,所述导管嵌入所述壳体中,在至少一个所述图像传感器和所述联接器之间延伸并且使其电连接,从而实现从所述至少一个图像传感器到所述手持移动设备的实时图像流;以及
至少一个处理器,用于在所述实时图像流上叠加视觉指示符。
57.根据权利要求56所述的可拆卸壳体,其特征在于,所述至少一个图像传感器嵌入在与所述联接器相对的边缘的一部分内,并且其中所述至少一个导管在所述图像传感器和所述联接器之间穿过所述罩。
58.用于向在通过前向路径的同时向下看手持通信设备的触敏显示器前向路径的用户提供增强现实的方法,所述方法包括:
从图像传感器获取图像流,其特征在于,所述图像传感器牢固地嵌入所述手持通信设备的外壳中,其定向为使得当所述手持通信设备持握在用户手中且所述触敏显示屏与所述向下看的用户的面部相对时,所述图像传感器的光轴大体上沿所述行进路径的方向延伸;
在所述被获取的图像流中识别所述用户的所述前向路径中的对象;
查找关于所述被识别对象的信息;
在所述触敏显示屏上实时呈现所述被获取的图像流,包括所述被识别的对象;以及在所述触敏显示屏上呈现与所述被识别的对象相关联的视觉指示符。
59.根据权利要求58所述的方法,其特征在于,所述外壳集成到所述手持移动通信设备中。
60.根据权利要求58所述的方法,其特征在于,所述外壳可与所述手持通信设备相分离。
61.图像捕获外壳,用于具有面向上的显示表面和相对的下表面的手持移动设备,所述图像捕获外壳包括:
罩,用于围绕所述手持移动设备的至少一部分;
至少一个图像传感器,安装在所述罩中并且具有沿第一方向延伸的第一光轴和沿与所述第一方向不同的第二方向延伸的第二光轴,其中,所述第一光轴配置为,在当所述手持移动设备保持在所述罩中时定向为相对于所述下表面成固定的钝角;以及
电路,用于从所述至少一个图像传感器传送图像数据用于在所述显示表面上实时显示。
62.根据权利要求61所述的图像捕获外壳,其特征在于,所述图像捕获外壳与所述手持移动设备可分离。
63.根据权利要求61所述的图像捕获外壳,其特征在于,所述图像捕获外壳集成在所述手持移动设备中。
64.根据权利要求61所述的图像捕获外壳,其特种在于,所述罩包括外围边缘,以及所述第一方向从所述外围边缘延伸,并且所述第二方向从所述面向上的显示表面延伸。
65.根据权利要求61所述的图像捕获外壳,其特种在于,在所述第一光轴和所述第二光轴之间的角是钝角。
66.根据权利要求61所述的图像捕获外壳,其特种在于,在所述第一光轴和所述第二光轴之间的角是锐角。
67.根据权利要求61所述的图像捕获外壳,其特种在于,多个嵌入所述边缘的图像传感器使所述罩的上表面和下表面相互连接。
68.根据权利要求61所述的图像捕获外壳,其特种在于,所述手持移动设备是移动电话和平板电脑中的至少一个。
69.根据权利要求61所述的图像捕获外壳,其特种在于,所述电路配置为通过无线连接传送所述图像数据。
70.根据权利要求61所述的图像捕获外壳,其特种在于,所述电路配置为使用有线连接传送所述图像数据。
71.手持移动设备,包括:
显示屏;
罩,用于沿所述显示屏的上表面保持所述显示屏,并且具有相对所述上表面的下表面,并且其中边缘位于所述上表面和所述下表面之间;
至少一个第一图像传感器,其嵌入所述上表面中,并且具有沿远离所述上表面的第一方向延伸的第一光轴;
至少一个第二图像传感器,其嵌入所述下表面中,并且具有沿远离所述下表面的第二方向延伸的第二光轴;
至少一个第三图像传感器,其至少部分地嵌入所述边缘中,并且具有沿远离所述边缘的第三方向延伸的第三光轴,并且,其中所述第一光轴、所述第二光轴和所述第三光轴彼此偏离;以及
至少一个处理器,其在所述罩中,用于从所述至少一个图像传感器、所述至少一个第二图像传感器以及所述至少一个第三图像传感器接收图像数据,并且用于实现来自所述至少一个第一图像传感器、所述至少一个第二图像传感器以及所述至少一个第三图像传感器的所述图像数据在所述显示屏上的呈现。
72.根据权利要求71所述的手持移动通信设备,其特征在于,所述第三光轴和所述第二光轴定向为相对于彼此成锐角。
73.根据权利要求71所述的手持移动通信设备,其特征在于,所述第三光轴和所述第一光轴定向为相对于彼此成钝角。
74.根据权利要求71所述的手持移动通信设备,其特征在于,所述至少一个处理器配置为:从所述至少一个第一图像传感器,所述至少一个第二图像传感器以及所述至少一个第三图像传感器中的至少两个同时接收图像信息,并且用于使得来自所述图像传感器中的所述至少两个在所述显示屏上进行同时图像呈现。
75.根据权利要求74所述的手持移动通信设备,其特征在于,所述同时图像呈现包括同时来自至少两个图像传感器的流式图像。
76.根据权利要求71所述的手持移动通信设备,其特征在于,所述至少一个处理器还编程为:聚合被所述至少一个第二图像传感器和所述至少一个第三图像传感器捕获的图像数据,并且在所述显示屏上显示被聚合的图像。
77.根据权利要求71所述的手持移动通信设备,其特征在于,所述罩包括与所述第三图像传感器位于相对位置的至少一个第四图像传感器,并且,其中允许所述至少一个处理器使得来自所述至少一个第一图像传感器、所述至少一个第二图像传感器、所述至少一个第三图像传感器、以及所述至少一个第四图像传感器的图像数据呈现在所述显示屏上。
78.根据权利要求71所述的手持移动通信设备,其特征在于,所述显示屏是触敏的。
79.图像捕获外壳,用于具有上显示表面和相对的下表面的移动设备,所述图像捕获外壳包括:
罩,用于围绕所述移动设备的至少一部分,所述罩具有上侧、下侧以及使所述上侧和所述下侧相互连接的边缘;
多个图像传感器,其嵌入所述边缘中,其中,所述多个图像传感器中的每一个都具有光轴,并且,其中,当所述移动设备保持在所述罩中时,每个光轴都从与所述上显示表面和所述下显示表面正交的轴线偏离;以及
电路,用于将来自所述多个图像传感器的图像数据传送到所述显示屏。
80.根据权利要求79所述的图像捕获外壳,其特征在于,所述图像捕获外壳集成到所述移动设备中。
81.根据权利要求80所述的图像捕获外壳,其特征在于,所述移动设备还包括具有从所述罩的所述上侧延伸远离的光轴的第一附加图像传感器,以及嵌入所述下表面的第二附加图像传感器。
82.根据权利要求80所述的图像捕获外壳,其特征在于,所述罩的所述上侧大体上与所述上表面重合。
83.根据权利要求79所述的图像捕获外壳,其特征在于,所述图像捕获外壳与所述移动设备可分离。
84.根据权利要求83所述的图像捕获外壳,其特征在于,所述图像捕获外壳包括联接器,用于当所述移动设备安放在所述罩中时,与所述移动设备中的端口产生电连接。
85.根据权利要求83所述的图像捕获外壳,其特征在于,所述罩中包括开口,用于暴露嵌入在所述下表面中的附加图像传感器。
86.根据权利要求79所述的图像捕获外壳,其特征在于,所述多个图像传感器中的每一个具有相关联的视野,并且其中,所述多个图像传感器中的至少一个的所述视野与所述多个图像传感器中的另一个的所述视野重叠。
87.根据权利要求86所述的图像捕获外壳,其特征在于,所述移动设备还包括至少一个处理器,用于从所述重叠的图像管理器中的至少两个接收图像信息,并且用于统一来自所述至少两个重叠的图像传感器的图像信息。
88.根据权利要求87所述的图像捕获外壳,其特征在于,所述统一,包括将来自所述至少两个重叠的传感器的图像信息拼接在一起。
89.根据权利要求86所述的图像捕获外壳,其特征在于,所述移动设备还包括至少一个处理器,其配置为在所述显示屏上显示来自所述至少两个重叠的传感器的统一图像信息。
90.根据权利要求86所述的图像捕获外壳,其特征在于,所述移动设备还包括至少一个处理器,其配置为使用来自所述至少两个重叠的传感器的图像信息来构建虚拟三维图像。
91.根据权利要求79所述的图像捕获外壳,其特征在于,所述多个图像传感器包括两个图像传感器,第一个位于所述罩中的右上角的区域中,以及第二个位于所述罩中的左上角的区域中。
92.根据权利要求79所述的图像捕获外壳,其特征在于,所述多个图像传感器包括三个图像传感器,第一个位于所述罩的上边缘中,第二个位于所述罩的右上角的区域中,并且第三个位于所述罩的左上角的区域中。
93.根据权利要求79所述的图像捕获外壳,其特征在于,所述多个嵌入在所述边缘的图像传感器包括第一图像传感器,所述第一图像传感器具有至少部分面向上边缘部的外侧的光学视野;第二图像触传感器,所述第二图像传感器具有至少部分面向右侧边缘部的外侧的光学视野;第三图像触传感器,所述第三图像传感器具有至少部分面向左侧边缘部的外侧的光学视野。
94.根据权利要求79所述的图像捕获外壳,其特征在于,所述电路配置为通过无线连接传送所述图像数据。
95.根据权利要求79所述的图像捕获外壳,其特征在于,所述电路配置为使用有线连接传送所述图像数据。
96.计算机可读介质,配置为在移动通信设备中使用,所述计算机可读介质包括在处理器中运行时使得所述处理器执行步骤的指令,所述步骤包括:
从所述移动通信设备中的至少一个传感器接收表示所述移动通信设备处于向前运动的第一指示;
从所述移动通信设备中的至少一个传感器接收表示所述移动通信设备中的图像传感器已定向用于图像捕获的第二指示;以及
响应于所述第一指示和所述第二指示,自动地在所述移动设备的显示屏上实现前向路径图像的实时呈现。
97.根据权利要求96所述的计算机可读介质,其特征在于,所述指令还包括,在所述前向路径图像的所述实时呈现期间,在所述显示屏上显示附加的非图像信息。
98.根据权利要求96所述的计算机可读介质,其特征在于,所述至少一个传感器包括一个加速度计,并且所述第一指示包括关于加速度计的度量。
99.根据权利要求96所述的计算机可读介质,其特征在于,所述第一指示是在预定的一段时间内测量的大约在2km/h和35km/h之间的速度。
100.根据权利要求96所述的计算机可读介质,其特征在于,所述至少一个传感器包括检测倾斜的传感器,并且,其中所述第二指示对应于所述移动设备的倾斜角度。
101.根据权利要求96所述的计算机可读介质,其特征在于,所述倾斜角度相对于所述移动通信设备的用户行走的平面在大约0°和大约45°之间。
102.根据权利要求96所述的计算机可读介质,其特征在于,所述至少一个传感器包括接近传感器,并且其中所述第二指示反映所述至少一个图像传感器是否被遮挡。
103.根据权利要求96所述的计算机可读介质,其特征在于,所述指令配置为当检测到所述移动设备的速度超过预定阈值时引起自动捕获。
104.根据权利要求96所述的计算机可读介质,其特征在于,所述指令配置为当所述移动设备的倾斜角处于预定范围时引起自动捕获。
105.根据权利要求96所述的计算机可读介质,其特征在于,所述指令配置为当检测到所述设备的速度低于预定阈值之下时停止自动图像捕获。
106.根据权利要求96所述的计算机可读介质,其特征在于,所述指令配置为当检测到所述设备的速度超过预定阈值时停止自动图像捕获。
107.根据权利要求96所述的计算机可读介质,其特征在于,所述指令配置为允许用户选择用于图像捕获的预定阈值,所述预定阈值包括速度和移动设备定向中的至少一个。
108.根据权利要求96所述的计算机可读介质,其特征在于,所述指令还包括:检测所述显示屏是否激活,并且响应于检测到激活的显示屏的结合以及响应于所述第一指示和所述第二指示,自动地在所述移动设备的所述显示屏上实现所述前向路径图像的所述实时呈现。
109.根据权利要求96所述的计算机可读介质,其特征在于,所述指令还包括:确定所述移动通信设备的电池状态是否高于预定的阈值,并且响应于对所述电池状态高于所述预定阈值的确定的结合,并且响应于所述第一指示和所述第二指示,自动地在所述移动设备的所述显示屏上实现所述前向路径图像的所述实时呈现。
110.计算机可读介质,其配置为在移动通信设备中使用,所述计算机可读介质包括处理器运行时使得所述处理器执行步骤的指令,所述步骤包括:
从至少一个与所述移动通信设备相关联的图像传感器接收表示当所述用户沿行进路径移动时的用户环境的图像数据;
从所述图像数据中选择视野窗口用于在所述移动通信设备上实时显示,其中所述视野窗口对应于所述用户的所述行进路径;以及
在所述显示屏上同时呈现交互用户应用窗口和所述视野窗口,并在所述显示屏的显示中省略所述视野窗口外的图像数据。
111.根据权利要求110所述的计算机可读介质,其特征在于,所述指令还包括:在超过一半所述显示屏呈现所述交互用户应用窗口并在少于一半所述显示屏显示所述视野窗口。
112.根据权利要求110所述的计算机可读介质,其特征在于,所述指令还包括:最初在至少大约70%的所述显示屏上显示所述交互用户应用窗口,并且在不超过大约30%上的所述显示屏显示所述视野窗口。
113.根据权利要求112所述的计算机可读介质,其特征在于,所述指令还包括:响应于用户的输入,改变所述交互用户应用窗口与所述视野窗口的比例。
114.根据权利要求110所述的计算机可读介质,其特征在于,所述至少一个图像传感器嵌入所述移动通信设备中。
115.根据权利要求110所述的计算机可读介质,其特征在于,所述至少一个图像传感器嵌入所述移动设备的壳体中。
116.根据权利要求110所述的计算机可读介质,其特征在于,所述选择,包括检测来自允许所述用户选择所述视野窗口的操纵装置的用户输入。
117.根据权利要求110所述的计算机可读介质,其特征在于,所述选择,包括检测所述移动通信设备的角度定向并且自动地基于所述角度定向调整所述视野。
118.根据权利要求110所述的计算机可读介质,其特征在于,所述指令还使得所述处理器实时调整所述视野。
119.根据权利要求118所述的计算机可读介质,其特征在于,所述实时调整响应于所述移动通信设备被检测到的定向改变而自动发生。
120.根据权利要求118所述的计算机可读介质,其特征在于,所述实时调整响应于用户与所述显示屏上的操纵装置的交互而手动发生。
121.根据权利要求110所述的计算机可读介质,其特征在于,所述选择,包括检测所述移动通信设备的角度定向并且基于所述角度定向自动地调整所述视野。
122.根据权利要求110所述的计算机可读介质,其特征在于,所述选择,包括当所述用户沿所述行进路径移动时检测所述移动通信设备的运动模式,以及自动地调整所述视野以补偿所述移动通信设备的移动。
123.计算机可读介质,配置为在移动通信设备中使用,所述计算机可读介质包括被处理器运行时使得所述处理器执行步骤的指令,所述步骤包括:
从与所述移动通信设备相关联的至少一个图像传感器接收表示当用户沿行进路径移动时的用户环境的图像数据;
从至少一个传感器接收反映用户涉及的活动的信息;
存储器访问多个活动的指示符和与每个活动相关联的相关的视野窗口;
选择视野窗口用于在所述移动通信设备上实时显示,其中所述被选择的视野窗口与所述用户当前涉及的所述活动相关联;并且
将所述被选择的视野窗口应用到所述移动通信设备的所述显示屏上。
124.根据权利要求123所述的计算机可读介质,其特征在于,反映所述活动的所述信息包括对速度的指示。
125.根据权利要求123所述的计算机可读介质,其特征在于,反映所述活动的所述信息包括对加速度的指示。
126.根据权利要求123所述的计算机可读介质,其特征在于,反映所述活动的所述信息包括对所述移动通信设备的倾斜角度的指示。
127.根据权利要求123所述的计算机可读介质,其特征在于,所述选择视野,涉及图像识别以从所述视野窗口排除超过与所述用户的路径相关联的边界的图像数据。
128.根据权利要求123所述的计算机可读介质,其特征在于,所述多个活动包括行走、自行车骑行、汽车驾驶以及摩托车骑行中的至少两种。
129.计算机可读介质,配置为在移动通信设备中使用,所述计算机可读介质包括被处理器运行时使得所述处理器执行步骤的指令,所述步骤包括:
从与所述移动通信设备相关联的至少一个图像传感器接收来自当所述用户沿行进路径移动时的用户环境的实时图像流;
在所述移动通信设备的触感屏幕显示器上呈现所述实时图像流;
在所述移动通信设备的所述触感屏幕显示器上同时呈现所述实时图像流和交互用户应用;
允许使用所述触感屏幕显示器的所述用户触摸与所述实时图像流相关联的区域,并引起所述实时图像流中的至少一传输到所述交互用户应用;以及
在所述交互用户应用功能中执行涉及所述至少一帧的动作。
130.根据权利要求129所述的计算机可读介质,其特征在于,所述交互用户应用是消息应用,并且所述指令还包括将消息发送给远程接收者,其中所述消息包括所述至少一帧。
131.根据权利要求129所述的计算机可读介质,其特征在于,所述触摸包括从与所述实时流相关联的所述区域到与所述交互用户应用相关联的区域的拖放动作。
132.根据权利要求129所述的计算机可读介质,其特征在于,所述至少一帧是单帧捕获。
133.根据权利要求129所述的计算机可读介质,其特征在于,使得所述实时图像流的多个帧传输到所述交互用户应用,其中所述多个帧是视频片段
134.根据权利要求130所述的计算机可读介质,其特征在于,所述至少一个图像传感器具有相对于所述触摸屏幕显示器成钝角的光轴。
135.根据权利要求129所述的计算机可读介质,其特征在于,所述指令还包括:缓冲所述实时流,并允许用户与所述触敏显示屏交互,所述交互方式允许所述实时图像流的被缓冲的部分经由所述消息应用传输。
136.用于显示沿横向轴捕获的双向视频流的手持通信设备,所述手持通信设备包括:
罩,具有上表面,下表面和侧边缘;
位于所述上表面的触敏屏幕;
第一图像传感器,具有沿远离所述上表面的第一方向延伸的第一光轴,所述第一图像传感器配置为当所述手持通信设备持握在观看所述触敏屏幕的用户的手中时,捕获用户的面部;
第二图像传感器,其至少部分地嵌入所述侧边缘中,并且具有沿远离所述侧边缘的第二方向延伸的第二光轴,所述第二图像传感器配置为当所述手持通信设备持握在观看所述触敏屏幕的用户的手中时,捕获所述用户的行进路径,并且其中所述第一方向横跨所述第二方向;
至少一个处理器,其编程为:
从所述第一图像传感器获取所述用户的所述面部的第一实时图像流;
从所述第二图像传感器获取所述用户的所述行进路径的第二实时图像流;以及在所述触敏显示屏上实时呈现所述用户的所述面部和所述用户的所述行进路径的双向呈现。
137.根据权利要求136所述的手持通信设备,其特征在于,所述第二图像传感器位于从所述下表面延伸的突起中。
138.根据权利要求136所述的手持通信设备,其特征在于,所述双向呈现包括用于所述第一图像流的第一窗口和用于所述第二图像流的第二窗口。
139.根据权利要求136所述的手持通信设备,其特征在于,所述第一窗口和所述第二窗口中的至少一个可经由所述触敏显示屏的触摸交互来调整大小。
140.根据权利要求139所述的手持通信设备,其特征在于,所述第一窗口和所述第二窗口中的至少一个的位置经由触敏显示屏的触摸交互是可移动的。
141.根据权利要求136所述的手持通信设备,其特征在于,所述至少一个处理器还可编程为在限定的一段时间内存储所述双向呈现。
142.根据权利要求136所述的手持通信设备,其特征在于,所述至少一个处理器还编程为将实时双向呈现无线地传达到远程接收者。
143.根据权利要求136所述的手持通信设备,其特征在于,所述至少一个处理器还编程为将实时双向呈现无线地上传到服务器
144.根据权利要求136所述的手持通信设备,其特征在于,所述至少一个处理器还编程为使得所述双向呈现传输到交互用户应用。
145.根据权利要求144所述的手持通信设备,其特征在于,所述至少一个处理器还编程为,在识别从与所述双向呈现相关联的区域到与所述交互用户应用相关联的区域的拖放动作时传输所述双向呈现。
146.手持移动通信设备,其配置为向当通过前向行进路径时向下看的用户提供方向指引,所述手持移动通信设备包括:
罩,具有上表面,下表面和侧边缘;
位于所述上表面的触敏显示屏;
图像传感器,其牢固地嵌入所述罩中,定向为:使得当所述手持移动设备持握在用户手中且其所述触敏显示屏与所述向下看的用户的面部相对时,所述图像传感器的光轴大体上沿所述行进路径的方向延伸;
GPS芯片;
至少一个处理器,其配置为:
从方向指引应用功能接收指向目的地的一系列逐向导航指示;
当时所述用户通过所述前向路径且所述触敏显示屏与所述用户的面部相对时,在所述触敏显示屏上显示来自所述图像传感器的实时图像流;以及
使用从所述GPS芯片获得的位置信息,来在所述触敏显示屏上同时显示所述逐向导航指示的至少一个视觉指示符及显示所述实时图像流。
147.根据权利要求146所述的手持通信设备,其特征在于,还包括指南针,并且,其中所述至少一个处理器还编程为使用从所述GPS芯片获得的所述位置信息以及从所述指南针获得的方向信息,以显示所述至少一个视觉指示符。
148.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个处理器还编程为在所述触敏显示屏上将交互用户应用功能与所述实时图像流和所述至少一个视觉指示符同时显示。
149.根据权利要求148所述的手持通信设备,其特征在于,所述交互用户应用是消息应用。
150.根据权利要求146所述的手持通信设备,其特征在于,允许所述用户经由所述消息应用从所述实时图像流发送至少一个图像。
151.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个处理器还编程为在所述实时图像流上叠加至少一个视觉指示符。
152.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个处理器还编程为运行一个动作以响应于用户与所述至少一个视觉指示符的交互。
153.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括箭头。
154.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括指南针的表示。
155.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括表示到下一转弯的距离的数字。
156.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括街道的名字。
157.根据权利要求146所述的手持通信设备,其特征在于,所述至少一个视觉指示符包括行进路线的沿线地点的信息。
158.用于手持移动电话的可拆卸壳体,所述壳体包括:
罩;
嵌入所述罩中的至少一个图像传感器;
在所述罩中的联接器,其配置为当所述手持移动设备安放在所述壳体中时,接合所述手持移动设备的端口;以及
嵌入所述壳体中的至少一个导管,所述导管在所述至少一个图像传感器和所述联接器之间延伸并且将其电连接,从而当所述手持移动设备安放在所述壳体中时,实现从所述至少一个图像传感器到所述手持移动设备的实时图像流。
159.根据权利要求158所述的可拆卸壳体,其特征在于,还包括在所述罩中的电池。
160.根据权利要求159所述的可拆卸壳体,其特征在于,所述电池配置为向所述罩中的图像传感器提供电力并且向所述手持移动电话提供电力。
161.根据权利要求159所述的可拆卸壳体,其特征在于,还包括用于向所述电池无线充电的接收器。
162.根据权利要求158所述的可拆卸壳体,其特征在于,所述罩具有下表面以及从所述下表面向上延伸的边缘,并且其中所述图像传感器嵌入在所述边缘中。
163.根据权利要求162所述的可拆卸壳体,其特征在于,所述至少一个图像传感器位于所述边缘与所述联接器相对的一部分内,并且其中所述至少一个导管在所述图像传感器和所述联接器之间穿过所述罩。
164.根据权利要求158所述的可拆卸壳体,其特征在于,在所述罩中的所述至少一个图像传感器配置为由所述手持移动电话控制。
165.根据权利要求164所述的可拆卸壳体,其特征在于,所述壳体中的所述至少一个图像传感器配置为响应于所述手持移动电话中的传感器检测到的加速度而激活。
166.用于使用从嵌入移动电话的边缘的多个图像传感器聚合的图像数据众包生成街景地图的系统,所述系统包括:
至少一个处理器,其配置为:
维持地理区域的街景地图,其中GPS坐标与所述街景地图上的位置相关联;
从嵌入多个用户的多个移动电话的边缘中的所述多个图像传感器接收街景图像;
从所述多个移动电话中的每一个接收与所述接收的街景图像中的每一个相关联的GPS位置;并且
用从所述多个图像传感器接收的街景图像来更新所述街景地图中用于与接收的街景图像相关联的GPS位置,所述接收的街景图像对应于所述街景地图上的GPS位置。
167.根据权利要求166所述的系统,其特征在于,所述至少一个处理器还配置为,在所述移动电话更改所述街景图像以模糊个人信息之后,从多个移动电话接收所述街景图像。
168.根据权利要求166所述的系统,其特征在于,所述至少一个处理器还配置为从所述多个移动电话接收所述街景图像而非与所述多个用户相关联的元数据信息。
169.根据权利要求166所述的系统,其特征在于,所述至少一个处理器还配置为实时接收所述街景图像。
170.根据权利要求166所述的系统,其特征在于,所述至少一个处理器还配置为,接收与每个所述街景图像相关联的时间戳,并且当从多个用户接收多个重叠的街景图像时接收时间戳,以用最新的街景图像更新所述地图。
171.根据权利要求166所述的系统,其特征在于,所述至少一个处理器还配置为将接收自多个用户的多个重叠的街景图像统一化,并且用统一街景图像更新所述地图。
172.用于使用从嵌入移动电话的边缘的多个图像传感器聚合的图像数据众包生成街景地图的街景地图的方法,所述方法包括:
维持地理区域的街景地图,其中GPS坐标与所述街景地图的位置相关联;
从嵌入多个用户的多个移动电话的边缘中的所述多个图像传感器接收街景图像;
从所述多个移动电话中的每一个接收与所述接收的街景图像中的每一个相关联的GPS位置;以及
用从所述多个图像传感器接收的街景图像来更新所述街景地图中用于与接收的街景图像相关联的GPS位置,所述接收的街景图像对应于所述街景地图上的GPS位置。
173.根据权利要求172所述的方法,其特征在于,所述多个图像传感器与多个用于所述移动电话的可拆卸壳体相关联。
174.根据权利要求172所述的方法,其特征在于,所述多个图像传感器位于所述移动电话的边缘表面上。
175.计算机可读介质,其配置为在移动通信设备中使用,所述计算机可读介质包括被处理器运行时使得所述处理器执行步骤的指令,所述步骤包括:
从具有沿第一方向延伸的第一光轴的第一图像传感器接收第一实时图像流;
从具有沿与所述第一方向不同的第二方向中延伸的第二光轴的第二图像图像传感器接收第二实时图像流;
从所述第一实时图像流确定视野窗口,用于在所述移动通信设备上显示;
在所述移动通信设备上显示与所述被确定的视野窗口对应的实时呈现;以及响应于用户与所述显示屏的交互而调整所述视野窗口,其中所述调整包括以下中至少一个:从所述第一实时图像流中选择新的视野窗口,以及从所述第二实施图像流中选择新的视野窗口。
176.根据权利要求175所述的计算机可读介质,其特征在于,所述第一光轴和所述第二光轴之间的角是钝角。
177.根据权利要求175所述的计算机可读介质,其特征在于,所述第一光轴和所述第二光轴之间的角是锐角。
178.根据权利要求175所述的计算机可读介质,其特征在于,所述指令还包括:从具有沿与所述第一和第二方向不同的第三方向延伸的第三光轴的第三图像传感器接收第三实时图像流;并且其中所述调整包括以下至少一个:从所述第一实时图像流中选择新的视野窗口,从所述第二实时图像流中选择新的视野窗口,以及从所述第三实时图像流中选择新的视野窗口。
179.根据权利要求175所述的计算机可读介质,其特征在于,所述调整视野窗口包括在所述显示器上的持续运动。
180.根据权利要求179所述的计算机可读介质,其特征在于,所述持续运动沿两个不同的方向,其中沿第一方向的第一运动沿改变实时图像流的视野窗口,并且沿第二方向的第二运动沿改变实时图像流的来源行。

说明书全文

涉及手持设备中边缘相机组件的系统和方法

[0001] 相关申请的交叉引用
[0002] 本申请要求如下申请的优先权:在2016年5月7日提交的第62/333,197号美国临时专利申请;在2016年7月27日提交的第15/220,418号美国专利申请;在2016年11月23日提交的第62/425,741号美国临时专利申请;以及在2016年12月15日提交的第62/434,695号美国临时专利申请。前述申请的内容全文通过引用并入本文

技术领域

[0003] 本公开一般涉及手持移动通信设备中的图像捕获,并且更具体地,涉及用于捕获和显示用户前方环境的实时图像的系统和方法。

背景技术

[0004] 移动通信设备是现代日常生活中的普遍的一部分。尽管最初设想为在人们中间提供语音通信的通信设备,移动通信设备已经成为人们彼此之间以及在线上数据服务中交流、通信和活动的核心。通常情况是,当用户的注意导向移动通信设备的屏幕时,此用户不再留意周围环境。
[0005] 这种情况具有危险的影响,因为许多人在进行其他活动,例如在街上行走时使用他们的移动通信设备。举例来说,已经见到路上行人因边走边在移动通信设备上键入文本而撞上灯柱、踩入坑以及甚至撞上迎面而来的往来车辆。用户通常观看移动设备屏幕的度,使其无法依赖周边视觉来辨认出前进方向上的障碍物。
[0006] 此外,个人移动通信设备用来生成增强现实。在某些情况下,安装在移动通信设备上的应用,可以使用设备的GPS和相机以在用户实时环境视图上叠加内容。这些应用可以创建以现实和虚拟世界为基础的复合呈现。一个例子是“精灵宝可梦Go”应用,其在2016年靡全球并成为最常使用和盈利最高的移动应用之一。然而,现在相机在移动通信设备中的布置,要求垂直握住移动通信设备才能捕获用户面前的环境。在长时间使用时这种姿势是不舒服的,并且不适宜在行走时使用。
[0007] 本申请所公开的设备和方法旨在提供一种用于图像捕获的新方式,其与移动通信设备的自然持握角度一致,并且至少解决部分上述问题。发明内容
[0008] 与本公开一致的实施例提供用于手持移动通信设备中图像捕获的设备和方法。在一个实施例中,提供了一种用于具有面向上的显示表面和一个相对的下表面的手持移动通信设备的图像捕获外壳。该图像捕获外壳可包括用于围绕至少一部分的手持移动通信设备的罩。该图像捕获外壳还可包括至少一个安装在所述罩上并且具有至少一个光轴的图像传感器,该光轴配置为:当手持移动通信设备保持在所述罩中时,所述光轴定向为相对于该下表面成一固定的钝角;其中,所述至少一个图像传感器定向为,使得当该罩行走的用户以相对于用户行走的平面成锐角持握时,所述至少一个光轴大体上面向用户的行走方向。该图像捕获外壳还可包括从所述至少一个图像传感器传送用于实时显示在该显示表面上的图像数据。
[0009] 根据另一个公开的实施例,提供了一种手持移动通信设备。该手持移动通信设备可包括:外壳,在该外壳的第一侧上的面向上的显示表面,以及在该外壳的第二相对侧上的相对于显示表面的下表面。该手持移动通信设备还可包括至少一个图像传感器,其安装在外壳中并且具有至少一个光轴,该光轴配置为定向为与下表面呈固定钝角,其中至少一个图像传感器定向为,使得当该外壳被行走的用户以相对于用户行走的平面成锐角持握时,所述至少该一个光轴大体上面向该用户的行走方向。该手持移动通信设备也可包括从至少一个图像传感器传送用于实时显示在显示表面的图像数据的电路
[0010] 根据另一个公开的实施例,提供了一种用于具有面向上的显示表面和相对的下表面的手持移动通信设备的可拆卸壳体。该壳体可包括用于围绕至少一部分该手持移动通信设备的罩。该壳体还可包括联接器,其用于,当该手持移动设备安放在罩中时,与该手持移动设备中的端口进行电连接。此外,该壳体还可包括至少一个图像传感器,其安装在罩中并且具有至少一个光轴,该光轴配置为定向为当该手持移动通信设备保持在该罩中时与下表面呈固定钝角,其中至少一个图像传感器定向为,使得当该罩被行走的用户以相对于用户行走的平面成锐角持握时,所述至少该一个光轴大体上面向该用户的行走方向。该壳体还可包括从至少一个图像传感器传送用于实时显示在显示表面的图像数据的电路。
[0011] 根据另一个公开的实施例,提供了用于当用户与显示信息交互时呈现用户前方环境的实时景象的移动设备。该移动设备可包括罩,该罩大体上具有:中心轴平面;在该罩第一侧上的触敏显示屏;在该罩与第一侧相对的第二侧上的背部;以及该第一侧与该第二侧之间的外围边缘表面。该移动设备也可包括至少一个图像传感器,该传感器牢固地固定在该罩内并且具有固定的光轴,该光轴相对于该罩的第一侧、该罩的第二侧以及该中心轴平面中的每一个均成非正交角度。
[0012] 根据另一个公开的实施例,提供了一种用于具有触敏显示屏的移动设备的可拆卸壳体。该壳体可包括用于围绕至少一部分该移动设备的罩,该罩具有:第一侧;与该第一侧相对的第二侧;使第一侧和第二侧互相连接的外围边缘表面;以及大体上中心轴平面。该壳体也可包括联接器,用于当该移动设备安放在罩中时,与该移动设备中的端口进行电连接。该壳体也可包括至少一个图像传感器,该传感器牢固地固定在该罩内并且具有固定的光轴,该光轴相对于该罩的第一侧、该罩的第二侧以及该中心轴平面中的每一个均成非正交角度。该壳体还可包括从至少一个图像传感器传送用于实时显示在该触敏显示屏表面的图像数据的电路。
[0013] 根据另一个公开的实施例,提供了一种手持通信设备,该手持通信设备配置为向当在通过前向行进路径时向下看的用户提供增强现实。该手持通信设备可包括罩,该罩具有上表面、下表面、侧边缘、位于该上表面的触敏显示屏以及至少一个处理器。该手持通信设备还可包括图像传感器,该图像传感器牢固地嵌入该罩中,其定向使得:当该手持通信设备持握在向下看的用户手中且该触敏显示屏对着该向下看的用户的脸时,所述图像传感器的光轴大体上沿行进路径的方向延伸。该至少一个处理器可编程为,从该图像传感器获取图像流;在获取的图像流中识别该用户行进路径中的对象;查找被识别对象的信息;在触敏显示屏上实时地呈现包括该被识别对象在内的图像流;并且,在触敏显示屏上呈现与被识别对象相关联的视觉指示符。
[0014] 根据另一个公开的实施例,提供了一种用于包括触敏显示屏的手持通信设备的可拆卸壳体。该壳体可包括罩,该罩具有下表面、上表面以及其间的边缘。该壳体也可包括该至少一个图像传感器,该图像传感器嵌入该罩中,其定向使得:当该手持通信设备安放在该壳体内并持握在向下看的用户手中,且该触敏显示屏对着该向下看的用户的脸部时,所述至少一个图像传感器的光轴大体上沿行进路径的方向延伸。该壳体还可包括:在罩中的联接器,其配置为:当该手持通信设备安放在壳体中时,接合该手持通信设备的端口;以及至少一个嵌入该壳体的导管,其在至少一个图像传感器与联接器之间延伸并且使它们电连接,从而实现从至少一个图像传感器到手持通信设备的实时图像流。此外,壳体可包括至少一个处理器,用于在实时图像流上叠加视觉指示符。
[0015] 根据另一个公开的实施例,提供了一种向当在通过前向行进路径时向下看手持通信设备的触敏显示屏的用户提供增强现实的方法。该方法可包括:从图像传感器获取图像流,其中该图像传感器牢固地嵌入该罩中,其定向使得当该手持通信设备安放在该壳体内并在向下看的用户手中持握且该触敏显示屏相对该向下看的用户的面部时,至少一个图像传感器的光轴大体上在行进路径的方向中延伸;在获取的图像流中识别位于用户行进路径中的对象;查找被识别对象的信息;在触敏显示屏上实时地呈现包括被识别对象在内的图像流;并且,在触敏显示屏上呈现与被识别对象相关联的视觉指示符。
[0016] 根据另一个公开的实施例,提供了一种用于手持移动设备的图像捕获外壳,该手持移动设备具有面向上的显示表面和相对的下表面。该图像捕获壳体可包括用于围绕至少一部分手持移动设备的壳体。该图像捕获外壳还可包括至少一个安装在该罩中的图像传感器,其具有沿第一方向延伸的第一光轴和沿与第一方向不同的第二方向延伸的第二光轴,其中,该第一光轴配置为:当该手持移动设备保持在该罩中时,定向为相对于该下表面成固定钝角。该图像捕获壳体还可包括用于从所述至少一个图像传感器传输用于在显示表面上实时显示的图像数据的电路。
[0017] 根据另一个公开的实施例,提供了一种手持移动通信设备。该手持移动通信设备可包括显示屏,以及罩,该罩用于沿上表面保持显示屏,且具有相对于该上表面的下表面,并且,其中存在位于该上表面和该下表面之间的边缘。该手持移动通信设备还可包括:至少一个第一图像传感器,其嵌入上表面内且具有面向远离上表面的第一方向的第一光轴;至少一个第二图像传感器,其嵌入下表面内且具有沿远离该下表面的第二方向延伸的第二光轴;以及,至少一个第三图像传感器,其至少部分地嵌入该边缘且具有在远离该边缘的第三方向中延伸的第三光轴;并且,其中该第一光轴,该第二光轴以及该第三光轴彼此偏离。该手持移动通信设备还可包括在罩中的至少一个处理器,用于从该至少一个第一图像传感器,该至少一个第二图像传感器以及该至少一个第三图像传感器接收图像数据,并且用于在显示屏上呈现来自该至少一个第一图像传感器,该至少一个第二图像传感器以及该至少一个第三图像传感器的图像数据。
[0018] 根据另一个公开的实施例,提供了一种用于具有上显示表面和相对的下表面的移动设备的图像捕获外壳。该图像捕获外壳可包括用于围绕至少一部分该移动设备的罩,该罩具有上侧、下侧以及使该上侧和下侧互相连接的边缘。该图像捕获外壳也可包括嵌入该边缘的多个图像传感器,其中,所述多个图像传感器中的每个都具有光轴,并且,其中,当该移动设备保持在该罩中时,每个光轴都从和该上显示表面和该下显示表面正交的轴线偏离。该图像捕获外壳还可包括用于从该多个图像传感器向该显示屏传送图像数据的电路。
[0019] 根据另一个公开的实施例,提供了一种配置为在移动通信设备中使用的计算机可读介质。该计算机可读介质可包含当处理器运行时使得该处理器执行包括以下的步骤的指令:从在该移动通信设备中的至少一个传感器接收该移动通信设备正前向运动的第一指示;从在该移动通信设备中的至少一个传感器接收该移动设备中的图像传感器定向用于图像捕获的第二指示;并且以响应该第一指示和第二指示,自动地在所述移动设备的所述显示屏上实现所述前向路径图像的所述实时呈现。
[0020] 根据另一个公开的实施例,提供了一种配置为在移动通信设备中使用的计算机可读介质。该计算机可读介质可包含当被处理器运行时使得该处理器执行包括以下的步骤的指令:当用户沿行进路径移动时,从与该移动通信设备关联的至少一个图像传感器接收表示用户环境的图像数据;从该图像数据选择视野窗口,用于在该移动通信设备上实时显示,其中,该视野窗口对应于用户的行进路径;并且在显示屏上同时呈现交互用户应用窗口和该视野窗口,并在所述显示屏的显示中省略所述视野窗口外的图像数据。
[0021] 根据另一个公开的实施例,提供了一种配置为在移动设备中使用的计算机可读介质。该计算机可读介质可包含当处理器运行时使得该处理器执行包括以下的步骤的指令:当用户沿行进路径移动时,从与该移动设备关联的至少一个图像传感器接收表示用户环境的图像数据;从至少一个传感器接收反映用户所涉及活动的信息;在存储器访问多个活动的指示符和与每个活动相关联的相关联视野窗口;选择视野窗口用于在该移动通信设备上的实时显示,其中该被选择的视野窗口与该用户现在涉及的活动相关联;并且,将被选择的视野窗口应用到该移动设备的显示屏。
[0022] 根据另一个公开的实施例,提供了一种配置用于在移动设备中使用的计算机可读介质。该计算机可读介质可包含当处理器运行时使得该处理器执行包括以下的步骤的指令:当用户沿行进路径移动时,从与该移动通信设备相关联的至少一个图像传感器接收来自用户环境的实时图像流;在该移动通信设备的触感屏幕显示器呈现该实时图像流;在该移动通信设备的触感屏幕显示器上同时呈现该实时图像流和交互用户应用;允许使用该触感屏幕显示器的所述用户触摸与该实时图像流相关联的区域,并引起该实时图像流的至少一传输至该交互用户应用;并且在该交互用户应用执行涉及所述至少一帧的动作。
[0023] 根据另一个公开的实施例,提供了一种用于显示沿横轴捕获的双向视频流的手持通信设备。该手持通信设备可包括:罩,该罩具有上表面、下表面和侧边缘。该手持通信设备还可包括位于该上表面的触敏屏幕和至少一个编程的处理器。该手持通信设备也可包括具有第一光轴的第一图像传感器,该光轴沿远离该上表面的第一方向延伸,其方式配置为:当该手持通信设备被正在观看该触敏屏幕的用户持握在手中时,捕获该用户的面部;以及至少部分地嵌入该侧边缘的具有第二光轴的第二图像传感器,该第二光轴沿远离该侧边缘的第二方向中延伸,其方式配置为:当手持通信设备在正在观看该触敏屏幕的用户的手中持握时,捕获该用户的行进路径,并且,其中第一方向横跨该第二方向。该至少一个处理器可编程为:从该第一图像传感器获取该用户的面部的第一实时图像流;从该第二图像传感器获取该用户的该行进路径的第二实时图像流;以及在该触敏屏幕上实时地呈现该用户的面部以及该用户的行进路径的双向呈现。
[0024] 根据另一个公开的实施例,提供了一种手持移动通信设备,其配置为向在通过前向行进路径时向下看的用户提供方向指引。该手持移动通信设备可包括具有上表面、下表面和侧边缘的罩。该手持移动通信设备也可包括位于该上表面的触敏显示屏、GPS芯片和至少一个处理器。该手持移动通信设备还可包括牢固地嵌入该罩中的图像传感器,其定向使得当该手持移动设备在用户手中持握且该触敏显示屏对着该向下看的用户的面部时,该图像传感器的光轴大体上以行进路径的方向延伸。该至少一个处理器可被编程为:从方向指引应用接收指向目的地的一系列逐向导航指示;当用户通过该前向路径并且该触敏显示屏对着该用户的面部时,在该触敏显示屏上显示来自该图像传感器的实时图像流;并且,使用从该GPS芯片获得的位置信息,来在该触敏显示屏上同时显示所述逐向导航的至少一个视觉指示符以及该实时图像流。
[0025] 根据另一个公开的实施例,提供了一种用于手持移动电话的可拆卸壳体。该壳体可包括罩和嵌入该罩内的至少一个图像传感器。该壳体也可包括在该罩中的联接器,该联接器配置为当该手持移动设备安放在该壳体中时,接合该手持移动设备的一个端口。该壳体还可包括嵌入在该壳体中的至少一个导管,该导管在所述至少一个图像传感器和联接器之间延伸并且使它们电连接,从而当该手持移动设备安放在该壳体中时实现从至少一个图像传感器到该手持移动设备的实时图像流。
[0026] 根据另一个公开的实施例,提供了一种使用从嵌入移动电话的边缘中的多个图像传感器聚合的图像数据众包生成街景地图的系统。该系统可包括:至少一个处理器,其配置为:维持地理区域的街景地图,其中GPS坐标与该街景地图上的位置相关联;从嵌入多个用户的多个移动电话的边缘中的所述多个图像传感器接收街景图像;从该多个移动电话的每个中接收与接收的街景图像相关联的GPS位置;并且,当与接收的街景图像相关联的GPS位置对应于该街景地图上GPS位置时,用从该多个图像传感器接收的街景图像更新该街景地图。
[0027] 根据另一个公开的实施例,提供了一种使用从嵌入移动电话的边缘的多个图像传感器聚合的图像数据众包生成街景地图的方法。该方法可包括维持地理区域的街景地图,其中GPS坐标与该街景地图上的位置相关联;从嵌入多个用户的多个移动电话的边缘中的多个图像传感器接收街景图像;从该多个移动电话的每一个接收与该接收的街景图像相关联的GPS位置;并且当与接收的街景图像相关联的GPS位置对应于该街景地图上GPS位置时,用从该多个图像传感器接收的街景图像更新该街景地图。
[0028] 根据另一个公开的实施例,提供了一种配置为用于在移动通信设备中使用的计算机可读介质。该计算机可读介质可包含当被处理器运行时使得该处理器执行包括以下的步骤的指令:从第一图像传感器接收第一实时图像流,该第一图像传感器具有沿第一方向延伸的第一光轴;从第二图像传感器接收第二实时图像流,该第二图像传感器具有沿与该第一方向不同的第二方向延伸的第二光轴;从该第一实时图像流确定视野窗口,用于显示在该移动通信设备上;在该移动通信设备的显示器上显示与确定的视野窗口相对应的实时呈现;并且,响应于用户与该显示屏的交互而对该视野窗口做出调整,其中,该调整包括以下中至少一个:从该第一实时图像流中选择新视野窗口,以及从该第二实时图像流中选择新视野窗口。
[0029] 与其他公开的实施例一致地,非暂时性计算机可读存储媒介可以存储程序指令,该程序指令由至少一个处理器运行并且执行本公开描述的任何方法。
[0030] 上述一般描述和以下的详细描述仅是示例性和说明性的,并不是对权利要求的限制。附图说明
[0031] 包含在本公开中并构成本公开的一部分的附图中,示出了本公开的各种实施例。附图中:
[0032] 图1A是行走的用户在凝视移动通信设备时的来自第一视点的示意图;
[0033] 图1B是该图1A中的用户的来自第二视点的示意图;
[0034] 图2A是与本公开一致的第一示例设备的来自第一视点的示意图;
[0035] 图2B是图2A中所示的第一示例设备的来自第二视点的示意图;
[0036] 图3A与本公开一致的第二示例设备的来自第一视点的示意图;
[0037] 图3B是图3A中所示的第二示例设备的来自第二视点的示意图;
[0038] 图4A是与图2A中所示的该第一示例设备相关联的边缘相机组件的视野的示意图;
[0039] 图4B是与图3A中所示该第二示例设备相关联的边缘相机组件的视野的示意图;
[0040] 图5是与图2A中所示的该第一示例设备相关联的具有多个图像传感器的边缘相机组件的视野的示意图;
[0041] 图6是描绘了根据本公开的实施例的边缘相机组件的光轴角度的示意图;
[0042] 图7是描绘了边缘相机组件的光轴相对于其他移动通信设备集成的相机的光轴的定向的示意图;
[0043] 图8是描绘了边缘相机组件的光轴的定向相对于图3A中所示的该第二示例设备的移动设备的主轴的示意图;
[0044] 图9是描绘了边缘相机组件的视野相对于图3A中所示第二示例设备集成的相机的其他视野的示意图;
[0045] 图10是示出了与图3A中所示的该第二示例设备相关联的边缘相机组件的电路的功能框图
[0046] 图11是示出了与图2A中所示的该第一示例设备相关联的边缘相机组件的电路的功能框图;
[0047] 图12A、图12B、图12C和图12D是根据所公开的实施例的用于向用户提供增强现实的示例性方法的流程图
[0048] 图13A、图13B、图13C、图13D、图13E和图13F是根据所公开的实施例的边缘相机组件的示例用法的示意图;
[0049] 图14是根据所公开的实施例的边缘相机组件的示例用法的示意图;
[0050] 图15是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0051] 图16是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0052] 图17是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0053] 图18是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0054] 图19是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0055] 图20是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;
[0056] 图21是根据所公开的实施例的边缘相机组件的另一示例用法的示意图;以及[0057] 图22是根据所公开的实施例的边缘相机组件的另一示例用法的示意图。

具体实施方式

[0058] 以下的详细描述引用了附图。在可能的情况下,在附图以及下列描述中使用相同标号来指代相同或相似的部分。本公开不限于所描述的实施例和示例,而应当由所附权利要求限定其适当范围。
[0059] 本公开的实施例可涉及一种边缘相机组件,其配置为捕获用户前方的环境图像,以在移动通信设备的显示屏上引起实时图像呈现。这里使用的术语“移动通信设备”指的是任何具有显示屏并且可以与无线网络通信的可移动设备,包括但不限于无线通信芯片组、智能手机、平板电脑、智能手表、用户设备(UE)、个人数码助理,等等。需要注意,为简明起见,可以使用术语“手持移动通信设备”、“手持移动设备”、“移动通信设备”以及“移动设备”指代上面所列各种设备中的任一种。
[0060] 所公开的边缘相机组件可包括具有图像捕获能力的系统,其可与该移动通信设备接合或是该移动通信设备的一部分。该边缘相机组件可包括罩、图像传感器和用于传送来自该图像传感器的图像数据的电路。与所公开的实施例一致地,该图像传感器可放置在边缘表面中,该边缘表面使与该移动通信设备相关联的外壳的上侧和下侧互相连接。在本公开的第一方面,提供了一种用于移动通信设备的可拆卸壳体。在这个方面,该边缘相机组件可与该移动通信设备分离,但配置为:当该移动通信设备安放在该壳体中时,该边缘相机组件与所述移动通信设备接合。在本公开的第二方面,提供了一种移动通信设备。在这个方面,边缘相机组件可与所述移动通信设备底架集成。
[0061] 本公开的两个方面可涉及一种图像捕获外壳(也称为“外壳”)。术语“外壳”在本文中用于指代任何用于防护边缘相机组件的部件的保护性构件。该外壳可由弹性材料(例如热塑性橡胶、合成塑料、聚酯、金属等)构成,其模制成所需的形状。在第一种方法中,该图像捕获外壳可以是可拆卸壳体,其为该边缘相机组件和该移动通信设备提供保护。在第二种方法中,该图像捕获外壳可集成到该移动通信设备之中,并且用作该设备的外罩。
[0062] 根据本公开的实施例的图像捕获外壳可包括用于围绕至少一部分的该移动通信设备的罩。术语“罩”广泛地包括被设计来容纳该移动通信设备或该移动通信设备的部件的至少一部分的任何结构或附件。在一个示例中,该罩可具有延长部分,该延长部分能够抓握在使用者的手中,其长度实质长于宽度和/或厚度。该罩可具有正方形、矩形、圆角矩形或其他能够抓握的任何规则或不规则形状的横截面。这种结构可允许在使用中进行可重复的、可保持的抓握。如在本说明书及所附权利要求中所使用的术语“上”、“顶”、“下”、“底”、“前”、“背”以及“后”,是指当该罩的该延长部分水平定向且该移动通信设备的显示侧为面向上时的该罩的部分或位置。
[0063] 在一些实施例中,该边缘相机组件可包括安装或嵌入在该罩中的图像传感器。术语“安装在该罩中”和“嵌入在该罩中”意味着该图像传感器全部或部分地封装在该罩中。图像传感器可以是能够检测近红外、红外、可见和紫外光谱的光学信号并将它们转变为电信号的设备。该电信号可用来生成图像数据。术语“图像数据”内包括从该近红外、红外、可见和紫外光谱中的光信号恢复的任何形式的数据(例如,信息、图像和/或视频流)。与该边缘相机组件相关联的图像传感器的示例可包括数码相机、电话相机、半导体电荷耦合设备(CCD)、互补金属化物半导体(CMOS)有源像素传感器,或N型金属氧化物半导体(NMOS、Live MOS)。与该边缘相机组件相关联的图像传感器可具有大于90°、大于120°、或大于180°或大约360°的视野。此外,与该边缘相机组件相关联的图像传感器可具有640x 480,1024x 768,1280x 960的分辨率或其他任何适宜的分辨率。
[0064] 与本公开一致地,该图像传感器可安装(或嵌入)在该罩中,使得当该罩被行走的用户持握时该图像传感器的光轴大体上沿该用户的行走方向延伸。如本文所用,术语“光轴”指代限定光从该相机视野的中心到该图像传感器的中心的传播的路径的假想线。在本公开中,术语“大体上沿该用户行走方向延伸(或大体上面向该用户行走方向)”广泛地意味着该边缘相机组件的视野覆盖与该用户行走方向对应的该用户环境的扇区。在一个示例中,该边缘相机组件可以与具有宽视野的240度鱼眼相机相关联。在另一个示例中,该边缘相机组件的视野在图1B中示出。在这两个示例中,由于该图像传感器捕获与该用户行走方向对应的环境的扇区,这意味着该图像传感器的该光轴大体上沿该用户的该行走方向延伸。
[0065] 该边缘相机组件可包括用于传送来自该图像传感器的图像数据的电路。与所公开的实施例一致地,该图像数据可在该移动通信设备上实时显示。如这里所使用的,术语“实时”通常意味着在捕获图像和显示该捕获图像之间没有可观察的延迟。在这里使用的术语“电路”指的是以下所有:(a)纯硬件电路实现,例如仅在模拟和/或数字电路的实现(例如,电线、电连接);(b)电路、软件和/或固件的组合(例如,处理器、数字信号处理器、软件和存储器的组合),它们一起工作以使得装置执行各种功能;以及(c)需要软件或固件用于操作的电路(例如,微处理器或微处理器的一部分),即使该软件或固件并非物理存在。在第一种方法中,该电路可包括联接器,该联接器配置为当该移动通信设备安放在该可拆卸壳体中时,与该移动设备的端口接合。在第二种方法中,该电路课包括处理器,该处理器是该移动通信设备的一部分。
[0066] 与所公开的实施例一致地,该边缘相机组件可包括至少一个处理器或与至少一个处理器通信,该处理器配置为从该图像传感器接收图像数据,并使得前向路径图像的呈现在该移动通信设备的显示屏上呈现。该至少一个处理器可构成任何具有对输入或多个输入执行逻辑操作的电子电路的物理设备。例如,该至少一个处理器可包括一个或更多个集成电路、微芯片、微控制器、微处理器、全部或部分中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程阵列(FPGA),或适合运行指令或执行逻辑操作的其他电路。由至少一个处理器运行的指令可以,举例来说,预加载到集成或嵌入该控制器的存储器中或者储存在单独地存储器中。该存储器可由随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘、磁介质、闪存,其他永久、固定或易失存储器,或任何能够存储指令的装置组成。在一个实施例中,该存储器配置为存储多个活动的指令和与每个活动相关联的关联视野窗口。下面将参考图20更详细地公开该实施例。
[0067] 在一些实施例中,该至少一个处理器可包括超过一个处理器。每个处理器可具有相似的结构或该处理器可以具有彼此电连接或断开的不同结构。例如,所述处理器可以是分别的电路或集成在单个电路中。当使用多于一个处理器时,该处理器可配置为独立地或协作地操作。该处理器可以通过电、磁、光、声、机械或其他允许其相互作用的方式耦合。在公开的实施例中,该至少一个处理器可以使前向路径实时呈现在该移动通信设备的该显示屏上。与本公开一致地,术语“实时呈现”可包含从该图像传感器捕获该图像直到该图像显示在该移动通信设备上的时间上的小延迟。例如,该延迟可小于大约0.1秒,小于大约0.05秒或小于大约0.01秒。
[0068] 图1A示出了用户100在行走的同时凝视包括壳体104的移动设备102的情况。根据本公开的实施例,移动设备102或壳体104可包括边缘相机组件。当用户100在方向106中沿行进路径移动时,该边缘相机组件可捕获表示用户100环境的图像数据。用户100的该有效视野可视野108表示,并且该边缘相机组件的视野示例由视野110表示。使用该边缘相机组件,用户100可以避免撞击位于其行进路径中的对象112。在一个实施例中,该边缘相机组件可以使得在该设备屏幕上向该用户展示正在接近的障碍的图像呈现。在另一个实施例中,该边缘相机组件可触发警告或通知以响应在集成的或以其他方式与该边缘相机组件功能性地相关联的处理电路上运行的障碍检测算法
[0069] 图1B从俯视角度示出了图1A中所示的相同情况。如上所述,当移动设备102安放在壳体104中时,该边缘相机组件的该光轴大体上面向行走方向106。图1B示出,视野110的水平分量覆盖了与行走方向106相对应的用户环境的扇区。出于说明的目的,该视野110的水平分量的角度范围在图1B中由角度α表示。在一些实施例中,该视野110的水平分量的角度范围可以是,举例来说,高于40°、高于65°、高于90°、高于120°或高于180°。可选地,该视野110的水平分量的角度范围可以是,举例来说,小于160°、小于110°、小于70°或小于45°。与本公开一致地,移动设备102可显示该前向路径的实时呈现114,其包括该对象112位于该用户的行进路径中的指示。在其他实施例中,如下面更详细描述的,移动设备102可在该前向路径的实时呈现114上显示叠加内容。
[0070] 图2A和图2B示出了本公开的第一个方面。具体而言,图2A和图2B示出了与可拆卸壳体104结合的边缘相机组件,可拆卸壳体104可选择性地从移动设备102连接或分离。该边缘相机组件包括罩200,其具有上表面202、相对的下表面204、位于上表面202和下表面204之间的边缘表面206。边缘表面206可从下表面204向上延伸。术语“边缘表面”(也称为“边缘”或“外围边缘”)在本文中用于表示使上表面202和下表面204相互连接的外围区域。在一些实施例中,边缘表面206可以是平坦的并且相对该罩200的主表面成直角。可选地,该边缘表面可以相对上表面202和下表面204成不同角度,并且可以稍微弯曲。图3A和图3B描绘了另一个实施例,其该边缘表面的形成不同于图2A和图2B中所示。与本公开一致地,该边缘相机组件还可包括电路208和图像传感器210。仅出于说明的目的,电路208和图像传感器210与罩200分开描绘。事实上,根据一些实施例,图像传感器210可牢固地固定在或嵌入边缘表面206中,使得其光轴以不同于垂直于上表面202和下表面204的角度牢固地倾斜。例如,图像传感器210可牢固地定位在从下表面204延伸的突起中。
[0071] 该边缘相机组件可包括开口(例如,孔212),该开口配置为允许移动设备102的附加图像传感器的光轴能够从中穿过。移动设备102的附加图像传感器可不同于安装在罩200中的图像传感器210。在一些实施例中,可拆卸壳体104可包括罩200(未示出)内的电池,该电池配置为为图像传感器210提供电力和/或向移动设备102提供电力。因此,可拆卸壳体104还可包括用于对该电池无线充电的接收器。可选地,电路208可配置为将来自移动设备
102内的电池的电力传送到图像传感器210。在其他实施例中,边缘相机组件也可包括大体上瞄准与图像传感器210相关联的光轴的方向定向的麦克风(未示出)。
[0072] 根据本公开的第一方面,该边缘相机组件也可包括联接器214和至少一个导管216,该联接器214和导管216是电路208的一部分或与电路208相关联。在一些实施例中,联接器214可配置为当移动设备102安放在壳体104中时,其接合移动设备102的端口。此外,导管216可在图像传感器210和联接器214之间延伸并将它们进行电连接,以实现从图像传感器210到移动设备102的实时图像流。在可拆卸壳体104的一种配置中,图像传感器210可位于相对于联接器214的边缘表面206的一部分内,使得导管216在图像传感器210和联接器
214之间通过罩200。与本公开一致地,电路208还可包括用于界面连接和向移动设备102传输数据的接口电路(未示出)。传输的数据可包括由图像传感器210获取的图像、视频数据、或3D扫描数据。在一些实施例中,电路208配置为通过有线连接传送该图像数据。例如,该接口电路可以符合诸如USB,Micro-USB、HDMI、Micro-HDMI、Firewire、Apple等有线标准。在其他实施例中,电路208配置为通过无线连接传送该图像数据。例如,该接口电路可以符合诸如蓝牙、WiFi、NFC、ZigBee等无线标准。
[0073] 图2B是本公开的第一方面的来自第二视点的另一图示。在图2B中所展示的视点是来自于可拆卸壳体104的侧方向。在该图示中,移动设备102安放在壳体104中;从而该边缘相机组件实现了从图像传感器210到移动设备102的实时图像流。在一些实施例中,电路208可实现图像传感器210移动设备102控制。例如,图像传感器210可响应于移动设备102中的传感器检测到的加速度而激活。
[0074] 图3A和图3B示出了本发明的第二方面。具体而言,图3A和图3B示出了集成到移动设备102中的边缘相机组件。与本公开的第二方面一致,该边缘相机组件也包括罩200(具有上表面202、下表面204以及边缘表面206),电路208(未示出),以及图像传感器210。如图3A和图3B所描绘,边缘表面206可以是弯曲的并且成不同于与上表面202以及下表面204垂直的角度。在一些实施例中,移动设备102可包括用于呈现被图像传感器210捕获的该实时图像流的触敏显示屏300。另外,触敏显示屏300与电路208一起可以,举例来说,检测来自用户100的输入。移动设备102也可包括端口302,该端口302可称为电源和电路208之间的接口。
在一个实施例中,该端口302可以用于为移动设备102的电池充电。在一个实施例中,该端口
302可用来将移动设备与另一电子设备相连接。例如,当该边缘相机组件结合到可拆卸壳体
104中时,端口302可用来在图像传感器210和移动设备102之间形成通信通道。
[0075] 与本公开一致地,边缘相机组件允许移动设备102从图像传感器210接收来自用户100的环境的实时图像流,并且在触敏显示屏300上同时呈现实时图像流窗口304和交互用户应用窗口306。因为在触敏显示屏300上仅有有限的空间来在其他应用旁边呈现图像,必须高效率使用该用于导航的显示屏基板。在一个实施例中,移动设备102初始地可以在触敏显示屏300的大约50%上呈现交互用户应用窗口306,以及在触敏显示屏的大约50%上呈现实时图像流窗口304。在另一个实施例中,移动设备102初始地可以在触敏显示屏300的至少大约60%上呈现交互用户应用窗口306,以及在不超过触敏显示屏的大约40%上呈现实时图像流窗口304。在另一个实施例中,移动设备102初始地可以在触敏显示屏300的至少大约
70%上呈现交互用户应用窗口306,以及在不超过触敏显示屏的大约30%上呈现实时图像流窗口304。用户100可提供输入(例如,使用GUI功能308)来改变该交互用户应用窗口306和实时图像流窗口304之间的比例。例如,用户100可以改变该交互用户应用窗口306和实时图像流窗口304之间的比例,使得实时图像流窗口304覆盖大约触敏显示屏300的100%。在另一个实施例中,移动设备102可允许用户100从该图像数据中选择该视野,以使其呈现在实时图像流窗口304中。移动设备102初始地可以显示估计为与该用户100的行进路径对应的视野(例如,使用在该图像数据中识别对象的图像处理算法)。然而在某些情况下,用户100可能希望改变呈现在实时图像流窗口304上的视野。下面参考图15更详细地讨论此实施例。
[0076] 几种类型的移动设备102还可包括第一附加图像传感器310和第二附加图像传感器312,该第一附加图像传感器310具有方向横穿上表面202(即,该自拍相机)的光轴,该第二附加额外图像传感器312嵌入下表面204下,并具有方向横穿下表面204(即,背部相机)的光轴。与本公开一致地,经由电路208,移动设备102可从图像传感器210、第一附加图像传感器310以及第二附加图像传感器312接收图像数据。在一个实施例中,用户100可在该图像传感器间转换,使得实时图像流窗口304可呈现来自图像传感器210、第一附加图像传感器310或者第二附加图像传感器312的图像数据。下面参考图16更详细地讨论此实施例。在另一个实施例中,移动设备102可使得来自图像传感器210、第一附加图像传感器310以及第二附加图像传感器312中至少两个图像传感器的图像在触敏显示屏300上同时呈现。图像的同时呈现可以是源自图像传感器210捕获的图像数据以及第二附加图像传感器312捕获的图像数据的聚合,使得聚合的图像可显示在触敏显示屏300上。可选地,图像的同时显示可包括在来自不同图像传感器的每个窗口中的流式图像。该实施例允许移动设备102能够在触敏显示器300上实时呈现用户100的面部和用户100前方的环境的双向呈现。该双向呈现可线上共享或发布。下面参考图17更详细地讨论该实施例。
[0077] 图4A和图4B是根据本公开的第一和第二方面的边缘相机组件的透视图。两个图示出了当移动设备102持握在用户100的手400中且触敏显示屏300对着该向下看的用户100的面部402时,图像传感器210的视野110的示例。如图所示,视野110可大体上在该行进路径的方向中延伸。在一个示例中,视野110可捕获相对于该用户的站立的身体的纵轴在20°到80°之间的扇区。根据本公开的两个方面,视野110可以是可调节的。例如,可通过物理地改变移动设备102的定向或物理地改变图像传感器210的孔相对于移动设备102的相对方向来调节视野110。在一些实施例中,该图像传感器210也可手动改变或通过使用机电作动器来改变。可选地,该视野110可通过改变从一个或多个图像传感器210输出的滤波来数字调节。
[0078] 图5是根据本公开的第一方面的边缘相机组件的透视图。在此图示中,该边缘相机组件包括多个嵌入边缘表面206中的图像传感器210。每个图像传感器210(例如210A和210B)可与光学器件相关联(例如透镜、滤光器等)并且可选地与照明器相关联。包括结构化光照明器的实施例可包括对应的3D解码器,其可以提供用于该边缘相机组件成像对象上的点的深度信息。在一些实施例中,多个图像传感器210中的每个具有相关联的视野(例如,视野110A和视野110B),并且该多个图像传感器210中的至少一个该视野与该多个图像传感器
210中的另一个的视野相重叠。此外,该边缘相机组件可与处理器相关联,用于接收来自至少两个重叠的图像传感器210的图像信息,并且用于统一来自至少两个图像传感器210的图像信息。例如,该处理器可将来自至少两个重叠的图像传感器210的图像信息拼接在一起。
在其他实施例中,移动设备102可将来自该至少两个重叠的图像传感器210的统一图像信息呈现在触敏显示屏300上。在其他实施例中,移动设备102可使用从至少两个重叠的图像传感器210获取的图像数据构建虚拟的三维图像。
[0079] 使用多个图像传感器210以实现捕获更大的视野110并且获得更多的信息。例如,图5中所示的立体布置可以提供由该边缘相机组件捕获的对象(例如,对象112)上的点的深度信息。尽管仅有示出两个图像传感器210,本领域技术人员将认识到,可使用超过两个图像传感器210,例如三个图像传感器210、四个图像传感器210以及更多。因此,多个图像传感器210的组合视野可以大于180°,例如,大约240°、大约300°、或大约360°。在罩200内可能存在多个图像传感器210的多种可能的布置。例如,在第一配置中,边缘相机组件可包括两个图像传感器210:第一个在右上角的区域中,并且第二个在左上角的区域中。在第二配置中,边缘相机组件可包括三个图像传感器210:第一个在上边缘,第二个在右上角的区域中以及第三个在左上角的区域中。在第三配置中,边缘相机组件可包括第一图像传感器210,其具有至少部分地面向顶部边缘部分的外侧的光学视野;第二图像传感器210,其具有至少部分地面向右侧边缘部分的外侧的光学视野;以及第三图像传感器210,其具有至少部分地面向左侧边缘部分的外侧的光学视野。
[0080] 图6是描绘边缘相机组件的光轴角度的示意图。与以上公开的内容一致,该边缘相机组件可以结合在移动设备102或可拆卸壳体104中。在一个实施例中,安装在罩200中的图像传感器210可具有至少一个光轴600,其配置为定向为相对于下表面204成固定的钝角。钝角是大于90°但小于180°的角。在图6中,该光轴600的钝角以角β表示。如上所述,图像传感器210可牢固地固定或嵌入边缘表面206中,从而光轴600也可以是固定的。换言之,用户100不能在不破坏移动设备102的情况下改变光轴600的物理定向。在一个实施例中,罩200可包括至少一个用于保持图像传感器210的通道(未示出),并且其中,当移动设备102保持在罩200中时,该通道的轴线从罩200以相对于下表面204的一部分成钝角延伸。在一些示例中,角β可以是大约150°(即,在145°和155°之间的任何值),大约160°(即,在155°和165°之间的任何值),或大约170°(即,在165°和175°之间的任何值)。
[0081] 通常,当罩200被行走的用户100持握时,其相对于用户100行走的平面602成锐角。锐角是大于0°但小于90°的角。在图6中,罩200的持握角度由角γ所表示。与本公开一致地,图像传感器210可定向为使得当罩200以角γ持握时,至少一个光轴600大体上面向行走方向106。与角β不同,角γ并非是固定的。当用户100行走时,罩200的持握角度可以时常地改变。然而,通常当移动设备102被行走的用户100持握时,该持握角γ保持在0°和90°之间。例如,持握角γ可以是大约25°(即,在20°和30°之间的任何值),大约35°(即,30°和40°之间的任何值),或大约45°(即,40°和50°之间的任何值)。由于该持握角γ的变化的性质,该光轴
600的方向不能平行于精确地行走方向106。然而,如上所述,视野110的水平分量覆盖了与行走方向106对应的该用户环境的预先限定部分(例如,一个扇区),至少一个光轴600被认为通常面向行走方向106。
[0082] 图7是描绘光轴600相对于其他移动设备102集成的相机的光轴的定向的示意图。与本公开一致地,移动设备102可包括第一附加图像传感器310,其具有面向远离上表面202的第一方向的第一附加光轴700;以及第二附加图像传感器312,其具有沿远离下表面204的第二方向延伸的附加光轴702。第一附加图像传感器310可嵌入罩200相对于该第二附加图像传感器312的一侧。典型地,第一附加光轴700和第二附加光轴702大体上彼此相对,使得它们之间的角大约是180°。与本公开的实施例一致,图像传感器210的光轴600,其至少部分地嵌入边缘表面206内,沿远离边缘表面206的至少一个第三方向中延伸。如图7中所示,光轴600,第一附加光轴700,以及第二附加光轴702可以彼此偏离。具体而言,光轴600和第一附加光轴700可定向为相对彼此成钝角。光轴600和第一附加光轴700之间的角由角δ表示。
在一些示例中,角δ可以是大约110°(即,在100°和120°之间的任何值)。类似地,光轴600和第二附加光轴702可定向为相对彼此成锐角。在光轴600和第二附加光轴702之间的角由角ε所表示。在一些示例中,角ε可以是大约40°(即,在30°和50°之间的任何值)。
[0083] 图8示出了光轴600相对于移动设备102的主轴的定向。这里,术语“主轴”指的是移动设备102的三条互相垂直的轴线,惯性矩在其轴上处于最大值。处于简化和清楚的目的,本公开假设移动设备102具有大体上均匀的质量分布并且质量中心与对称中心800一起转换。该主轴可包括水平轴(即,X轴),纵轴(即,Y轴)以及横轴(即,Z轴)。移动设备102的该组主轴还限定了三个中心轴平面,即X-Y平面、X-Z平面以及Y-Z平面。
[0084] 如图8中所示,移动设备102可包括第一图像传感器210A和第二图像传感器210B,它们中每个都牢固地嵌入或固定在外围边缘表面206中。与第一附加图像传感器310(以及第二附加图像传感器312)不同,第一图像传感器210A和第二图像传感器210B可具有固定的光轴,该光轴相对于罩200的第一侧(例如,上表面202)、该罩的第二侧(例如,下表面204)、以及中心轴平面(例如,X-Y平面、X-Z平面和Y-Z平面)中的每一个成非正交角。具体而言,第一图像传感器210A与光轴600A相关联,光轴600A相对于中心轴平面X-Y成非正交角ζ1;并且第二图像传感器210B与光轴600B相关联,光轴600B相对于中心轴平面Y-Z成非正交角ζ2。在一个示例中,光轴600A可以相对于中心轴平面X-Y以大约5°和大约80°之间的角度ζ1倾斜。在另一个示例中,光轴600B可以相对于中心轴平面Y-Z以大约10°和大约70°之间的角度ζ2倾斜。在一个实施例中,图像传感器210A和图像传感器210B中的每个的视野110的水平和/或垂直分量可以是大于60°、大于75°、大于90°或大于105°。因此,该第一图像传感器210A的视野可部分地与第二图像传感器210B的视野重叠。
[0085] 图9示出了相对于集成在移动设备102中的相机的其他视野的视野110的示意图。根据本公开,移动设备102可包括至少一个图像传感器210(或当使用时与至少一个图像传感器210相关联)。至少一个图像传感器210可具有至少一个光轴600,该光轴600从该外围边缘表面206沿第一方向延伸。移动设备102可包括嵌入罩200中的第一附加图像传感器310,该第一附加图像传感器310具有从上表面202沿第二方向延伸的光轴700;以及嵌入罩200中的第二附加图像传感器312,该第二附加图像传感器312具有从下表面204沿第三方向延伸的光轴702。如图所示,第一附加图像传感器310可与视野900相关联,第二附加图像传感器
312可与视野902相关联。如上所述参考图6,光轴600可定向为相对于下表面204成固定钝角。此外,如上所述参考图7,光轴600可定向成相对于第一附加光轴700成固定钝角并且相对第二附加光轴702成固定锐角。
[0086] 在一个实施例中,视野110部分地与第二附加图像传感器312的视野902重叠。在该可移除的壳体的实现中,当移动设备102安放在壳体104中时,视野110至少部分地与第二附加图像传感器312的视野902重叠。当图像传感器210与移动设备102集成为一体时,视野110可以一直与第二附加图像传感器312的视野902部分重叠。移动设备102可包括在罩200内的至少一个处理器,该处理器配置为将来自至少一个图像处理器210和第二附加图像传感器312的图像数据拼接在一起。具体而言,该至少一个处理器可从至少一个图像传感器210和第二附加图像传感器312接收数据,并且应用将该图像传感器210和312的相对位置以及映射不同的图像中的像素点位移纳入考量的拼接算法。该拼接算法可用来接合两个(或更多)的图像。例如,拼接算法可包括识别两个图像之间的重叠区域,检测并且匹配图像数据中的关键点,选择投影表面等。可选地,至少一个处理器可配置为从每个该图像传感器(即,210、
310和312)中接收图像数据,以实现接收自至少一个图像传感器210、第一附加图像传感器
310以及第二附加图像传感器312的图像数据的至少一部分在触敏显示屏300上的呈现。在一个示例中,该至少一个处理器可同时从至少一个图像传感器210、第一附加图像传感器
310以及第二附加图像传感器312中的至少两个接收图像数据,并且使得来自上述图像传感器中的至少两个的图像在触敏显示屏300上同时呈现。同时图像呈现的示例在图17中示出。
[0087] 图10是与图3A中所示的第二示例设备相关联的边缘相机组件的功能框图。与本公开一致地,移动设备102可包括处理设备1005、网络接口1015、存储接口1002以及外围接口1004。这些部件可以分离或集成在一个或更多的集成电路中。该移动设备102中的各种部件可以通过一个或多个通信总线或信号线耦合。
[0088] 传感器、设备和子系统可以耦合到外围接口1004以促进实现多种功能。例如,图像传感器210、第一附加图像传感器310、第二附加图像传感器312以及定位系统(例如,GPS接收器)1014可耦合至该外围接口1004。其他传感器1016,例如深度传感器、运动传感器、光传感器、接近传感器温度传感器以及生物传感器,也可以连接到外围接口1004以促进实现相关功能。
[0089] 可以通过网络接口1015来促进实现通信功能,网络接口1015可以是连接至射频接收器和发射器,和/或光学(例如,红外)接收器和发射器的以太网端口。该网络接口1015的具体设计和实现取决于移动设备102想要操作的通信网络。例如,在一些实施例中,移动设备102包括网络接口1015,该网络接口1015设计成在GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络、以及 网络上操作。
[0090] I/O系统1020可包括触摸屏控制器1021、音频控制器1022、和/或其他输入控制器1023。触摸屏控制器1021可耦合至触敏显示屏300。触敏显示屏300和触摸屏控制器1021可以,举例来说,使用多种触敏技术中的任何一种来检测其中的接触、运动或中断,包括但不限于电容、电阻、红外和表面声波技术以及其他接近传感器阵列或其他用于确定与触敏显示屏300一点或多点接触的元件。触敏显示屏300也可以,举例来说,用来实现虚拟或软按钮和/或键盘
[0091] 音频控制器1022可耦合至扬声器1026和麦克风1028以促进实现语音支持功能,例如语音识别、语音复制、数字录音以及电话功能。该其他输入控制器1023可耦合至其他输入/控制设备1030,例如一个或更多的按钮、摇臂开关、拇指轮、红外端口、USB端口,和/或诸如触笔的指针设备。
[0092] 存储接口1002可耦合至存储设备1010。存储设备1010可包括高速随机存取存储器和/或非易失性存储器,例如一个或多个磁盘存储设备、一个或多个光存储设备,和/或闪存(例如,NAND、NOR)。存储设备1010可存储操作系统1032,例如Android、iOS、RTXC Quadros、Linux、WINDOWS或诸如VXWorkS的嵌入式操作系统。该操作系统1032可包括用于处理基本系统服务和用于执行硬件相关任务的指令。
[0093] 存储设备1010也可存储通信指令1034以促进实现与一个或多个附加设备、一个或多个计算机和/或一个或多个服务器的通信。该存储设备1010可包括图形用户接口指令1036以促进实现图形用户接口进程;传感器处理指令1038以促进实现传感器相关进程和功能;电话指令1040以促进实现电话相关进程和功能;消息指令1042以促进实现电子消息相关的进程和功能;网页浏览指令1044以促进实现网络浏览相关的进程和功能;媒体处理指令1046以促进实现媒体处理相关的进程和功能;GPS/导航指令1048以促进实现GPS和导航相关的进程和功能;相机指令1050和/或其他软件指令1052以促进实现其他进程和功能。
[0094] 根据本公开,当移动设备102持握在用户100手中且触敏显示屏300相对该向下看的用户100的面部时,图像传感器210的视野110可大体上沿该行进路径的方向延伸。图像传感器210可因此获取沿该行进路径的方向的图像流。在一些实施例中,传感器处理指令1038包括允许处理设备1005获取来自图像传感器210的图像流的指令。在一个实施例中,媒体处理指令1046可包括允许处理设备1005以在获取的图像流中识别在用户100行进的该路径中的对象的指令。该被识别的对象可以是,例如,人、销售机构或消防栓。此外,与本公开的一个实施例一致,通信指令包括实现处理设备1005查找关于该被识别的对象的信息。举例来说,当该被识别的对象是人时,处理设备1005可查找人的名字。举例来说,当该识别的对象是销售机构时,处理设备1005可查找在该销售机构可用的产品或服务的细节。
[0095] 在一些实施例中,处理设备1005可以实时地在触敏显示屏300上呈现包括该被识别的对象在内的获取的图像流。此外,处理设备1005可以在触敏显示屏300上呈现与该识别对象相关联的一个或更多视觉指示符。术语“视觉指示符”表示显示的项目或内容的表示,举例来说,文本、图标、图形。例如,当该被识别的对象是销售机构时,该视觉指示符可包括该销售机构的名字和表示该销售机构销售产品的图标。在一些实施例中,该视觉指示符可表示关于商业报价的信息,例如,关于示例性销售机构正在进行的销售的信息。该视觉指示符可叠加在所获取的该实时图像流上。例如,表示示例性销售机构正在进行的销售的视觉指示符可叠加在实时图像流对应于该销售机构的部分上。在一些实施例中,可以在该视觉指示符叠加时添加位移以避免在该图像流中模糊关注区域。此外,该视觉指示符可包括指示更多信息可通过与触敏显示屏300交互获得的指令。例如,可点击的链接。处理设备1005还可编程为响应于检测到交互而运行动作。例如,响应于在可点击的链接上的触摸检测,处理设备1005可在触敏显示屏300上显示,在该示例性销售机构上的正在进行的销售的细节。
[0096] 在一些实施例中,其他软件指令1052包括实现处理设备1005确定用户100是否与被识别的对象处于碰撞航向的指令。作为示例,处理设备1005可确定用户100与在该获取的图像流中被识别的消防栓处于碰撞航向。响应于对碰撞的确定,处理设备1005可以生成该碰撞航向的警告。可使用触敏显示屏300的视觉指示符、使用扬声器1026的音频警告、使用包括在其他输入/控制设备1030中的触觉制动器的触觉警告,或以上两种或多种警告系统的组合,来向用户100提供警告。响应于该警告,用户100可以采取闪避动作以避免与该消防栓碰撞。
[0097] 在一些实施例中,处理设备1005可在触敏显示屏300的第一部分显示该包括被识别对象在内的实时图像流,并且在触敏显示屏300上的第二部分同时显示该实时图像流和交互用户应用。处理设备1005初始地可以在大约50%触敏显示屏300上呈现包括该被识别对象的实时图像流以及在大约50%的触敏显示屏300上呈现交互用户应用。在另一个实施例中,处理设备1005初始地可以在至少大约60%的触敏显示屏300上呈现包括该识别的对象的该实时图像流以及在不超过40%的触敏显示屏300上呈现该交互用户应用。使用在触敏显示屏300上的GUI功能,用户100可提供输入,以改变包括该被识别对象和该交互用户应用的是该实时图像流。该交互用户应用的一个示例是消息应用。用户100可使用该消息应用以发送和接收消息并且与另一用户通信。在一些实施例中,媒体处理指令1046包括允许用户100使用处理设备1005从该获取的图像流中选择图像的指令。例如,从图像传感器210获得的图像流中的示例性销售机构的图像。此外,消息指令1042可包括允许用户100经由该消息应用将该被选择的图像发送给该其他使用处理设备1005的用户的指令。
[0098] 在一些实施例中,GPS/导航指令1048包括实现处理设备1005使用获得自定位系统1014的位置信息生成指向目的地的逐向导航指示的指令。当用户100通过该前向路径并且该触敏显示屏相对该用户的面部时,处理设备1005可以在触敏显示屏300上显示来自图像传感器210的实时图像流。处理设备1005可使用获得自定位系统1014的位置信息,来在该触敏显示屏上显示与该逐向导航指示相关联的至少一个视觉指示符,并同时显示该实时图像流。该逐向导航指示可与指向该目的地的行进路线相关联。在一些实施例中,该视觉指示符可包括关于行进路线沿线地点的信息。具体而言,处理设备1005可提供与地点相关联的视觉指示符,这些地点位于距离该行进路线不超过第一预先确定的距离和/或距离用户100的当前位置不超过第二预先确定的距离。该第二预先确定的距离可以大于该第一预先确定的距离。例如,处理设备1005可提供与该行进路径距离不超过300米的地点以及距离用户100的当前位置不超过500米的地点相关联的视觉指示符。在其他实施例中,定位系统1014由指南针以及GPS/导航指令1048组成,该GPS/导航指令1048还包括实现处理设备1005使用从该指南针获得的导航信息(不仅是位置信息)以显示与该逐向导航指示相关联的该视觉指示符的指令。该视觉指示符可包括表明逐向导航指示的箭头、指南针的表示、表示距离下一转弯的距离的数字、销售机构的名字或街道的名字。
[0099] 在一些实施例中,GPS/导航指令1048包括实现处理设备1005从定位系统1014接收位置信息的指令。当用户100通过该前向路径且该触敏显示屏相对该用户的面部时,处理设备1005可在触敏显示屏300上显示来自图像传感器210的实时图像流。此外,处理设备1005可使用获得自定位系统1014的位置信息,来在触敏显示屏300上显示至少一个视觉指示符。例如,处理设备1005可使用从定位系统1014获得的位置信息,来显示与位于用户100附近的餐馆相关联的视觉指示符。该实时图像流和该视觉指示符可显示在触敏显示屏300的不同部分上。在一些实施例中,该视觉指示符可叠加在该实时图像流上。在一个实施例中,GPS/导航指令1048和其他软件指令1052可实现处理设备1005基于来源于呈现在交互用户应用窗口306上的该交互用户应用的信息,在该实时图像流窗口304上生成增强现实内容(例如,视觉指示符)。具体而言,该交互用户应用可以是消息应用并且该信息可使用语言分析技术,例如基于语义的文本识别、矢量空间分析、基于规则的分析、统计分析或其他已知的技术而得来。例如,该信息可包括关于该用户100的状态的指示符,例如用户100是饥饿的。因此,处理设备1005可将一个或多个用户100所在区域内的餐馆相关联的视觉指示符叠加在该实时图像流上。
[0100] 图11是与图2A中所示的第一示例设备相关联的边缘相机组件的功能框图。与本公开一致地,可拆卸壳体104可包括传感器单元1110,。传感器单元1110可包括深度传感器和图像传感器210、传感器光学器件1112以及传感器驱动电路1114。传感器单元1110还可包括与照明器光学器件1124相关联照明器1122,以及照明器驱动电路1120。照明器1122可以是,举例来说,闪光光源或结构光源。传感器单元1110也可由控制器1116和接口1118组成。控制器1116控制传感器驱动电路1114和照明器驱动电路1120。与本实施例一致,该边缘相机组件还可由控制电路1132、基于位置的服务电路1134以及图像处理电路1136组成。一个或多个控制电路1132、基于位置的服务电路1134以及图像处理电路1136可作为该可拆卸壳体的一部分提供,或可以集成到移动设备102的移动设备电路1150中。控制器1116可经由接口1118与控制电路1132通信。移动设备102的用户接口由触敏显示屏300、扬声器1026以及触觉制动器1142组成。参照与移动设备102相关联的该边缘相机组件,本领域的技术人员将会意识到与可拆卸壳体104相关联的边缘相机组件可运行以上描述的所有功能。
[0101] 图12A描绘了根据本公开的示例性实施例的用于向用户100提供增强现实的方法1200。在一个实施例中,方法1200中的至少一些步骤可由图10中所示的移动设备102执行。
在另一个实施例中,方法1200中的至少一些步骤可由图11中所示的传感器单元1110执行。
在以下的描述中,出于说明的目的,参考图10和图11中的某些部件。然而,应当理解,其他实现是可能的,并且可利用其他部件以实现该示例性方法。
[0102] 在步骤1202中,处理设备1005(或控制电路1132)可从图像传感器210获取沿该行进路径方向的图像流。在步骤1204中,处理设备1005(或图像处理电路1136)可在获取的图像流中识别该用户的行进路径中的对象。该被识别的对象可以是,举例来说,人、销售机构或公共汽车站。在步骤1206中,处理设备1005(或移动设备电路1150)可查找关于该被识别对象的信息。在一个示例中,当该识别对象是人时,处理设备1005可以在该存储设备1010中查找人的名字。在另一个示例中,当该识别的对象是公共汽车站时,处理设备1005可以查找关于下一辆计划到达的公交车的细节。在一个实施例中,该查找关于该被识别对象的信息的步骤,可包括向远程服务器传输包括该被识别对象的图像,以及该远程服务器检索关于该被识别对象的信息。在步骤1208中,处理设备1005(或控制电路1132)可在触敏显示屏300上实时地呈现包括该被识别的对象的获取的图像流。在步骤1210中,处理设备1005(或控制电路1132)可在触敏显示屏300上呈现,与该被识别对象相关联的视觉指示符。举例来说,当该识别对象是销售机构时,该视觉指示符可包括该销售机构的名字和表示该销售机构的销售产品的图标。在一些实施例中,该视觉指示符可表示关于商业报价的信息,例如,关于在示例性销售机构正在进行的销售的信息。该视觉指示符可叠加在获得的实时图像流上。举例来说,表示在该示例性销售机构中正在进行的销售的该视觉指示符可叠加在实时图像流对应于该销售机构的部分上。
[0103] 图13A至图13C是根据所公开的实施例的边缘相机组件的示例用法的示意图。在图13A中获取的图像流1312显示在触敏显示屏300上。视觉指示符1314(在此实施例中表示该巧克力厨房)可叠加在获取的图像流1312上。此外,该视觉指示符可包括在与触敏显示屏
300交互时可提供更多的信息的指示(例如,图标1316)。响应于对图标1316的触摸交互,关于该被识别的对象的更多细节显示在触敏显示屏300上。例如,在图13B中更多的细节1322显示以响应于与图标1316的触摸交互。此外,细节1322可包括指示可通过与触敏显示器300的进一步交互获得步行导航的指示(例如,图标1324)。响应于对应于图标1324的触摸交互,地图1332(如图13C中所示)显示在交互用户应用窗口306。在此示例中,该地图可包括从用户100位置到该巧克力厨房的路线。
[0104] 图12B描绘了根据本公开的示例性实施例的用于避免用户100与所识别的对象碰撞的示例性方法1220。在一个实施例中,方法1220的所有步骤可被图10中所示的移动设备102执行。在另一个实施例中,方法1220的所有步骤可被传感器单元1110执行。在以下的描述中,出于说明的目的,参考图10和图11中的某些部件。然而,应当理解,其他实现是可能的,并且可利用其他部件以实现该示例性方法。
[0105] 在步骤1222中,处理设备1005(或控制电路1132)可从图像传感器210获取沿该行进路径的方向的图像流。在步骤1224中,处理设备1005(或图像处理电路1136)可在获取的图像流中识别用户100的该行进路径中的对象。该被识别的对象可以是,举例来说,灯柱。在步骤1226中,处理设备1005(或图像处理电路1136)可以确定用户100是否处于与该被识别对象的碰撞航向上。举例来说,处理设备1005可确定用户100与在该获取的图像流中的灯柱的处于碰撞航向上。在步骤1228中,处理设备1005可生成该碰撞航向的警告。可使用触敏显示屏300上的视觉指示符,使用扬声器1026的音频警告,使用包括在其他输入/控制设备1030中的触觉制动器的触觉警告,或两种或多种警告系统的组合,来向用户100提供警告。
响应于该警告,用户100可采取躲避动作以避免与该灯柱的碰撞。在另一个实施例中,图像处理电路1136可确定用户100是否与该被识别的对象处于碰撞航向。响应于碰撞的确定,控制电路1132可生成该碰撞航向的警告。可使用触敏显示屏300上的视觉指示符,使用扬声器
1026的音频警告,使用触觉制动器1142的触觉警告,或两种或多种警告系统的组合,来向用户100提供警告。
[0106] 图13D是根据所公开的实施例的边缘相机组件的示例用法的示意图。在图13D中获取的图像流1312显示在触敏显示屏300上。在此示例中,视觉指示符1342是用户100处于与该灯柱碰撞航向的警告。如图所示,该视觉指示符1342可显示在交互用户应用窗口306上以确保用户100注意到了该警告。
[0107] 图12C描绘了根据本公开的示例性实施例用于向用户100提供增强现实的示例性方法1240。在一个实施例中,方法1240中的所有步骤可由图10中所示的移动设备102执行。在另一个实施例中,方法1240中的所有步骤可由图11中所示的传感器单元1110执行。在下面的描述中,出于说明的目的,参考图10和图11中的某些部件。然而,应当理解,其他实现是可能的,并且可利用其他部件实现该示例性方法。在步骤1242中,处理设备1005(或控制电路1132)可从图像传感器210获取沿该行进路径的方向的图像流。在步骤1244中,处理设备
1005(或控制电路1132)可从定位系统1014(或基于位置的服务电路1134)获取位置信息。作为示例,位置信息可包括用户100的位置信息,与到目的地的行进路径相关联的位置信息。
在步骤1246中,处理设备1005(控制电路1132)可在触敏显示屏300上实时呈现获取的图像流。在步骤1248中,处理设备1005(或控制电路1132)可在触敏显示屏300上同时呈现视觉指示符与该实时图像流的显示。在一个示例中,此实施例中的视觉指示符可与逐向导航指示相关联。在另一个示例中,此实施例中的视觉指示符可与位于用户100附近的地方相关联。
[0108] 图13E是根据所公开的实施例的边缘相机组件的示例用法的示意图。获取的图像流1312显示在触敏显示屏300的一部分上。此外,视觉指示符1352表示指向目的地的逐向导航指示,其叠加在获取的图像流1312的顶部上。
[0109] 图12D描绘了根据本公开的示例实施例用于向用户100提供增强现实的示例性方法1260。方法1260可使用在,举例来说,通过将获取的图像流和游戏画面组合而提供增强现实的游戏中。在一个实施例中,方法1260的所有步骤可由图10中所示的移动设备102执行。在另一个实施例中,方法1260的所有步骤可由图11中所示传感器单元1110执行。在下面的描述中,出于说明的目的,参考图10和图11中的某些部件。然而,应当理解,其他实现是可能的,并且可以利用其他部件以实现该示例性方法。在步骤1262中,处理设备1005(或控制电路1132)可从图像传感器210获取沿该行进路径的图像流。在步骤1264中,处理设备1005(或控制电路1132)可在触敏显示屏300上实时地呈现该获取的图像流。在步骤1266中,处理设备1005(或控制电路1132)可在触敏显示屏300上呈现视觉指示符。在一个示例性游戏中,该视觉指示符可是游戏角色,其叠加在所获取的图像流的顶部上。
[0110] 图13E是根据所公开的实施例的边缘相机组件的示例用法的示意图。所获取的图像流1312显示在触敏显示屏300的一部分上。此外,视觉指示符1362,其表示游戏角色,叠加在获取的图像流1312的顶部上。该游戏角色,可以与或可以不与交互用户应用窗口306上显示的应用相关联。
[0111] 图14是根据所公开的实施例的边缘相机组件的示例用法的示意图。在此示例中,该边缘相机组件允许将图像“拖放”到正在进行的应用上。具体而言,该边缘相机组件可与配置为在移动设备102中使用的计算机可读介质相关联。该计算机可读介质包含当处理设备1005运行时使得该处理设备1005执行包括以下的步骤的指令:从至少一个图像传感器210接收当用户沿行进路径移动时,来自用户100的环境的实时图像流;在触敏显示屏300上呈现该实时图像流;以及在触敏显示屏300上同时呈现该实时图像流以及交互用户应用。例如,移动设备102可同时呈现该实时图像流窗口304以及交互用户应用窗口306。此实施例的步骤还包括:允许用户100使用触敏显示屏300以触摸与该实时图像流相关联的区域,以及使得该实时图像流中的至少一帧1400可传输到该交互用户应用;以及在交互用户应用中运行一个涉及该至少一帧1400的动作。
[0112] 在相关的实施例中,该交互用户应用可以是消息应用,并且该指令还可包括向远程接收者发送消息,其中该消息包括至少一帧1400。在一个实施例中,至少一帧1400可以是至少一个图像传感器210所捕获的单个帧,即,一幅图像。在另一个实施例中,至少一帧1400可以是被捕获的多个帧,即,被至少一个图像传感器210捕获的实时视频流。在此实施例的一种建议实现方式中,该触摸可包括,在从与该实施图像流相关联的该区域(例如,图像流窗口304)到与该交互用户应用相关联的区域(例如,交互用户应用窗口306)的拖放动作后,按压GUI功能1402以选择至少一帧1400。此外,该指令还可包括缓冲该实时流并允许用户100以允许该实时图像流的被缓冲部分经由该消息应用传输的方式与触敏显示屏300交互。
[0113] 图15是根据本公开的边缘相机组件的另一个示例用法的示意图。由于该移动设备102的持握定向可能因人而异,每个用户的视野的该相关部分也会改变。因此,在本公开的另一个实施例中,呈现了一种用于提供可调节窗口的方法,该可调节窗口校正移动设备102的角度定向,以实现用户100的直接路径的图像能够呈现在触敏显示屏300上。该可调节窗口也实现了用户100在实时图像流窗口304中选择要观看的视野的自由。例如,在实时图像流窗口304上使用捏合手势或使用特定GUI功能,用户100可选择要呈现的图像数据。该图像数据的选择可视为裁剪接收的图像数据。具体而言,该边缘相机组件可与配置为使用在移动设备102中的计算机可读介质相关联。该计算机可读介质包含当处理设备1005运行时使得该处理设备1005执行包括以下的步骤的指令:从至少一个图像传感器210接收当用户100沿行进路径1500移动时表示用户100的环境的图像数据。图像1502是从图像传感器210接收的该图像数据的示例。
[0114] 这些步骤还可包括从该图像数据中选择视野窗口1504,以用于在移动设备102上的实时显示。该视野窗口1504的选择,可通过检测来自允许用户选择视野窗口的操纵装置的用户输入,从而由用户100手动执行。可选地,该选择可包括检测移动设备102的定向角度并且基于该定向角度自动地调节视野窗口1504。此外,该选择可包括:当用户沿行进路径1500移动时检测移动设备102的移动模式,并自动地调节视野窗口1504以补偿移动设备102的移动。在一个示例中,被选择的视野窗口1504对应于行进路径1500。这些步骤还可包括在触敏显示屏300上同时呈现交互用户应用窗口306、被选择的视野窗口1504,并从触敏显示屏300上省略超出该视野窗口外的图像数据。与本公开相一致,该指令还可包括实时调节视野窗口1504。
[0115] 图16是根据所公开的实施例的边缘相机组件的另一示例用法的示意图。在此示例中,该边缘相机组件允许使用简单手势使移动设备102在三个(或更多)相机输入之间转换。具体而言,该边缘相机组件可包括一个或更多的相机传感器210,并且可与配置为在移动设备102中使用的计算机可读介质相关联。该计算机可读介质包含当被处理设备1005运行时使得该处理设备1005执行包括以下的步骤的指令:从具有沿第一方向延伸的第一光轴(例如,光轴600)的第一图像传感器(例如,图像传感器210)接收第一实时图像流1600;从具有沿第二方向延伸的第二光轴(例如,光轴700)的第二图像传感器(例如,第一附加图像传感器310)接收第二实时图像流,其中该第二方向不同于该第一方向;并且从具有沿第三方向延伸的第三光轴(例如,光轴702)的第三图像传感器(例如,第二附加图像传感器312)接收实时图像流1604,其中该第三方向不同于该第一和第二方向。在上面的讨论中,该方法包括从与移动设备102关联的全部三个图像传感器210接收图像数据;然而,本领域技术人员将认识到该实施例将适用于较少的相机。
[0116] 该步骤还包括:从第一实时图像流1602中确定用于显示在移动设备102上的视野窗口;在触敏显示屏300上呈现与该确定的视野窗口(例如,选择的视野窗口1504)相对应的实时呈现;并且,对视野窗口1504做出调节以响应用户与触敏显示屏300的交互,其中该调节包括以下至少一个:从第一实时图像流1600中选择新视野窗口1504;从该第二实时图像流1602中选择新视野窗口1504;以及从该第三实时图像流1604中选择新视野窗口1504。在一个实施例中,该对于视野窗口1504的调节包括在该显示屏上的持续运动。该持续的移动可以沿着两个不同的方向,其中沿第一方向的第一运动改变实时图像流的视野窗口,并且沿第二方向的第二运动沿改变该实时图像流的来源。
[0117] 图17是根据公开的实施例的边缘相机组件的另一个示例用法的示意图。在此示例中,该边缘相机组件实现了移动设备102呈现、存储和/或分享沿横向光轴捕获的双向图像数据。例如,可同时捕获用户100面前的环境视频与该用户面部的图像。具体而言,该边缘相机组件可与用于显示沿横向轴捕获的双向视频流的移动设备102相关联。移动设备102可包括罩200,其具有上表面202、下表面204以及侧边缘(例如,边缘表面206)。移动设备102还可包括位于上表面202中的触敏显示屏300,具有沿远离上表面202的第一方向延伸的第一光轴的第一图像传感器(例如,第一附加图像传感器310),并且其配置方式为当该移动设备102持握在观看触敏显示屏300的用户的手中时,捕获用户100的面部。该移动设备还可包括至少部分地嵌入该侧边缘并且具有沿原来该侧边缘的第二方向延伸的第二光轴的第二图像传感器(例如,图像传感器210),其配置方式为当移动设备102持握在观看触敏显示屏300的用户100的手中时,捕获用户100的行进路径1500,并且其中该第一方向穿过第二方向。移动设备102还可包括至少一个处理器(例如,处理设备1005),其编程为:从该第一图像传感器获取用户100的该面部的第一实时图像流;从该第二图像传感器获取行进路径1500的第二实时图像流;并且在触敏显示屏300上实时呈现该用户100的面部和行进路径1500的双向呈现。
[0118] 在相关的实施例中,该双向呈现可包括用于该第一图像流的第一窗口1700和用于该第二图像流的第二窗口1702。除了以上关于实时图像流窗口304的讨论之外,第一窗口1700和第二窗口1702中的至少一个可经由与该触敏显示屏300的触摸交互来调整大小。例如,第二窗口1702可以是触敏显示屏300的大约15%、30%或50%。此外,第一窗口1700和该第二窗口1702中的至少一个的位置,可经由与该触敏显示屏的触摸交互来移动。在其他相关的实施例中,该至少一个处理器可在一段限定的时间内存储该双向呈现,将实时双向呈现无线地传达到远程接收者,将实时双向呈现无线地上传到服务器,和/或使得该双向呈现传输到交互用户应用。此外,该至少一个处理器可以在识别从与双向呈现相关联的区域到与交互用户应用相关联的区域的拖放动作时传送该双向呈现。
[0119] 图18是根据所公开的实施例的边缘相机组件的另一个示例用法。在此示例中,提供了一种用于自激活边缘相机组件的方法。举例来说,当处理设备1005接收到移动设备102正在合适的定向(例如以说明正在持握中的倾斜角度)中向前移动的信号时,处理设备1005可自动地激活该边缘相机组件并使得图像数据出现在触敏显示屏300上。具体而言,该边缘相机组件可与配置为在移动设备102中使用的计算机可读介质相关联。该计算机可读介质包含当被处理设备1005运行时使得该处理设备1005执行包括以下的步骤的指令。步骤1800包括从至少一个移动设备102中的传感器接收关于移动设备102处于前进动作的第一指示。在一个实施例中,该至少一个传感器可包括加速度计,以及该第一指示包括与加速度计有关的度量。例如,该第一指示是在大于预定时间内识别的大约1km/h至35km/h之间的速度。
步骤1804包括从移动设备102中的至少一个传感器接收关于移动设备102中的图像传感器定向用于图像捕获(例如,图像传感器210)的第二指示。在一个实施例中,该至少一个传感器包括检测倾斜的传感器,其中该第二指示对应于移动设备102的倾斜角度。例如,该倾斜角度可以是相对于该移动通信设备的用户行走的表面成大约0°和大约45°之间。可选地,该至少一个传感器可包括接近传感器,其中该第二指示反映至少一个图像传感器210是否被遮挡。在步骤1806中以及响应于该第一指示和该第二指示,该方法包括自动地使得前向路径图像的实时呈现显示在触敏显示屏300上。
[0120] 在相关实施例中,该指令配置为,使得当检测到移动设备102的速度超过预定阈值时,当移动设备102的倾斜角度处在预定范围内时,当检测到移动设备102的速度降低到预定阈值之下时,和/或当检测到移动设备102的速度超过预定阈值时,引起自动捕获。此外,该指令配置为允许用户100选择用于图像捕获的预定阈值,该预定阈值包括移动设备102的速度和定向中的至少一个。在一个实施例中,该指令还包括检测触敏显示屏300是否激活,以及响应激活的显示屏的组合并且以响应该第一指示和该第二指示,自动地使得该前向路径图像的呈现显示在触敏显示屏300上。在另一个实施例中,该指示还包括确定移动设备102的电池状态是否高于预定阈值,并且响应于该电池状态高于该预定阈值的确定的组合并响应于该第一指示和该第二指示,自动地使得该前向路径的该实时呈现显示在触敏显示屏300上。
[0121] 图19是根据所公开的实施例的边缘相机组件的另一个示例用法。在此示例中,该边缘相机组件结合在移动设备102的该外壳中,使得一个图像传感器可用来捕获来自两个方向的图像数据。如图19中所示,该多向相机可嵌入移动设备102的边框中。具体而言,在此实施例中提供了一种图像捕获外壳。该图像捕获外壳可包括面向上的显示表面(例如,触敏显示屏300)和相对的下表面(例如,下表面204)。该图像捕获外壳可包括用于围绕移动设备102的至少一部分的罩200,图像传感器210,以及用于从图像传感器210传送用于显示在该显示表面的图像数据的电路。在此实施例中,图像传感器210可安装在罩200内并具有沿第一方向延伸的第一光轴,和沿与该第一方向不同的第二方向延伸的第二光轴,其中该第一光轴配置为,当移动设备102保持在罩200内时,定向为相对于该下表面成固定钝角。与此实施例一致,图像传感器210可与嵌入罩200内的光学装置1900相关联,以允许图像传感器210捕获从该外围边缘延伸的第一方向中的图像数据,以及从该面向上的显示表面延伸的第二方向上的图像数据。在第一种配置中,该第一光轴和该第二光轴之间的角可以是钝角。在第二种配置中,该第一光轴和该第二光轴之间的角可以是锐角。以上参照图6至图9讨论了角的示例。
[0122] 图20是根据所公开的实施例的边缘相机组件的另一示例用法的示意图。在此示例中,该边缘相机组件实现了移动设备102基于用户100的活动来改变视野窗口1504。举例来说,安装在自行车上的移动设备要求的视野窗口可能不同于步行的用户的视野窗口。在此实施例中,提供了一种用于检测该用户的行为并且基于检测到的行为变更该视窗化的视野的方法。具体而言,该边缘相机组件可与配置为用于在移动设备102中使用的计算机可读介质相关联。该计算机可读介质包含当被处理设备1005运行时使得该处理设备1005执行包括以下的步骤的指令:当用户100沿行进路径1500移动时,从图像传感器210接收表示用户100的环境的图像数据;以及从至少一个传感器接收反映用户100涉及的活动的信息。该反映该活动的信息可包括速度的指示,加速度的指示,和/或移动设备102的倾斜角度的指示。该多个活动可包括以下中的至少两个:行走2000,自行车骑行2002,汽车驾驶2004,摩托车骑行2006以及乘坐其他任何有发动机的车辆,例如,赛格威(Segway),踏板车,飞翔器等。此实施例的该步骤还包括:在存储器中访问多个活动的指示符,并且相关联的视野窗口与每个活动相关联;选择视野窗口1504用于在移动设备102上实时显示,其中该被选择的视野窗口与用户100当前涉及的该活动相关联;并且将该被选择的视野窗口应用到该移动通信设备的显示屏上。在一个实施例中,选择视野窗口1504可涉及运行图像识别算法以从视野窗口
1504中排除超出与用户100的路径相关联的边界的图像数据。
[0123] 图21是根据所公开的实施例的边缘相机组件的另一示例用法的示意图。目前,线上地图服务(例如,谷歌地图街景)提供的图像远远过时。这是因为维护线上地图的公司仅能够每几月或几年一次地捕获街景图像。然而,经常使用具有边缘相机组件的移动设备102的用户群可以经常捕获他们的环境的图像。此信息可用来更经常地更新具有街景的线上地图服务和/或对该用户社区的该环境3D扫描索引进行众包。在一个示例中,提供了一种使用多个来自嵌入移动设备102的边缘的图像传感器210的聚合的图像数据进行街景地图和/或3D扫描索引众包生成的系统。该系统由配置为维护街景地图和/或地理区域的3D扫描索引的处理设备1005组成,其中GPS坐标与该街景地图上的位置和/或该3D扫描索引相关联。处理设备1005还配置为以:从嵌入多个用户100的多个移动设备102的边缘中的多个图像传感器210中接收图像数据(例如,可以实时接收或稍后接收的街景图像);并且从多个移动设备
102中的每个接收与该被接收的图像数据相关联的GPS位置。因此,当与被接收的街景图像相关联的GPS位置对应于在该街景地图和/或该3D扫描索引上的GPS位置时,处理设备1005可使用从该多个图像传感器接收的图像数据更新该街景地图和/或该3D扫描索引。
[0124] 在相关实施例中,在该移动设备102已经改变该街景图像以模糊个人信息后,处理设备1005可从多个移动电话接收该街景图像。举例来说,处理设备1005可从多个移动设备102接收该街景图像而非与多个用户100相关联的元数据信息。处理设备1005还可请求感兴趣的特定位置和/或区域的图像。此外,处理设备1005可接收与该每个街景图像相关联的时间戳,并且在接收多个叠加的街景图像时,用该最新街景图像更新该地图。处理设备1005还可对接收自多个用户100的多个叠加的街景图进行统一化,并且用统一的街景图像更新该地图。以下在图21中描绘说明此实施例的一个实现示例。在此示例中,服务器2100可确定商店2102的该当前街景图像在数据库中没有更新。然后服务器2100向移动设备102发送请求商店2102的更新图像的指示。移动设备102,使用图像传感器210,可捕获商店2102的图像而不需该用户的介入,并且,在一个替代方案中,甚至不需该用户知道。该街景图像可经由网络2104传输到服务器2100并且其后上传到该线上地图服务2108。
[0125] 图22是根据所公开的实施例的边缘相机组件的另一个示例用法的示意图。与本公开一致地,提出了一种计算机实现的方法,用于为用户100提供访问交互用户应用程序的便利方式,该交互用户应用程序可以与由图像传感器210捕获的图像数据交互。在一个示例中,在用户按下位于实时图像流窗口中的GUI功能2200之后,与多个交互用户应用相关联的多个图标(例如,图标2202)可呈现在实时图像流窗口304中。用户100可拥有选择权去选择哪个图标显示在实时图像流窗口304中。在一个实施例中,在用户按压其中一个与该多个交互用户应用相关联的图标后,该对应的交互用户应用可在交互用户应用窗口306打开。上文参考图14描述了与图像传感器210所捕获的图像数据交互的交互用户应用的一个示例。
[0126] 上述描述的目的在于例示说明,其并非详尽穷举,也并不限于所公开的精确形式或实施例。本领域技术人员通过考虑本说明书及实践所公开实施例,可以明白地知晓其改进和适应性变形方式。另外,尽管所公开的实施例的一些方面描述为存储在存储器中,但是本领域技术人员将理解,这些方面也可以存储在其他类型的计算机可读介质上,例如辅助存储设备,例如,硬盘,或CD ROM,或其他形式的RAM或ROM,USB媒体,DVD,蓝光或其他光驱介质。
[0127] 基于上述书面描述和所公开的方法的计算机程序在有经验的开发者的技能范围内。可以使用本领域技术人员已知的任何技术来创建该各种程序或程序模,或者可以结合现有软件来设计该各种程序或程序模块。例如,程序部分或程序模块可以在.Net Framework,.Net Compact Framework(以及相关语言,例如Visual Basic,C等),Java,C++,Objective-C,HTML,HTML/AJAX组合,XML或包含Java程序的HTML中设计或通过它们设计。
[0128] 此外,虽然本申请已经描述了说明性实施例,但是基于本公开,本领域技术人员理解具有等同元素、改进、省略、组合(例如,跨各种实施例的方面)、适应性变化和/或改变的任何所有实施例的范围。权利要求中的限制应当基于权利要求中采用的语言进行广泛性解释,而并且不限于本说明书中或在该申请的申请期间描述的示例。这些例子应解释为非排他性的。此外,可以以任何方式修改所公开方法的步骤,包括通过重新排序步骤和/或插入或删除步骤。因此,说明书和实施例应当认为仅是说明性的,真正的范围和发明思路应由所附权利要求及其等同形式的全部范围表示。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈