3D全景车载内后视镜及其拍摄方法 |
|||||||
申请号 | CN201610822244.7 | 申请日 | 2016-09-13 | 公开(公告)号 | CN106379239A | 公开(公告)日 | 2017-02-08 |
申请人 | 深圳市宏道互联科技有限公司; | 发明人 | 高行新; 邹生强; 饶科; 张珩; | ||||
摘要 | 本 发明 涉及一种3D全景车载内 后视镜 及其拍摄方法,该3D全景车载内后视镜包括拍摄单元、处理单元及显示屏。拍摄单元包括用于采集车外的第一鱼眼图像的第一鱼眼摄像头和采集的车内的第二鱼眼图像的第二鱼眼摄像头,所述第一鱼眼摄像头朝向车辆前方,所述第二鱼眼摄像头和第一鱼眼摄像头背向相对设置;处理单元与所述拍摄单元相连,用于对所述第一鱼眼图像和第二鱼眼图像进行畸变校正以形成第一校正图像和第二校正图像;显示屏与所述处理装置相连,用于显示所述第一校正图像和/或第二校正图像。根据本发明提供的3D全景车载内后视镜及其拍摄方法,利用相对的两个鱼眼摄像头可以实现同时显示车外和车内全景环境,无死 角 。 | ||||||
权利要求 | 1.一种3D全景车载内后视镜,其特征在于,包括: |
||||||
说明书全文 | 3D全景车载内后视镜及其拍摄方法技术领域[0001] 本发明涉及车载后视镜技术领域,特别涉及一种3D全景车载内后视镜及其拍摄方法。 背景技术[0002] 车载内后视镜,通常是指设置汽车内部且位于车辆前部上方中间位置的后视镜,随着技术发展,车载内后视镜逐渐趋向于智能化、多功能方向发展,其具有独立的操作系 统,独立的运行空间,可以提供行车记录、GPS定位、电子测速提醒、倒车可视、实时在线影音 娱乐等功能。 [0003] 相关技术中,车载内后视镜一般包括一个朝向车体前方的前置摄像头,而为了获取车辆后方的图像,也可以通过走线在车辆后窗上设置一个后置摄像头,无论是前置摄像 头还是后置摄像头其视角范围基本上处于70°至130°范围内,而在0至70°和130°至180°的 范围则形成为死角,该死角范围内的图像不能被获取,因此,给用户造成极大的不便。 发明内容[0004] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种3D全景车载内后视镜。 [0005] 本发明的另一个目的在于提供一种车载3D全景拍摄方法。 [0006] 为实现上述目的,一方面,根据本发明实施例提供的3D全景车载内后视镜,包括: [0007] 拍摄单元,所述拍摄单元包括用于采集车外的第一鱼眼图像的第一鱼眼摄像头和采集的车内的第二鱼眼图像的第二鱼眼摄像头,所述第一鱼眼摄像头和第二鱼眼摄像头背 向相对设置; [0008] 处理单元,所述处理单元与所述拍摄单元相连,用于对所述第一鱼眼图像和第二鱼眼图像进行畸变校正以形成第一校正图像和第二校正图像; [0009] 显示屏,所述显示屏与所述处理装置相连,用于显示所述第一校正图像和/或第二校正图像。 [0010] 根据本发明的一个实施例,所述处理单元还用于将所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像,所述显示屏还用于显示所述车内外全景图 像。 [0011] 根据本发明的一个实施例,还包括切换单元,所述切换单元与所述处理单元相连,用以接收用户切换指令并输出至所述处理单元,以使所述处理单元根据所述切换指令选择 性地将第一校正图像、第二校正图像和全景图像输出至所述显示屏进行显示。 [0012] 根据本发明的一个实施例,当所述切换指令为车外显示指令时,所述处理单元将第一校正图像输出至所述显示屏进行全屏显示; [0013] 当所述切换指令为车内显示指令时,所述处理单元将第二校正图像输出至所述显示屏进行全屏显示; [0014] 当所述切换指令为分屏显示指令时,所述处理单元将第一校正图像和第二校正图像输出至所述显示屏进行分屏显示; [0015] 当所述切换指令为全景显示指令时,所述处理单元将全景图像输出至所述显示屏进行全屏显示。 [0016] 根据本发明的一个实施例,还包括: [0017] 无线通信单元,所述无线通信单元与所述处理单元相连,用于将所述第一校正图像、第二校正图像和全景图像中的至少一种发送至远程监控终端。 [0018] 另一方面,根据本发明实施例提供的车载3D全景拍摄方法,用于3D全景车载内后视镜,所述3D全景车载内后视镜包括拍摄单元、处理单元及显示屏,所述拍摄单元包括第一 鱼眼摄像头和与所述第一鱼眼摄像头背向相对设置的第二鱼眼摄像头,该方法包括: [0019] 通过拍摄单元的第一鱼眼摄像头采集车外的第一鱼眼图像,以及通过拍摄单元的第二鱼眼摄像头采集车内的第二鱼眼图像; [0020] 处理单元获取来自第一鱼眼摄像头采集的车外的第一鱼眼图像,以及来自与第一鱼眼摄像头背靠设置的第二鱼眼摄像头采集的车内的第二鱼眼图像;并对所述第一鱼眼图 像和第二鱼眼图像分别进行畸变校正处理以形成对应的第一矫正图像和第二矫正图像; [0021] 以及通过所述显示屏显示所述第一矫正图像和/或第二矫正图像。 [0022] 根据本发明的一个实施例,还包括: [0023] 处理单元对所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像; [0024] 通过所述显示器显示所述车内外全景图像。 [0025] 根据本发明的一个实施例,所述车载3D全景车载内后视镜还包括切换单元,所述方法还包括: [0026] 通过所述切换单元接收用户切换指令并发送至处理单元; [0027] 处理单元根据所述切换指令选择性地将第一校正图像、第二校正图像和全景图像输出至所述显示屏进行显示。 [0028] 根据本发明的一个实施例,当所述切换指令为车外显示指令时,所述处理单元将第一校正图像输出至所述显示屏进行全屏显示; [0029] 当所述切换指令为车内显示指令时,所述处理单元将第二校正图像输出至所述显示屏进行全屏显示; [0030] 当所述切换指令为分屏显示指令时,所述处理单元将第一校正图像和第二校正图像输出至所述显示屏进行分屏显示; [0031] 当所述切换指令为全景显示指令时,所述处理单元将全景图像输出至所述显示屏进行全屏显示。 [0032] 根据本发明的一个实施例,所述车载3D全景车载内后视镜还包括无线通信单元,所述方法还包括: [0033] 通过无线通信单元将所述第一校正图像、第二校正图像和全景图像中的至少一种发送至远程监控终端。 [0034] 根据本发明提供的3D全景车载内后视镜及其拍摄方法,通过背向相对设置第一鱼眼摄像头和第二鱼眼摄像头采集车外的第一鱼眼图像和车内的第二鱼眼图像,再通过处理 单元对第一鱼眼图像和第二鱼眼图像进行畸变校正之后形成正常的第一矫正图像和第二 矫正图像,如此,利用相对的两个鱼眼摄像头可以实现能够同时显示车外和车内环境,无死 角。 附图说明 [0035] 图1是本发明实施例中3D全景车载内后视镜安装结构示意图; [0036] 图2是本发明实施例提供的一种3D全景车载内后视镜的结构示意图; [0037] 图3是本发明实施例提供的另一种3D全景车载内后视镜的结构示意图; [0038] 图4是本发明实施例提供的又一种3D全景车载内后视镜的结构示意图; [0039] 图5是本发明实施例提供的一种3D全景拍摄方法的流程图; [0040] 图6是本发明实施例提供的另一种3D全景拍摄方法的流程图; [0041] 图7是本发明实施例提供的又一种3D全景拍摄方法的流程图。 [0042] 本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。 具体实施方式[0043] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。 [0044] 在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特 定的方位构造和操作,因此不能理解为对本发明的限制。 [0045] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者 隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上, 除非另有明确具体的限定。 [0046] 在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元 件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发 明中的具体含义。 [0047] 参照图2所示,图2示出了本发明实施例提供的一种3D全景车载内后视镜的结构示意图,为了便于描述,仅示出了与本发明实施例相关的部分。具体的,该3D全景车载内后视 镜100,包括拍摄单元101、处理单元102及显示屏103。 [0048] 具体的,拍摄单元101包括用于采集车外的第一鱼眼图像的第一鱼眼摄像头1011和采集的车内的第二鱼眼图像的第二鱼眼摄像头1012,所述第一鱼眼摄像头1011和第二鱼 眼摄像头1012背向相对设置。例如在图1示例中,拍摄单元101为球形,朝向前方的部分为第 一鱼眼摄像头1011,而朝向车内后方的部分为第二鱼眼摄像头1012,如此,通过第一鱼眼摄 像头1011可以对车辆前方接近180°范围内车外环境进行采集形成第一鱼眼图像,而通过第 二鱼眼摄像头1012则可以对车内环境进行采集形成第二鱼眼图像,由于第一鱼眼摄像头 1011和第二鱼眼摄像头1012背向相对设置,而第一鱼眼摄像头1011和第二鱼眼摄像头1012 的摄像范围都接近180°,所以,第一鱼眼图像和第二鱼眼图像的边缘部分可能部分重叠或 刚好为一个景物相对应的两个部分。 [0049] 处理单元102与所述拍摄单元101相连,用于对所述第一鱼眼图像和第二鱼眼图像进行畸变校正以形成第一校正图像和第二校正图像。由于鱼眼摄像头采集鱼眼图像具有非 常严重的变形,人眼观察效果差,所以,对于鱼眼图像一般都需要经过校正才能够适合人眼 观察。对应的,本发明中,通过处理单元102对第一鱼眼图像和第二鱼眼图像进行畸变校正 后即可形成符合人们习惯的普通图像,即第一校正图像和第二矫正图像。 [0051] 显示屏103与所述处理装置相连,用于显示所述第一校正图像和/或第二校正图像。也就是说,通过显示屏103显示该第一矫正图像或者是第二矫正图像,也可以同时显示 第一矫正图像和第二矫正图像。 [0052] 由此,作为用户而言,由于第一矫正图像为车前方的车外环境图像,第二矫正图像为车内的环形图像,所以,可以通过车载后视镜上的显示屏103看到车前方180°范围的图 像,而也可以看到车内的180°范围内的图像,从而实现车外内全景景象的监控。 [0053] 需要说明的是,本发明在具体应用中,用户可在驾车过程中,通过车载后视镜的显示屏103显示第一矫正图像,进而观看车前方180°范围环境,有利于行车的安全,尤其是左 转或右转时不存在视线盲区。也可以通过显示屏103显示第二矫正图像,了解车内环境。 [0055] 根据本发明提供的3D全景车载内后视镜100,通过背向相对设置第一鱼眼摄像头1011和第二鱼眼摄像头1012采集车外的第一鱼眼图像和车内的第二鱼眼图像,再通过处理 单元102对第一鱼眼图像和第二鱼眼图像进行畸变校正之后形成正常的第一矫正图像和第 二矫正图像,如此,利用相对的两个鱼眼摄像头可以实现能够同时显示车外和车内环境。 [0056] 在本发明的另一个实施例中,处理单元102还用于将所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像,所述显示屏103还用于显示所述车内外全 景图像。 [0057] 也就是说,本实施例中,处理单元102还可以对第一矫正图像和第二矫正图像进行合并拼接处理,如上所述,第一鱼眼摄像头1011和第二鱼眼摄像头1012是背向相对设置的, 而且其拍摄视角均接近180°,所以,第一矫正图像和第二矫正图像的边缘部分重叠或者刚 好为一个景物的相邻的两个部分,如此,通过处理单元102进行合并拼接处理后即可形成一 幅全景图像,该全景图像显示为车外环境和车内环境。 [0058] 由此,处理单元102还可以对第一矫正图像和第二矫正图像进行合并拼接处理后可以实现车外内全景图像的显示。在具体应用中的,这种全景图能够使得用户更加直观地 了解车外内接近360度环境,起到了更好的图像显示和监控效果,提高了汽车安全性能。 [0059] 参照图3所示,图3示出了本发明实施例提供的另一种3D全景车载内后视镜100的结构示意图。在该实施例中,还包括无线通信单元,所述无线通信单元与所述处理单元102 相连,用于将所述第一校正图像、第二校正图像和全景图像中的至少一种发送至远程监控 终端。作为优选地,该无线通信单元可以采用3G、4G通信模块等。 [0060] 也就是说,本实施例中,可以利用无线通信模块与远程监控终端(例如手机等移动终端)进行通信,当车主离开车辆之后,在需要时可以通过手机等移动终端发送控制指令至 车载后视镜,车载后视镜通过该无线通信模块接收到该控制指令后,将对应的第一校正图 像、第二校正图像和全景图像中的至少一种发送至车主的手机等移动终端,如此,车主可以 车辆进行远程监控等。 [0061] 需要说明的是,在利用该车载后视镜对车辆进行远程监控时,作为优选方式,远程监控终端获取的图像最好是上述车内外全景图像,由于上述车内外全景图像能够清楚显示 车辆周围和内部的环境,因此,可以实现无死角监控,有效防止盗窃者破坏或非法入侵等不 法行为。 [0062] 参照图4所示,图4示出了本发明实施例提供的又一种3D全景车载内后视镜100的结构示意图。该3D全景车载内后视镜100还包括切换单元,所述切换单元与所述处理单元 102相连,用以接收用户切换指令并输出至所述处理单元102,以使所述处理单元102根据所 述切换指令选择性地将第一校正图像、第二校正图像和全景图像输出至所述显示屏103进 行显示。 [0063] 示例性的,在本发明的一个示例中,当所述切换指令为车外显示指令时,所述处理单元102将第一校正图像输出至所述显示屏103进行全屏显示。 [0064] 当所述切换指令为车内显示指令时,所述处理单元102将第二校正图像输出至所述显示屏103进行全屏显示。 [0065] 当所述切换指令为分屏显示指令时,所述处理单元102将第一校正图像和第二校正图像输出至所述显示屏103进行分屏显示。 [0066] 当所述切换指令为全景显示指令时,所述处理单元102将全景图像输出至所述显示屏103进行全屏显示。 [0067] 也就是说,用户触发该切换单元(例如按压切换按键)则可以产生切换指令,而处理单元102根据该切换指令控制显示屏103按照对应的方式显示第一校正图像、第二校正图 像和全景图像。 [0068] 由此,用户可以根据自身需要通过切换单元实现对显示屏103显示的图像进行切换,也即是可以全屏显示车外的图像,也可以全屏显示车内的图像,还可以同时分屏显示车 外的图像和车内的图像,此外,也能够全屏显示车内外全景图像,如此,提高了图像显示的 灵活性,给用户带来更大的便利。 [0069] 参照图5所示,图5示出了本发明实施例提供的一种3D全景拍摄方法的流程图,为了便于描述,仅示出了与本发明实施例相关的部分。具体的,该3D全景拍摄方法,可以用于 上述实施例所述3D全景车载内后视镜100,包括以下步骤: [0070] S101、通过拍摄单元101的第一鱼眼摄像头1011采集车外的第一鱼眼图像,以及通过拍摄单元101的第二鱼眼摄像头1012采集车内的第二鱼眼图像。 [0071] S102、处理单元102获取来自第一鱼眼摄像头1011采集的车外的第一鱼眼图像,以及来自与第一鱼眼摄像头1011背靠设置的第二鱼眼摄像头1012采集的车内的第二鱼眼图 像;并对所述第一鱼眼图像和第二鱼眼图像分别进行畸变校正处理以形成对应的第一矫正 图像和第二矫正图像。 [0072] 示例性的,对所述第一鱼眼图像和第二鱼眼图像分别进行畸变校正处理以形成对应的第一矫正图像和第二矫正图像包括: [0073] 提取所述第一鱼眼图像和第二鱼眼图像中的有效区域; [0075] S103、通过所述显示屏103显示所述第一矫正图像和/或第二矫正图像。 [0076] 根据本发明提供的3D全景拍摄方法,通过背向相对设置第一鱼眼摄像头1011和第二鱼眼摄像头1012采集车外的第一鱼眼图像和车内的第二鱼眼图像,再通过处理单元102 对第一鱼眼图像和第二鱼眼图像进行畸变校正之后形成正常的第一矫正图像和第二矫正 图像,如此,利用相对的两个鱼眼摄像头可以实现能够同时显示车外和车内环境。 [0077] 参照图6所示,图6示出了本发明实施例提供的另一种3D全景拍摄方法的结构示意图。该3D全景拍摄方法包括: [0078] S201、通过拍摄单元101的第一鱼眼摄像头1011采集车外的第一鱼眼图像,以及通过拍摄单元101的第二鱼眼摄像头1012采集车内的第二鱼眼图像。 [0079] S202、处理单元102获取来自第一鱼眼摄像头1011采集的车外的第一鱼眼图像,以及来自与第一鱼眼摄像头1011背靠设置的第二鱼眼摄像头1012采集的车内的第二鱼眼图 像;并对所述第一鱼眼图像和第二鱼眼图像分别进行畸变校正处理以形成对应的第一矫正 图像和第二矫正图像。 [0080] S203、处理单元102对所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像。 [0081] 示例性的,将所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像包括: [0082] 提取第一鱼眼图像和第二鱼眼图像中特征点; [0083] 通过进行相似性度量对所述特征点进行筛选,找到第一鱼眼图像和第二鱼眼图中相匹配的特征点,相匹配的两个特征点作为一个特征点对; [0084] 根据特征点对估算图像空间坐标变换参数,并根据所述坐标变换参数对第一鱼眼图像和第二鱼眼图像进行图像反变换得到第一配准图像和第二配准图像; [0085] 将第一配准图像和第二配准图像采用融合算法拼接形成所述车内外全景图像。 [0086] S204、通过所述显示器显示所述车内外全景图像。 [0087] 根据本发明提供的3D全景拍摄方法,通过背向相对设置第一鱼眼摄像头1011和第二鱼眼摄像头1012采集车外的第一鱼眼图像和车内的第二鱼眼图像,再通过处理单元102 对第一鱼眼图像和第二鱼眼图像进行畸变校正之后形成正常的第一矫正图像和第二矫正 图像,如此,利用相对的两个鱼眼摄像头可以实现能够同时显示车外和车内环境。此外,本 实施例可以实现车外内全景图像的显示。在具体应用中的,这种全景图能够使得用户更加 直观地了解车外内360度环境,起到了更好的图像显示和监控效果,提高了汽车安全性能。 [0088] 在本发明的另一个实施例中,该方法还包括: [0089] 通过无线通信单元将所述全景图像发送至远程监控终端。 [0090] 本实施例中,当车主离开车辆之后,在需要时可以通过手机等移动终端发送控制指令至车载后视镜,车载后视镜通过该无线通信模块接收到该控制指令后,将对应全景图 像发送至车主的手机等移动终端,如此,车主可以车辆进行远程监控等。 [0091] 参照图7所示,图7示出了本发明实施例提供的又一种3D全景拍摄方法的结构示意图,该3D全景拍摄方法包括: [0092] S301、通过拍摄单元101的第一鱼眼摄像头1011采集车外的第一鱼眼图像,以及通过拍摄单元101的第二鱼眼摄像头1012采集车内的第二鱼眼图像。 [0093] S302、处理单元102获取来自第一鱼眼摄像头1011采集的车外的第一鱼眼图像,以及来自与第一鱼眼摄像头1011背靠设置的第二鱼眼摄像头1012采集的车内的第二鱼眼图 像;并对所述第一鱼眼图像和第二鱼眼图像分别进行畸变校正处理以形成对应的第一矫正 图像和第二矫正图像。 [0094] S303、处理单元102对所述第一矫正图像和第二矫正图像进行合并拼接处理形成车内外全景图像。 [0095] S304、通过所述切换单元接收用户切换指令并发送至处理单元102; [0096] S305、处理单元102根据所述切换指令选择性地将第一校正图像、第二校正图像和全景图像输出至所述显示屏103进行显示。 [0097] 具体的,当所述切换指令为车外显示指令时,所述处理单元102将第一校正图像输出至所述显示屏103进行全屏显示; [0098] 当所述切换指令为车内显示指令时,所述处理单元102将第二校正图像输出至所述显示屏103进行全屏显示; [0099] 当所述切换指令为分屏显示指令时,所述处理单元102将第一校正图像和第二校正图像输出至所述显示屏103进行分屏显示; [0100] 当所述切换指令为全景显示指令时,所述处理单元102将全景图像输出至所述显示屏103进行全屏显示。 [0101] 根据本发明提供的3D全景拍摄方法,通过背向相对设置第一鱼眼摄像头1011和第二鱼眼摄像头1012采集车外的第一鱼眼图像和车内的第二鱼眼图像,再通过处理单元102 对第一鱼眼图像和第二鱼眼图像进行畸变校正之后形成正常的第一矫正图像和第二矫正 图像,如此,利用相对的两个鱼眼摄像头可以实现能够同时显示车外和车内的全景景象,无 死角。此外,用户可以根据自身需要通过切换单元实现对显示屏103显示的图像进行切换, 也即是可以全屏显示车外的图像,也可以全屏显示车内的图像,还可以同时分屏显示车外 的图像和车内的图像,此外,也能够全屏显示车内外全景图像,如此,提高了图像显示的灵 活性,给用户带来更大的便利。 [0102] 需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。 对于装置或系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关 之处参见方法实施例的部分说明即可。 [0103] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存 储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术 领域内所公知的任意其它形式的存储介质中。 [0104] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明 将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。 |