首页 / 专利库 / 视听技术与设备 / 深度相机 / 스테레오 카메라의 거리 추출 방법

스테레오 카메라의 거리 추출 방법

阅读:712发布:2021-07-31

专利汇可以提供스테레오 카메라의 거리 추출 방법专利检索,专利查询,专利分析的服务。并且본발명은스테레오카메라의거리추출방법에관한것으로, 더욱상세하게는이동체에장착되는두대의카메라를사전에기구적으로행 정렬하여행 정렬된두대의카메라에의해촬영되는사물의미가공데이터영상(Raw Data Picture)에의해거리를추출하는스테레오카메라의거리추출방법에관한것이다. 본발명에의하면, 이동체에장착되는두대의카메라를사전에기구적으로행 정렬하여행 정렬된두대의카메라에의해촬영되는사물의미가공데이터영상(Raw Data Picture)에의해거리를추출함으로써행열연산의시간을줄이고연산량을최소화하여거리(Depth) 계산을용이하게할 수있는효과가있다.,下面是스테레오 카메라의 거리 추출 방법专利的具体信息内容。

  • 두대의 카메라에 각각 부착된 자이로 센서에서 각 카메라의 상하좌우 움직임을 각각 감지하는 단계;
    상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈에서 각 카메라에 부착된 자이로 센서에서 감지된 각 카메라의 상하좌우 움직임 정보를 각각 수신하는 단계;
    상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상기 두대의 카메라가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계; 및
    상기 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 상기 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산하는 단계;를 포함하는 스테레오 카메라의 거리 추출 방법.
  • 청구항 1에 있어서,
    상기 두대의 카메라의 상하좌우 움직임을 각각 감지하는 단계 이전에,
    상기 두대의 카메라가 이동체에 설치되어 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되는 단계를 더 포함하는 스테레오 카메라의 거리 추출 방법.
  • 청구항 1에 있어서,
    상기 두대의 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계는,
    상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받는 단계; 및
    상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 주고 받는 각 카메라의 상하좌우 움직임 각도 정보를 확인하면서 상기 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계를 포함하는 스테레오 카메라의 거리 추출 방법.
  • 说明书全文

    스테레오 카메라의 거리 추출 방법{depth extraction method for stereo camera}

    본 발명은 스테레오 카메라의 거리 추출 방법에 관한 것으로, 더욱 상세하게는 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출하는 스테레오 카메라의 거리 추출 방법에 관한 것이다.

    일반적으로 두대의 카메라에서 촬영된 좌, 우 영상으로부터 물체까지의 거리 계산은 양안 시차에 의하여 원근감을 느끼는 원리를 이용한다.

    두대의 카메라 사이의 기하학적 관계를 계산하는 과정인 캘리브레이션(Calibration)은 내부 및 외부 매트릭스(Intrinsic & Extrinsic matrix) 산출을 이용한다.

    교정(Rectification)은 영상들이 행-정렬된 카메라에서 촬영된 것처럼 바꾸는 과정이고, 스테레오 매칭(Stereo matching)은 시차(Disparity) 산출을 통해 거리(Depth)를 추출하는 것이다.

    초소형 카메라를 이용하여 원거리(~200m)까지 거리 감지가 가능한 모듈이 개발되고 있으나, 상대적으로 미가공 데이터(Raw data)의 틸트(tilt) 및 왜곡 보정을 위한 알고리즘(Algorism) 등 수학적 수식을 이용으로 버퍼(Bufter) 발생이 예상됨으로 실시간으로 적용하기에는 어려움이 있다.

    미가공 데이터(Raw data)의 왜곡을 최소화한 영상을 추출하고 후처리 과정을 단순히 하여 정확하고 단순한 알고리즘(Algorism) 적용을 통한 거리(Depth) 산출이 필요하다.

    그리고, 기존 스테레오 카메라(Strero camera)의 캘리브레이션 계산(calibration calculation)은 전처리 과정이 복잡하고, 해상도가 높아질 경우 데이터의 크기가 늘어나며, 측정시간 증가 등으로 인해 상품의 질(Quality)이 상대적으로 떨어지게 되는 문제점이 있었다.

    본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬함으로써 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출할 수 있도록 한 스테레오 카메라의 거리 추출 방법을 제공함을 목적으로 한다.

    상기한 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라의 거리 추출 방법의 일 측면에 따르면, 두대의 카메라에 각각 부착된 자이로 센서에서 각 카메라의 상하좌우 움직임을 각각 감지하는 단계와, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈에서 각 카메라에 부착된 자이로 센서에서 감지된 각 카메라의 상하좌우 움직임 정보를 각각 수신하는 단계와, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상기 두대의 카메라가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계 및 상기 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 상기 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산하는 단계를 포함한다.

    상기 두대의 카메라의 상하좌우 움직임을 각각 감지하는 단계 이전에, 상기 두대의 카메라가 이동체에 설치되어 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되는 단계를 더 포함한다.

    상기 두대의 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계는, 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받는 단계; 및 상기 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 주고 받는 각 카메라의 상하좌우 움직임 각도 정보를 확인하면서 상기 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 단계를 포함한다.

    본 발명에 의하면, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 할 수 있는 효과가 있다.

    또한, 사전 캘리브레이션(Calibration)을 최소화하여 계산 시간 즉, 인지 시간을 효과적으로 줄일 수 있으며, 빠른 시간을 바탕으로 실시간으로 대응할 수 있으므로 고속으로 달리는 차량(Vehicle)에서 효과적으로 운용할 수 있다.

    또한, 전처리 과정이 최소화되고, 사전 인지시간 최소화로 반응시간이 최적화될 수 있으며, 선명한 사진을 활용하여 추가 정보로 활용할 수도 있다.

    또한, 카메라의 상하좌우 이동(Tilt), 회전(Rotation) 등에 둔감(Robust)한 모듈 제작이 가능해지고, 차량에 카메라 초기 장착시 사물에 대한 피팅(Fitting)과 얼라인 세팅(Align setting) 및 거리에 대한 캘리브레이션(Calibration) 후 기존의 거리(Depth) 측정치와 대비하여 정확성을 높일 수 있는 효과가 있다.

    도 1은 거리(Depth) 추출 과정을 나타내는 도면.
    도 2는 거리 맵(Depth map) 추출 과정을 나타내는 도면.
    도 3은 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth)를 계산하는 일예를 나타내는 도면.
    도 4는 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth) 추출 방법을 나타내는 도면.

    이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

    도 1은 거리(Depth) 추출 과정을 나타내는 도면이다.

    도시된 바와 같이, 도 1에서 두 대의 카메라에서 촬영된 좌(Left), 우(Right) 영상(10,20)으로부터 물체(object)(30)까지의 거리(Z)를 계산한다. 양안 시차에 의하여 원근감을 느끼는 원리를 이용한다. 거리 계산식은 하기의 수학식 1로 정의된다.

    여기서, disparity = dl + dr

    도 2는 거리 맵(Depth map) 추출 과정을 나타내는 도면이다.

    도시된 바와 같이, 제1 직사각형(40)은 실제 스테레오 카메라 시스템(Stereo camera system)을 나타내고, 제2 직사각형(50)은 이상적 상황(Ideal situation)을 나타낸다. 여기서 제1 직사각형(40)이 제2 직사각형(50)으로 되도록 하기 위해 캘리브레이션(Calibration) 값을 이용한 교정(Rectification)을 이용한다.

    도 3은 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth)를 계산하는 일예를 나타내는 도면이다.

    도시된 바와 같이, 도 2에서 살펴본 바와 같이 거리 맵(Depth map) 추출 과정에서는 이상적 시뮬레이션(Ideal simulation)을 위한 캘리브레이션(Calibration)의 계산이 필요하다. 도 3에서는 자이로 센서(gyro sensor) 모듈(61)이 각각 구비된 두대의 카메라(60)를 이용하여 거리를 측정한다.

    두대의 카메라(60)에는 각 카메라의 상하좌우 이동(Tilt), 광학식 손떨림 보정(OIS) 등의 움직임을 제어할 수 있는 제어모듈(미도시됨)이 포함된다.

    두대의 카메라(60)에 각각 구비된 자이로 센서(gyro sensor) 모듈(61)과 제어모듈은 상호간에 필요한 정보를 주고 받으면서 연동한다.

    두대의 카메라(60)에 각각 구비된 자이로 센서(gyro sensor) 모듈(61)은 각 카메라의 상하좌우 움직임을 감지하여 감지된 상하좌우 움직임 정보를 두대의 카메라(60)의 제어모듈로 각각 전송한다.

    두대의 카메라(60)의 제어모듈은 자이로 센서(gyro sensor) 모듈(61)에서 전송되는 각 카메라의 상하좌우 움직임 정보를 수신하여 두대의 카메라(60)가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.

    두대의 카메라(60)의 제어모듈은 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받으면서 두대의 카메라(60)가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.

    이에 따라, 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 두대의 카메라(60)에 의해 촬영되는 물체까지의 거리를 계산한다.

    즉, 본 발명에서는 두대의 카메라(60)가 기구적으로 행 정열된 상태에서 전방의 사물을 촬영함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 한다.

    이와 같이, 본 발명에서는 두대의 카메라(60) 사이의 기하학적 관계를 수식적으로 계산하는 것이 아나라, 기구적으로 행 정열된 상태에서 촬영하여 빠른 시간에 원하는 데이터를 얻을 수 있다.

    또한, 사전 캘리브레이션(Calibration)을 최소화하여 계산 시간 즉, 인지 시간을 효과적으로 줄일 수 있게 된다.

    또한, 빠른 시간을 바탕으로 실시간으로 대응할 수 있으므로 고속으로 달리는 차량(Vehicle)에서는 효과적으로 운용할 수 있다.

    즉, 이와 같이 전처리 과정이 최소화되고, 사전 인지시간 최소화로 반응시간이 최적화될 수 있으며, 선명한 사진을 활용하여 추가 정보로 활용할 수도 있다. 또한, 카메라 모듈(60)의 상하 이동(Tilt), 회전(Rotation) 등에 둔감(Robust)한 모듈 제작이 가능해진다.

    그리고, 모듈 초기 장착시 사물에 대한 피팅(Fitting) 후 얼라인 세팅(Align setting) 후 거리에 대한 캘리브레이션(Calibration) 후 기존의 거리(Depth) 측정치와 대비하여 정확성을 높일 수 있다.

    도 4는 본 발명의 일실시예에 따른 자이로 센서를 구비한 두대의 카메라 모듈를 이용하여 거리(Depth) 추출 방법을 나타내는 도면이다.

    도시된 바와 같이, 두대의 카메라에 각각 부착된 자이로 센서에서 각 카메라의 상하좌우 움직임을 각각 감지(S10)한다.

    상기 두대의 카메라의 상하좌우 움직임을 각각 감지하는 S10단계 이전에, 두대의 카메라가 이동체에 설치되어 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된다.

    두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈에서 각 카메라에 부착된 자이로 센서에서 감지된 각 카메라의 상하좌우 움직임 정보를 각각 수신(S20)한다.

    두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 두대의 카메라가 동일선상의 수평선상에서 동일한 방향의 각도로 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정(S30)한다.

    두대의 카메라의 상하좌우 움직임 각도를 실시간으로 보정하는 S30단계에서, 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 실시간으로 보정되는 각 카메라의 상하좌우 움직임 각도 정보를 주고 받고, 두대의 카메라에 각각 설치된 상하좌우 움직임 제어모듈이 상호간에 주고 받는 각 카메라의 상하좌우 움직임 각도 정보를 확인하면서 두대의 카메라가 동일한 높이에서 기구적으로 행 정렬되도록 각 카메라의 상하좌우 움직임 각도를 실시간으로 보정한다.

    이어서, 동일선상의 수평선상에서 동일한 방향의 각도로 정렬된 두대의 카메라에 의해 촬영되는 물체까지의 거리를 계산(S40)한다. 즉, 이동체에 장착되는 두대의 카메라를 사전에 기구적으로 행 정렬하여 행 정렬된 두대의 카메라에 의해 촬영되는 사물의 미가공 데이터 영상(Raw Data Picture)에 의해 거리를 추출함으로써 행열 연산의 시간을 줄이고 연산량을 최소화하여 거리(Depth) 계산을 용이하게 할 수 있게 된다.

    이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

    10,20 : 좌(Left), 우(Right) 영상
    30 : 물체
    40 : 제1 직사각형
    50 : 제2 직사각형
    60 : 카메라
    61 : 자이로 센서(gyro sensor) 모듈

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈