디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체{A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium}

본 발명의 실시예들은 디지털 촬영 장치, 상기 디지털 촬영 장치를 제어하기 위한 방법, 및 상기 디지털 촬영 장치 제어 방법을 수행하는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능 저장매체에 관한 것이다.

디지털 촬영 장치는, 렌즈, 조리개 등을 포함하는 광학계를 통과한 광학 신호를 촬상 소자에서 전기적인 신호로 변환하여, 피사체를 촬영한다. 광학계는 피사체로부터 입사된 광학 신호를 촬상 소자에 결상시키고, 촬영된 영상의 광량, 심도 등을 조절한다.

본 발명의 실시예들은, 복수의 광학계를 구비한 디지털 촬영 장치에서, 베이스 광학계를 효과적으로 결정하여, 보다 좋은 화질의 결과 영상을 얻기 위한 것이다.

본 발명의 일 실시예에 따른 본 발명의 일 측면에 따르면, 복수의 광학계들을 구비한 디지털 촬영 장치의 제어 방법에 있어서, 상기 복수의 광학계들에서의 흔들림 정보를 도출하는 단계; 및 상기 흔들림 정보에 따라 상기 복수의 광학계들 중, 베이스 광학계를 결정하는 단계를 포함하는, 디지털 촬영 장치 제어 방법이 제공된다. 상기 베이스 광학계를 결정하는 단계는, 상기 복수의 광학계들 중, 흔들림이 가장 적은 광학계를 상기 베이스 광학계로 결정할 수 있다.

본 발명의 일 실시예에 따르면, 상기 흔들림 정보를 도출하는 단계는, 사용자의 그립(grip) 위치를 검출하는 단계를 포함하고, 상기 베이스 광학계를 결정하는 단계는, 상기 그립 위치와 가장 가까운 광학계를 상기 베이스 광학계로 결정하는 단계를 포함할 수 있다. 상기 흔들림 정보를 도출하는 단계 및 상기 베이스 광학계를 결정하는 단계는, 영상 캡쳐 이전에 수행될 수 있다.

본 발명의 다른 실시예에 따르면, 상기 흔들림 정보를 도출하는 단계는, 상기 복수의 광학계들로부터 촬영된 복수의 영상들로부터 PSF(point spread function)를 산출하는 단계를 포함하고, 상기 베이스 광학계를 결정하는 단계는, 상기 복수의 영상들에 대한 PSF에 기초하여, 상기 복수의 광학계들 중, 흔들림이 적은 광학계를 상기 베이스 광학계로 결정하는 단계를 포함한다.

본 발명의 또 다른 실시예에 따르면, 상기 디지털 촬영 장치 제어 방법은, 베이스 광학계 결정 방식을 선택하는 사용자 입력을 검출하는 단계를 더 포함하고, 상기 사용자가 사전 결정 방식을 선택한 경우, 영상 캡쳐 이전에, 상기 흔들림 정보를 도출하는 단계 및 상기 베이스 광학계를 결정하는 단계를 수행하고, 상기 흔들림 정보를 도출하는 단계는, 사용자의 그립(grip) 위치를 검출하는 단계를 포함하고, 상기 베이스 광학계를 결정하는 단계는, 상기 그립 위치와 가장 가까운 광학계를 상기 베이스 광학계로 결정하는 단계를 포함하며, 상기 사용자가 사후 결정 방식을 선택한 경우, 영상 캡쳐 이후에, 상기 흔들림 정보를 도출하는 단계 및 상기 베이스 광학계를 결정하는 단계를 수행하고, 상기 흔들림 정보를 도출하는 단계는, 상기 복수의 광학계들로부터 촬영된 복수의 영상들로부터 PSF(point spread function)를 산출하는 단계를 포함하고, 상기 베이스 광학계를 결정하는 단계는, 상기 복수의 영상들에 대한 PSF에 기초하여, 상기 복수의 광학계들 중, 흔들림이 적은 광학계를 상기 베이스 광학계로 결정하는 단계를 포함한다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들은 흔들림 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 단노출 영상과 적어도 하나의 장노출 영상을 포함하며, 상기 디지털 촬영 장치가 손떨림의 영향을 받는 장치인 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 상기 적어도 하나의 단노출 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들이 흔들림 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 단노출 영상과 적어도 하나의 장노출 영상을 포함하며, 상기 디지털 촬영 장치가 손떨림의 영향을 받지 않는 장치인 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 상기 적어도 하나의 장노출 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들이 역광 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 노출 값이 작은 영상과 적어도 하나의 노출 값이 큰 영상을 포함하는 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 상기 적어도 하나의 노출 값이 큰 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 적어도 하나의 광각 영상과 적어도 하나의 망원 영상을 촬영하는 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 상기 적어도 하나의 망원 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 3차원 영상을 얻기 위한 복수의 영상들을 촬영하는 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 노출 시간이 짧은 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 3차원 영상을 얻기 위한 복수의 영상들을 촬영하는 경우, 상기 디지털 촬영 장치 제어 방법은, 상기 베이스 광학계에서 입력 데이터 량이 많은 영상을 촬영하도록 제어하는 단계를 더 포함할 수 있다.

상기 베이스 광학계에서 촬영된 영상을 결과 영상으로 선택하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 본 발명의 다른 측면에 따르면, 복수의 광학계들; 상기 복수의 광학계들을 통과한 광을 전기적인 신호로 변환하도록 구성된 적어도 하나의 촬상 소자; 상기 복수의 광학계들에서의 흔들림 정보를 도출하는 흔들림 정보 도출부; 및 상기 흔들림 정보에 따라 상기 복수의 광학계들 중, 베이스 광학계를 결정하는 베이스 광학계 결정부를 포함하는 디지털 촬영 장치가 제공된다. 상기 베이스 광학계 결정부는, 상기 복수의 광학계들 중, 흔들림이 가장 적은 광학계를 상기 베이스 광학계로 결정할 수 있다.

본 발명의 일 실시예에 따르면, 상기 흔들림 정보 도출부는, 사용자의 그립(grip) 위치를 검출하는 그립 위치 검출부를 포함하고, 상기 베이스 광학계 결정부는, 상기 그립 위치와 가장 가까운 광학계를 상기 베이스 광학계로 결정하는 사전 결정부를 포함한다. 상기 그립 위치 검출부는 영상 캡쳐 이전에 상기 그립 위치를 검출하고, 상기 사전 결정부는, 영상 캡쳐 이전에 상기 베이스 광학계를 결정할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 흔들림 정보 도출부는, 상기 복수의 광학계들로부터 촬영된 복수의 영상들로부터 PSF(point spread function)를 산출하는 PSF 산출부를 포함하고, 상기 베이스 광학계 결정부는, 상기 복수의 영상들에 대한 PSF에 기초하여, 상기 복수의 광학계들 중, 흔들림이 적은 광학계를 상기 베이스 광학계로 결정하는 사후 결정부를 포함한다.

본 발명의 또 다른 실시예에 따르면, 상기 디지털 촬영 장치는, 베이스 광학계 결정 방식을 선택하는 사용자 입력을 검출하는 사용자 입력 검출부를 더 포함하고, 상기 흔들림 정보 도출부는, 상기 사용자가 사전 결정 방식을 선택한 경우, 영상 캡쳐 이전에, 사용자의 그립(grip) 위치를 검출하는 그립 위치 검출부; 및 상기 사용자가 사후 결정 방식을 선택한 경우, 영상 캡쳐 이후에, 상기 복수의 광학계들로부터 촬영된 복수의 영상들로부터 PSF(point spread function)를 산출하는 PSF 산출부를 포함하고, 상기 베이스 광학계 결정부는, 상기 사용자가 사전 결정 방식을 선택한 경우, 영상 캡쳐 이전에, 상기 그립 위치와 가장 가까운 광학계를 상기 베이스 광학계로 결정하는 사전 결정부; 및 상기 사용자가 사후 결정 방식을 선택한 경우, 영상 캡쳐 이후에, 상기 복수의 영상들에 대한 PSF에 기초하여, 상기 복수의 광학계들 중, 흔들림이 적은 광학계를 상기 베이스 광학계로 결정하는 사후 결정부를 포함한다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들은 흔들림 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 단노출 영상과 적어도 하나의 장노출 영상을 포함하며, 상기 디지털 촬영 장치가 손떨림의 영향을 받는 장치인 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 상기 적어도 하나의 단노출 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들이 흔들림 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 단노출 영상과 적어도 하나의 장노출 영상을 포함하며, 상기 디지털 촬영 장치가 손떨림의 영향을 받지 않는 장치인 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 상기 적어도 하나의 장노출 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 촬영되는 복수의 영상들이 역광 보정을 위한 영상들이고, 상기 복수의 영상들은 적어도 하나의 노출 값이 작은 영상과 적어도 하나의 노출 값이 큰 영상을 포함하는 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 상기 적어도 하나의 노출 값이 큰 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 적어도 하나의 광각 영상과 적어도 하나의 망원 영상을 촬영하는 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 상기 적어도 하나의 망원 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 3차원 영상을 얻기 위한 복수의 영상들을 촬영하는 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 노출 시간이 짧은 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 복수의 광학계들을 통해 3차원 영상을 얻기 위한 복수의 영상들을 촬영하는 경우, 상기 디지털 촬영 장치는, 상기 베이스 광학계에서 입력 데이터 량이 많은 영상을 촬영하도록 제어하는 촬영 제어부를 더 포함할 수 있다.

상기 디지털 촬영 장치는, 상기 베이스 광학계에서 촬영된 영상을 결과 영상으로 선택하는 결과 영상 획득부를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 본 발명의 또 다른 측면에 따르면, 복수의 광학계들을 구비한 디지털 촬영 장치의 제어하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 컴퓨터 프로그램은, 상기 복수의 광학계들에서의 흔들림 정보를 도출하는 코드 부분; 및 상기 흔들림 정보에 따라 상기 복수의 광학계들 중, 베이스 광학계를 결정하는 코드 부분을 포함하는, 컴퓨터 판독가능 저장매체가 제공된다.

본 발명의 실시예들에 따르면, 복수의 광학계를 구비한 디지털 촬영 장치에서, 베이스 광학계를 효과적으로 결정하여, 보다 좋은 화질의 결과 영상을 얻을 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치(100)의 개략적인 구조를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치(100)의 외관을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 CPU/DSP(170)의 구조를 나타낸 도면이다.
도 4는 사용자가 디지털 촬영 장치(100) 본체를 잡은 예시적인 모습을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 8은 손떨림의 영향을 받는 디지털 촬영 장치에서, 촬영 영상에 대해 손떨림 보정을 수행하는 경우, 본 발명의 일 실시예에 따라, 촬영 영상들과 결과 영상을 나타낸 도면이다.
도 9는 손떨림의 영향을 받지 않는 디지털 촬영 장치에서, 촬영 영상에 대해 손떨림 보정을 수행하는 경우, 본 발명의 일 실시예에 따라, 촬영 영상들과 결과 영상을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따라, 복수의 광학계들을 통해 촬영된 복수의 영상들을 이용하여 역광 보정을 수행하는 경우, 촬영 영상들과 역광 보정된 결과 영상을 나타낸 도면이다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.

도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치(100)의 개략적인 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 같은 방향으로부터 광학 신호를 받는 적어도 2개의 광학계를 포함한다. 본 명세서에서는, 2개의 광학계를 구비하는 디지털 촬영 장치(100)를 예로 들어 설명하지만, 본 발명은 2개의 광학계를 구비하는 것에 한정되지 않고, 그 이상의 개수의 광학계를 포함하는 디지털 촬영 장치들도 포함한다.

본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 제1 광학계(112-1), 제2 광학계(112-2), 광학 구동부(114), 촬상 소자(116), 촬상 소자 제어부(118), 아날로그 신호 처리부(120), 메모리(130), 저장/판독 제어부(140), 데이터 저장부(142), 프로그램 저장부(150), 표시 구동부(162), 표시부(164), CPU/DSP(170), 및 조작부(180)를 포함한다.

디지털 촬영 장치(100)의 전체 동작은 CPU/DSP(170)에 의해 통괄된다. CPU/DSP(170)는 광학 구동부(114), 촬상 소자 제어부(118) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.

제1 광학계(112-1) 및 제2 광학계(112-2)는 피사체로부터 입사된 광학 신호를 촬상 소자(116)의 수광면에 결상시킨다. 제1 광학계(112-1) 및 제2 광학계(112-2)는 조리개(미도시), 줌렌즈(미도시), 포커스 렌즈(미도시), 미러(미도시), 프리즘(미도시) 등을 포함할 수 있다. 제1 및 제2 광학계(112-1, 112-2)는 동일하게 구성될 수 있지만, 서로 다르게 구성되는 것도 가능하다. 본 발명의 일 실시예에 따르면, 도 2에 도시된 바와 같이, 제1 광학계(112-1) 및 제2 광학계(112-2)는 같은 방향으로부터 광학 신호를 입력받도록 배치된다. 또한, 제1 광학계(112-1) 및 제2 광학계(112-2)는, 도 2에 도시된 바와 같이, 제1 및 제2 광학계(112-1, 112-2)의 광축이 서로 이격되어 나란하게 배치될 수 있다.

광학 구동부(114)는 제1 및 제2 광학계(112-1, 112-2)를 구동한다. 광학 구동부(114)는 제1 및 제2 광학계(112-1, 112-2)에 포함된 조리개의 개폐 정도를 조절하거나, 줌렌즈, 포커스 렌즈 등의 위치를 조절할 수 있다. 광학 구동부(114)는 CPU/DSP(170)에서 제공된 제어 신호에 따라 제1 및 제2 광학계(112-1, 112-2)를 구동할 수 있다. 도 1에는 한 개의 광학 구동부(114)가 제1 및 제2 광학계(112-1, 112-2)를 모두 구동하는 구성을 도시하였지만, 제1 및 제2 광학계(112-1, 112-2)를 각각 구동하는 2개의 광학 구동부들을 별개로 구비하는 것도 가능하다.

제1 및 제2 광학계(112-1, 112-2)를 투과한 광학 신호는 촬상 소자(116)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(116)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(116)는 촬상 소자 제어부(118)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(118)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(116)를 제어할 수 있다.

도 1과 같이, 제1 및 제2 광학계(112-1, 112-2)를 통과한 광학 신호를 한 개의 촬상 소자(116)를 이용하여 촬영하는 경우, 제1 및 제2 광학계(112-1, 112-2)에 구비된 미러 및/또는 프리즘 등을 이용하여, 광학 신호의 경로를 조절하여 촬상 소자(116)에 결상시킨다. 또한, 제1 광학계(112-1)로부터 입력된 광학 신호와 제2 광학계(112-2)로부터 입력된 광학 신호를 촬상 소자(116)에서 연속으로 촬영하여, 제1 영상 및 제2 영상을 촬영한다.

다른 예로서, 제1 광학계(112-1)를 통과한 광학 신호를 촬상하는 제1 촬상 소자와, 제2 광학계(112-2)를 통과한 광학 신호를 촬상하는 제2 촬상 소자가 별도로 구비될 수 있다. 이러한 경우, 제1 영상 및 제2 영상은 동시에 촬영될 수 있다.

촬상 소자(116)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(116)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.

아날로그 신호 처리부(120)는 촬상 소자(116)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

아날로그 신호 처리부(120)에 의해 처리된 신호는 메모리(130)를 거쳐 CPU/DSP(170)에 입력될 수도 있고, 메모리(130)를 거치지 않고 CPU/DSP(170)에 입력될 수도 있다. 여기서 메모리(130)는 디지털 촬영 장치(100)의 메인 메모리로서 동작하고, CPU/DSP(170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(150)는 디지털 촬영 장치(100)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장한다.

아울러, 디지털 촬영 장치(100)는 이의 동작 상태 또는 디지털 촬영 장치(100)에서 촬영한 영상 정보를 표시하도록 표시부(164)를 포함한다. 표시부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 또한, 표시부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.

표시 구동부(162)는 표시부(164)에 구동 신호를 제공한다.

CPU/DSP(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. CPU/DSP(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다.

CPU/DSP(170)로부터 출력된 이미지 데이터는 메모리(130)를 통하여 또는 직접 저장/판독 제어부(140)에 입력되는데, 저장/판독 제어부(140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 데이터 저장부(142)에 저장한다. 또한 저장/판독 제어부(140)는 데이터 저장부(142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 표시부(164)에 이미지가 표시되도록 할 수도 있다. 데이터 저장부(142)는 탈착 가능한 것일 수도 있고 디지털 촬영 장치(100)에 영구장착된 것일 수 있다.

또한, CPU/DSP(170)에서는 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, CPU/DSP(170)에서는 표시부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 CPU/DSP(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.

또한 CPU/DSP(170)는 프로그램 저장부(150)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(112), 렌즈 구동부(115), 및 촬상 소자 제어부(119)에 제공하고, 셔터, 플래시 등 디지털 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.

조작부(180)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(180)는 정해진 시간 동안 촬상 소자(118)를 빛에 노출시켜 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 모드, 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

도 3은 본 발명의 일 실시예에 따른 CPU/DSP(170)의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 CPU/DSP(170)는 디지털 촬영 장치의 흔들림 정보를 도출하는 흔들림 정보 도출부(310), 상기 흔들림 정보에 기초하여 베이스 광학계를 결정하는 베이스 광학계 결정부(320), 및 베이스 광학계 결정부(320)의 결정에 따라, 복수의 광학계들의 촬영을 제어하는 촬영 제어부(330)를 포함할 수 있다. 본 발명의 실시예들은 흔들림 정보에 기초하여 베이스 광학계를 결정하고, 흔들림 정보는 사용자가 디지털 촬영 장치(100) 본체를 어느 쪽에서 잡았는지 여부에 따라 결정될 수 있다.

베이스 광학계는 복수의 광학계들을 통해 촬영되는 영상들 중, 중요 정보를 포함하는 영상을 의미한다. 본 발명의 실시예들에 따르면, 복수의 광학계들을 통해 복수의 영상을 획득하여, 영상 처리에 이용할 수 있는데, 영상 처리의 종류에 따라 복수의 영상들의 촬영 설정 값들을 다르게 할 수 있다. 그런데 영상 처리의 종류에 따라 특정 촬영 설정 값을 갖는 영상이 기준이 되거나 중요한 정보를 가질 수 있으며, 본 발명의 실시예들은 이러한 특정 촬영 설정 값을 갖는 영상을 베이스 광학계를 통해 촬영하도록 한다.

도 4는 사용자가 디지털 촬영 장치(100) 본체를 잡은 예시적인 모습을 나타낸 도면이다. 도 4에 도시된 바와 같이 사용자가 제2 광학계(112-2)에 가까운 쪽에서 디지털 촬영 장치(100)를 잡은 경우, 사용자의 손의 흔들림에 의하여 디지털 촬영 장치(100)의 흔들림이 발생하면, 그립 위치에 가까운 제2 광학계(112-2) 쪽보다 제1 광학계(112-1) 쪽에서 디지털 촬영 장치(100)의 흔들림이 더 심하게 나타난다. 따라서 그립 위치에 가까운 제2 광학계(112-2)를 통해 촬영된 영상보다 제1 광학계(112-1)를 통해 촬영된 영상에서 흔들림이 심하게 나타날 가능성이 높다. 본 발명의 실시예들은 복수의 광학계들 중, 흔들림이 적은 광학계를 베이스 광학계로 결정하고, 상기 베이스 광학계를 통해 촬영된 영상을 베이스 영상으로 결정하여, 복수의 영상을 이용하여 영상을 처리하여 결과 영상을 얻거나, 복수의 영상 중 하나를 결과 영상으로 선택할 때, 보다 좋은 화질의 결과 영상을 얻도록 한다.

본 발명의 일 실시예에 따르면, 흔들림 정보 도출부(310)는 그립 위치 검출부(312)를 포함하고, 베이스 광학계 결정부(320)는 사전 결정부(322)를 포함할 수 있다. 본 발명의 일 실시예는 촬영 이전에 그립 위치에 따라 베이스 광학계를 결정하여, 복수의 광학계들의 촬영 설정값들을 설정한 후, 촬영한다.

그립 위치 검출부(312)는 그립 위치를 검출하기 위한 그립 센싱 값을 입력받아 그립 위치를 결정한다. 그립 센싱 값은 그립 위치를 검출하기 위한 다양한 종류의 센싱 값일 수 있다. 일예로서, 디지털 촬영 장치(100)는 하우징에 사용자의 그립을 검출하기 위한 터치 감지 센서(미도시) 등을 구비하고, 상기 터치 감지 센서로부터 그립 센싱 값이 출력될 수 있다. 이때, 그립 위치 검출부(312)는 터치가 감지된 위치로부터 그립 위치를 판별할 수 있다. 다른 예로서, 디지털 촬영 장치(100)는 제1 광학계(112-1) 및 제2 광학계(112-2) 근처에 각각 가속도 센서 등을 구비하고, 각각의 가속도 센서로부터 그립 센싱 값이 출력될 수 있다. 이때, 그립 위치 검출부(312)는 제1 및 제2 광학계들(112-1 및 112-2) 중, 인접한 가속도 센서에서 가속도가 크게 검출된 광학계 쪽을 사용자가 그립한 것으로 판별할 수 있다.

사전 결정부(322)는 촬영 이전에, 그립 위치 검출부(312)에서 검출된 그립 위치에 따라 베이스 광학계를 결정한다. 즉, 사전 결정부(322)는 그립 위치에 가까운 쪽의 광학계를 베이스 광학계로 결정한다.

촬영 제어부(330)는 베이스 광학계 결정부(320)의 결정에 따라, 복수의 촬영계들 각각의 촬영 설정값을 결정하고, 촬영을 제어한다. 이때, 촬영 제어부(330)는 광학 구동부(114) 및 촬상 소자 제어부(118)로 제어 신호를 제공하여, 복수의 광학계들을 통한 촬영을 제어할 수 있다.

도 5는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.

우선, 촬영 이전에 그립 위치 검출부(312)에서 그립 위치가 검출되고(S502), 사전 결정부(322)가 그립 위치와 가까운 광학계를 베이스 광학계로 결정한다(S504). 베이스 광학계가 결정된 이후에, 사용자의 셔터 릴리즈 입력에 응답하여, 또는 자동으로 복수의 광학계들을 통해 입력된 광학 신호로부터 영상 캡쳐가 이루어지고(S506), 복수의 광학계들을 통해 촬영된 복수의 영상들을 이용하여 영상 처리가 수행된다(S508). 상기 영상 처리는 예를 들면, 흔들림 보정, PSF 산출, 역광 보정, 다이내믹 레인지(dynamic range) 처리, 3차원 영상 처리, 및 복수의 영상들 중 결과 영상 선택 등의 처리일 수 있다. 영상 처리의 종류에 따라 베이스 광학계와, 상기 베이스 광학계 이외의 참조 영상 광학계의 촬영 설정값이 다르게 설정될 수 있고, 동일하게 설정될 수도 있다.

본 발명의 다른 실시예에 따르면, 흔들림 정보 도출부(310)는 PSF(point spread function) 산출부(314)를 포함하고, 베이스 광학계 결정부(320)는 사후 결정부(324)를 포함할 수 있다. 본 발명의 다른 실시예는 촬영이 수행된 후에, PSF에 기초하여 복수의 광학계 각각에 대해 흔들림 정보를 도출하여, 흔들림 정보에 따라 베이스 광학계를 결정하고, 영상 처리를 수행한다.

PSF 산출부(314)는 복수의 광학계 각각에서 촬영된 캡쳐 영상들의 PSF를 산출한다. PSF는 흔들림의 경로를 나타내는 함수로서, 수학식 1과 같은 관계를 갖는다.

여기서 B는 블러가 발생한 영상, L은 블러가 발생하지 않은 영상, N은 백색 가우시안 노이즈(white gaussian noise)를 나타낸다. 즉, PSF는 블러가 발생하지 않은 영상 L에 PSF를 컨벌루션하면, 블러된 영상이 나오는 함수를 의미한다. PSF는 흔들림 경로를 나타내는 영상으로 나타낼 수 있다.

PSF를 추정하기 위한 방식으로는 자이로 센서(Gyro sensor)를 이용한 방식과 영상을 이용한 방식이 있다. 자이로 센서를 이용한 방식은, 영상이 노출되고 있는 동안에 각속도를 측정하고, 측정된 각속도 값을 수평 방향 및 수직 방향의 이동량으로 변환하여 PSF를 추정한다. 영상을 이용한 방식은 영상으로부터 PSF를 산출하는데, 다양한 PSF 산출 알고리즘이 이용될 수 있으며, 예를 들면 한국 특허출원 제2009-112785호에 기재된 PSF 추정 방법이 이용될 수 있다. 한국 특허출원 제2009-112785호의 내용은 본 특허출원에 참조로서 편입된다.

사후 결정부(324)는 PSF 산출부(314)에서 산출된 각 광학계에 대한 PSF를 이용하여, 각 광학계의 흔들림 정도를 판단하고, 흔들림 정도에 따라 베이스 광학계를 결정한다. 이때 사후 결정부(324)는 흔들림 정도가 적은 광학계를 베이스 광학계로 결정할 수 있다. 사후 결정부(324)에서 베이스 광학계가 결정되면, 해당 촬영 분의 촬영 영상에 대한 영상 처리 시에, 사후 결정부(324)의 결정에 따라 바로 베이스 영상이 선택될 수 있다. 다른 예로서, 사후 결정부(324)에서 베이스 광학계가 결정되면, 다음 촬영 시부터, 사후 결정부(324)의 결정에 따라 베이스 광학계가 결정되고, 매 촬영 시마다, 사후 결정부(324)에 의해 베이스 광학계가 갱신될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.

본 발명의 다른 실시예에 따르면, 복수의 광학계들을 통해 영상이 촬영되면(S602), PSF 산출부(314)에서 촬영된 복수의 영상들로부터 각각 PSF가 산출된다(S604). 다음으로, 사후 결정부(324)는 PSF 산출부(314)로부터 산출된 각각의 PSF에 기초하여, 복수의 광학계들 중 흔들림이 적은 광학계를 베이스 광학계로 결정한다(S606). 다음으로 촬영된 복수의 영상들에 대한 영상 처리가 수행된다(S608). 이때, 사후 결정부(324)에 의한 베이스 광학계 결정이 영상 처리 시에 바로 반영될 수 있다. 다른 예로서, 사후 결정부(324)에 의한 베이스 광학계 결정은 다음 촬영 시부터 반영될 수 있다.

본 발명의 또 다른 실시예에 따르면, CPU/DSP(170)는 흔들림 정보 도출부(310), 베이스 광학계 결정부(320), 촬영 제어부(330), 및 사용자 입력 검출부(340)를 포함한다. 본 발명의 또 다른 실시예는, 사용자 선택에 따라 사전 결정 방식 또는 사후 결정 방식으로 베이스 광학계를 결정한다.

사용자 입력 검출부(340)는 베이스 광학계를 결정하는 방식을 선택하는 사용자 입력을 검출한다. 사용자 입력 검출부(340)는 예를 들면, 조작부(180)로부터 입력되는 사용자 입력을 검출할 수 있다. 사용자는 소정의 사용자 인터페이스를 통해서 사전 결정 방식과 사후 결정 방식 중 어느 하나를 선택할 수 있다. 베이스 광학계를 결정하는 방식을 선택하는 사용자 인터페이스는 다양한 방식으로 제공될 수 있다.

본 실시예에 따르면, 흔들림 정보 도출부(310)는 그립 위치 검출부(312) 및 PSF 산출부(314)를 포함하고, 베이스 광학계 결정부(320)는 사전 결정부(322) 및 사후 결정부(324)를 포함한다. 사용자가 사전 결정 방식을 선택한 경우, 흔들림 정보 도출부(310)는 그립 위치 검출부(312)로부터 흔들림 정보를 베이스 광학계 결정부(320)로 제공하고, 베이스 광학계 결정부(320)에서는 사전 결정부(322)로부터 베이스 광학계가 결정된다. 사용자가 사후 결정 방식을 선택한 경우, 흔들림 정보 도출부(310)는 PSF 산출부(314)로부터 흔들림 정보를 베이스 광학계 결정부(320)로 제공하고, 베이스 광학계 결정부(320)에서는 사후 결정부(324)로부터 베이스 광학계가 결정된다. 그립 위치 검출부(312), PSF 산출부(314), 사전 결정부(322), 및 사후 결정부(324)의 동작은 앞서 설명한 바와 유사하다.

도 7은 본 발명의 또 다른 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.

조작부(180)를 통해 베이스 광학계 결정 방식을 선택하는 사용자 선택이 검출되면(S702), 사용자 선택에 따라 베이스 광학계 결정 방식이 결정된다.

사용자가 사전 결정 방식을 선택한 경우, 우선 그립 위치 검출부(312)에서 그립 위치를 검출하고(S704), 사전 결정부(322)에서 복수의 광학계들 중, 그립 위치와 가장 가까운 광학계를 베이스 광학계로 결정한다(S706). 베이스 광학계가 결정되면(S706), 촬영 제어부(330)에서 복수의 광학계들의 촬영 설정값을 결정하고 제어하여 촬영한다(S708).

사용자가 사후 결정 방식을 선택한 경우, 복수의 광학계들을 통한 촬영이 수행된 후(S710), PSF 산출부(314)에서 복수의 광학계들을 통해 촬영된 촬영 영상들로부터 각각 PSF를 산출한다(S712). PSF가 산출되면, 사후 결정부(324)에서 PSF에 기초하여, 복수의 광학계들 중, 흔들림이 적은 광학계를 베이스 광학계로 결정한다(S714).

베이스 광학계가 결정되면, 촬영 영상들을 이용하여 영상 처리가 수행된다(S716).

사전 결정 방식은, 촬영 전에 베이스 광학계가 결정되기 때문에, 촬영 이후에 빠른 연산이 가능하지만, 촬영 순간에 대응 시간이 다소 길어질 수 있다. 사후 결정 방식은, 촬영 순간에 대응이 빠르지만, 촬영 이후에 추가 연산량이 증가될 수 있다. 본 발명의 또 다른 실시예에 따르면, 사용자가 촬영 상황에 따라 또는 원하는 영상 처리 종류에 따라 베이스 광학계 결정 방식을 선택하기 때문에, 보다 능동적으로 각각의 상황에 대처할 수 있는 효과가 있다.

또한, 촬영 이후에 수행될 영상 처리의 종류에 따라, 사전 결정 방식 또는 사후 결정 방식을 자동으로 취하는 실시예도 가능하다.

도 8은 손떨림의 영향을 받는 디지털 촬영 장치에서, 촬영 영상에 대해 손떨림 보정을 수행하는 경우, 본 발명의 일 실시예에 따라, 촬영 영상들과 결과 영상을 나타낸 도면이다.

손떨림의 영향을 받는 콤팩트 카메라(compact camera)와 같은 디지털 촬영 장치(100)에서 복수의 광학계들을 이용하여 단노출 영상 및 장노출 영상을 촬영하고, 단노출 영상과 장노출 영상을 이용하여 촬영 영상의 손떨림을 보정하는 경우, 흔들림이 없는 단노출 영상을 얻어야, 적절한 경계 정보를 얻을 수 있다. 따라서 손떨림의 영향을 받는 디지털 촬영 장치(100)에서, 촬영 제어부(330)는 베이스 광학계에서 단노출 영상을 촬영하고, 참조 영상 광학계에서 장노출 영상을 촬영하도록 복수의 광학계들을 제어한다. 이러한 경우, 도 8과 같이 흔들림이 보정된 결과 영상을 얻을 수 있다.

도 9는 손떨림의 영향을 받지 않는 디지털 촬영 장치에서, 촬영 영상에 대해 손떨림 보정을 수행하는 경우, 본 발명의 일 실시예에 따라, 촬영 영상들과 결과 영상을 나타낸 도면이다.

손떨림의 영향을 받지 않는 또는 손떨림의 영향을 적게 받는 DSLR 카메라와 같은 고 사향의 디지털 촬영 장치(100)에서 복수의 광학계들을 이용하여 단노출 영상 및 장노출 영상을 촬영하고, 단노출 영상과 장노출 영상을 이용하여 촬영 영상의 손떨림을 보정하는 경우에는, 입력 데이터 량이 많은 장노출 영상에서 흔들림이 없는 영상을 얻어야, 보다 좋은 화질의 흔들림 보정 결과 영상을 얻을 수 있다. 따라서 손떨림의 영향을 받지 않는 또는 손떨림의 영향을 적게 받는 디지털 촬영 장치(100)에서, 촬영 제어부(330)는 베이스 광학계에서 장노출 영상을 촬영하고, 참조 영상 광학계에서 단노출 영상을 촬영하도록 복수의 광학계들을 제어한다. 이러한 경우, 도 9와 같이 흔들림이 보정된 결과 영상을 얻을 수 있다.

손떨림 보정을 위한 영상 처리는 다양한 알고리즘들을 이용하여 수행될 수 있으며, 예를 들면, 한국 특허출원 제2009-115192호 및 한국 특허출원 제2009-131802호에 기재된 방법이 이용될 수 있다. 한국 특허출원 제2009-115192호 및 한국 특허출원 제2009-131802호는 본 출원에 참조로서 편입된다.

도 10은 본 발명의 일 실시예에 따라, 복수의 광학계들을 통해 촬영된 복수의 영상들을 이용하여 역광 보정을 수행하는 경우, 촬영 영상들과 역광 보정된 결과 영상을 나타낸 도면이다.

본 발명의 일 실시예에 따라, 복수의 광학계들을 통해 촬영된 복수의 영상들을 이용하여 역광 보정을 수행하는 경우, 베이스 광학계에서 노출 값을 크게 설정하고, 참조 영상 광학계에서 노출 값를 작게 설정하여, 역광을 보정할 수 있다. 이때 입력 데이터 량이 많은 노출 값이 큰 촬영 영상을 베이스 광학계를 통해 촬영하여, 보다 좋은 화질의 결과 영상을 얻을 수 있다.

본 발명의 일 실시예에 따르면, 복수의 광학계들을 이용하여 광각 영상과 망원 영상을 동시에 촬영하는 경우, 베이스 광학계에서 망원 영상을 촬영하고, 참조 영상 광학계에서 광각 영상을 촬영할 수 있다. 복수의 광학계들 중, 어느 하나에서 광각 영상을 촬영하고, 다른 하나에서 망원 영상을 촬영하는 경우, 양쪽 광학계의 줌 단(zooming step)이 다르게 설정된다. 그런데 촬영된 영상은 줌 인 될 수록 손떨림에 취약하다. 베이스 광학계에서 광각 영상을 촬영하고, 참조 영상 광학계에서 망원 영상을 촬영하는 경우, 손떨림에 취약한 망원 영상을, 흔들림 정도가 심한 참조 영상 광학계에서 촬영하여, 손떨림에 의해 화질이 저하된 망원 영상을 얻게 된다. 그러나 본 실시예와 같이, 베이스 광학계에서 망원 영상을 촬영하고, 참조 영상 광학계에서 광각 영상을 촬영하는 경우, 적절한 화질의 광각 영상과 망원 영상을 동시에 촬영할 수 있다.

만약 복수의 광학계들에서 동일한 화각의 영상을 촬영하고, 촬영 이후에 촬영된 영상으로부터 소정의 알고리즘을 이용하여 망원 영상을 추출하는 경우, 본 발명의 일 실시예에 따르면, 베이스 광학계에서 촬영된 영상으로부터 망원 영상을 추출하도록 할 수 있다.

본 발명의 일 실시예에 따르면, 복수의 광학계들을 통해 촬영된 촬영 영상들을 이용하여 3차원 영상을 합성할 수 있다. 이때, 3차원 영상을 얻기 위한 깊이 맵(depth map)을 얻기 위해, 적외선 필터 미적용 영상과 적외선 필터 적용 영상을 촬영하는 경우, 일례로서 촬영 제어부(330)는 정보량이 많은 영상을 베이스 광학계에서 촬영하기 위하여, 적외선 필터 미적용 영상을 베이스 광학계에서 촬영하고 적외선 필터 적용 영상을 참조 영상 광학계에서 촬영할 수 있다. 다른 예로서, 촬영 제어부(330)는 수광량이 적은 촬영 영상을 베이스 광학계에서 촬영하기 위하여, 적외선 필터 적용 영상을 베이스 광학계에서 촬영하고 적외선 필터 미적용 영상을 참조 영상 광학계에서 촬영할 수 있다.

또한, 촬영 제어부(330)는 복수의 광학계들을 통해 촬영된 영상들을 이용하여 3차원 영상을 얻는 경우, 노출 시간이 짧은 영상을 베이스 광학계에서 촬영하고, 노출 시간이 긴 영상을 참조 영상 광학계에서 촬영하도록 제어할 수 있다.

만약 복수의 광학계에서 촬영된 촬영 영상들 중 어느 하나를 결과 영상으로 선택하는 경우, 본 발명의 일 실시예에 따르면, 베이스 광학계에서 촬영된 영상을 결과 영상으로 선택할 수 있다. 이러한 경우, CPU/DSP(170)는 베이스 광학계에서 촬영된 영상을 결과 영상으로 선택하는 결과 영상 획득부(미도시)를 더 포함할 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.