디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법{Apparatus and method for removing hot pixel in digital camera}

도 1은 종래 기술에 따른 고정 패턴 노이즈 제거 방법의 동작을 보이는 흐름도 이다.

도 2는 디지털 카메라의 앞쪽 외형을 보여주는 사시도 이다.

도 3은 도 2에 도시된 디지털 카메라의 뒤쪽 외형을 보여주는 배면도 이다.

도 4는 도 2 및 도 3에 도시된 디지털 카메라의 전체적 구성을 보이는 블록도 이다.

도 5는 본 발명에 따른 디지털 카메라에서 고정 패턴 노이즈 제거 장치의 구성을 보이는 블록도 이다.

도 6은 도 5에서 CCD를 물리적으로 이동시켜 촬영한 프레임을 보이는 도면이다.

도 7은 프레임의 미디언 합성을 설명하기 위한 도면이다.

도 8은 도 6에서 촬영된 프레임의 미디언 합성을 설명하기 위한 도면이다.

도 9는 종래의 총 촬영 시간과 본 발명의 총 촬영 시간을 비교한 도면이다..

도 10은 본 발명에 따른 디지털 카메라에서 고정 패턴 노이즈 제거 방법의 동작을 보이는 흐름도 이다.

본 발명은 디지털 카메라 동작 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 촬영 시에 다크 프레임 촬영 과정을 생략하고, 촬상소자를 물리적으로 이동시켜 촬영한 각각의 프레임들을 미디언 합성(Median combine)하여 고정 패턴 노이즈를 제거함으로써 총 촬영 시간을 감소시키면서 고정 패턴 노이즈를 효율적으로 제거하는 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법에 관한 것이다.

필름 대신에 등장한 디지털 카메라의 CCD(Charge coupled device)는 광을 전기 신호로 바꾸어 주는 광전변환 소자이다. CCD는 아주 작은 포토 다이오드를 실리콘 칩위에 평면으로 배치한 일종의 센서이다. CCD에는 많은 셀(수광소자, 픽셀)들이 칩 위에 바둑판처럼 가지런히 배열되어 있다.

이러한 CCD는 열에 약하기 때문에, 열을 받게 되면 임의의 셀에서 본래의 색을 재생하지 못하는 열 노이즈가 발생하게 되는데, 이 열 노이즈를 핫 픽셀(Hot pixel)이라 일컫는다. 이 핫 픽셀은 단기적으로 고정된 위치에서 발생할 확률이 높기 때문에 고정 패턴 노이즈라고 불리운다. 이러한 고정 패턴 노이즈는 보통 셔터를 오래 개방했을 경우 많이 나타나며, 원할한 화질 재생에 영향을 미치게 된다.

도 1은 종래 기술에 따른 고정 패턴 노이즈 제거 방법의 동작을 보이는 흐름도 이다.

먼저 설정된 감도(ISO:Internation standards organization) 및 노출시간으 로 이미지 프레임을 촬영(Frame1)한다(100단계).

고정 패턴 노이즈가 포함된 이미지 프레임(Frame1)을 메모리(미도시)에 저장한다(102단계).

이후, 촬영된 이미지 프레임(Frame1)과 동일한 감도 및 노출시간을 적용하여 다크(Dark) 프레임을 촬영(Frame2)한다(104단계).

다크 프레임(Frame2)은 셔터를 수동으로 조작하여, CCD로 입력되는 빛을 물리적으로 완전히 차단하여 촬영한 영상을 의미한다. 다크 프레임은 빛에 의한 영향은 없지만, 기본적으로 발생하는 전기 노이즈를 포함하고 있으며, 이때 고정 패턴 노이즈는 차광 여부와 관계없이 발생한다.

다크 프레임(Frame2) 촬영 시에 이미지 프레임(Frame1)과 동일한 노출시간을 적용하는 이유는 이미지 프레임(Frame1)에 나타나는 고정 패턴 노이즈를 다크 프레임(Frame2)에서 그대로 재현해 내기 위함이다. 따라서, 가장 이상적인 경우는 이미지 프레임(Frame1)에서 나타난 n개의 고정 패턴 노이즈가 다크 프레임(Frame2)에서도 n개로 같은 위치에 발생하는 것이다.

촬영된 다크 프레임(Frame2)을 메모리에 저장한다(106단계).

고정 패턴 노이즈 제거를 위해 프레임 감산을 실시 즉, 촬영된 이미지 프레임(Frame1)에서 다크 프레임(Frame2)을 감산한다(108단계). 이러한 프레임 감산으로, 고정 패턴 노이즈가 제거된 새로운 프레임(Frame3)이 생성된다.

생성된 새로운 프레임(Frame3)에 대하여 이미지 프로세싱을 수행하여 이미지를 보정한 후 디스플레이를 위한 이미지(예를 들어, JPEG)를 생성한다(110단계).

도 1에 도시된 프레임 감산을 이용한 고정 패턴 노이즈 제거 방법은 총 촬영 시간이 디지털 카메라에 설정된 노출 시간의 2배 이상이되므로, 촬영 시간이 길어지는 문제점이 있다.

예를 들어, 노출시간 10초를, 총 촬영 시간을 도시한 도 9a에 적용하면, ① 이미지 프레임(Frame1) 10초 촬영, ② 다크 프레임(Frame2) 10초 촬영, ③ 프레임 감산 후 노이즈 제거 시간 s1초, ④ 감산된 프레임의 후 처리 시간 s2초의 시간이 소요된다. 결과적으로, 총 촬영시간(①+②+③+④)은 노출시간의 2배 이상 즉, 20초 이상의 시간이 소요된다.

따라서, 노출 시간이 길어 질수록 총 촬영 시간이 노출 시간의 2배 이상 소요되므로 영상촬영 시간이 길어지는 문제점이 발생한다.

본 발명이 이루고자 하는 기술적인 과제는 영상 촬영 시에 다크 프레임 촬영 과정을 생략하고, 촬상소자를 물리적으로 이동시켜 촬영한 각각의 프레임들을 미디언 합성하여 고정 패턴 노이즈를 제거함으로써 총 촬영 시간을 감소시키면서 고정 패턴 노이즈를 효율적으로 제거하는 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 디지털 카메라에서 고정 패턴 노이즈 제거 장치는 이미지 분할 촬영 횟수, 셔터의 노출시간 조정 및 상기 이미지를 촬영하는 촬상소자의 이동방향을 물리적으로 제어하는 제어수 단; 및 상기 분할 촬영 횟수, 조정된 노출시간 및 상기 촬상소자의 이동으로 촬영된 프레임들을 미디언 합성(Median combine)하는 신호처리수단을 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 제어수단은 상기 이미지 분할 촬영 횟수를 소정의 N회(N은 1을 제외한 홀수)로 조정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어수단은 상기 노출시간을 기 설정된 노출시간의 {1/(상기 분할 촬영 횟수 N)}로 조정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제어수단은 상기 촬상소자의 이동을 {(상기 분할 촬영 횟수 N)-1}회 조정하며, 상기 이동방향 매 회 조정 시마다 촬영된 이전 프레임의 전체 픽셀 대비 한 픽셀 크기의 짝수배 만큼 이동시키는 것을 특징으로 한다.

본 발명에 있어서, 상기 신호처리수단은 상기 촬영된 각 프레임 별로 동일한 위치의 픽셀값들로부터 미디언 값을 산출하고, 산출된 미디언 값을 상기 동일한 위치의 픽셀값으로 대체한 프레임을 생성하는 노이즈 제거부; 상기 프레임의 픽셀값들을 (상기 분할 촬영 횟수 N)배 만큼 증폭시키는 증폭부; 및 상기 픽셀값들이 증폭된 프레임을 디스플레이 가능한 프레임으로 처리하는 신호처리부를 포함하는 것을 특징으로 한다.

본 발명이 이루고자 하는 상기 기술적인 과제를 해결하기 위한 디지털 카메라에서 고정 패턴 노이즈 제거 방법은 (a) 조정된 셔터의 노출시간 동안, 물리적으로 이동된 촬상소자의 이동방향에 따라, 설정된 분할 촬영 횟수만큼, 동일한 영상을 촬영하는 단계; 및 (b) 상기 촬영된 영상 프레임들을 미디언 합성(Median combine)하는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 이미지 분할 촬영 횟수는 소정의 N회(N은 1을 제외한 홀수)로 설정되는 것을 특징으로 한다.

본 발명에 있어서, 상기 노출시간은 기 설정된 노출시간의 {1/(상기 분할 촬영 횟수 N)}로 조정되는 것을 특징으로 한다.

본 발명에 있어서, 상기 촬상소자의 이동 횟수는 {(상기 분할 촬영 횟수 N)-1}회 이동되며, 상기 촬상소자의 매 회 이동 시마다 촬영된 이전 프레임의 전체 픽셀 대비 한 픽셀 크기의 짝수배 만큼 이동시키는 것을 특징으로 한다.

본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 촬영된 각 프레임 별로 동일한 위치의 픽셀값들로부터 미디언 값을 산출하는 단계; 및 (b-2) 산출된 미디언 값을 상기 동일한 위치의 픽셀값으로 대체한 프레임을 생성하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 (b)단계 이후에, 상기 생성된 프레임의 픽셀값들을 (상기 분할 촬영 횟수 N)배 만큼 증폭시키는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 2는 디지털 카메라의 앞쪽 외형을 보여주는 사시도 이다.

도 2를 참조하면, 일반적인 디지털 카메라의 앞쪽에는, 마이크로폰(MIC), 셀프-타이머 램프(11), 플래시(12), 셔터(13), 모드 다이얼(14), 기능-선택 키(15), 촬영-정보 표시부(16), 뷰파인더(17a), 기능-블록 키(18), 플래시-광량 센서(19), 렌즈부(20), 및 외부 인터페이스부(21)가 있다.

셀프-타이머 램프(11)는 셀프-타이머 모드인 경우에 셔터(13)가 눌려진 시점으로부터 셔터(13)가 동작하는 시점까지의 설정 시간 동안 동작한다.

모드 다이얼(14)은, 각종 모드들 예를 들어, 정지영상 촬영 모드, 야경 촬영 모드, 동영상 촬영 모드, 재생 모드, 컴퓨터 연결 모드 및 시스템 설정 모드를 사용자가 선택하여 설정하는 데에 사용된다.

기능-선택키(15)는 사용자가 디지털 카메라의 동작 모드들 예를 들어, 정지영상 촬영 모드, 야경 촬영 모드, 동영상 촬영 모드 및 재생 모드 중의 어느 하나를 선택하는 데에 사용된다.

촬영-정보 표시부(16)는 촬영과 관련된 각 기능의 정보가 표시된다. 기능-블록 키(18)는 촬영-정보 표시부(16)에 디스플레이된 각 기능을 사용자가 선택하는 데에 사용된다.

도 3은 도 2에 도시된 디지털 카메라의 뒤쪽 외형을 보여주는 배면도 이다.

도 3을 참조하면, 통상적인 디지털 카메라의 뒤쪽에는, 스피커(SP), 전원키(31), 모니터키(32), 자동-초점 램프(33), 뷰파인더(17b), 플래시 대기 램프(34), 디스플레이 패널(LCD)(35), 노출보정/삭제키(36), 엔터/재생키(37), 메뉴/OK키(38), 광각(wide angle)-줌(zoom)키(39w), 망원(telephoto)-줌키(39t), 상향-이동키(40up), 우향-이동키(40ri), 하향-이동키(40lo), 및 좌향-이동키(40le), 재생모드(Playback)키(42)이 있다.

모니터키(32)는 사용자가 디스플레이 패널(LCD)(35)의 동작을 제어하는 데에 사용된다. 예를 들어, 사용자가 모니터키(32)를 첫 번째로 누르면 디스플레이 패널 (35)에 피사체의 영상 및 그 촬영 정보가 디스플레이 되고, 두 번째로 누르면 디스플레이 패널(35)에 피사체의 영상만이 디스플레이 되며, 세 번째로 누르면 디스플레이 패널(35)에 인가되는 전원이 차단된다.

자동-초점 램프(33)는 자동 포커싱 동작이 완료된 때에 동작한다.

플래시 대기 램프(34)는 플래시(도 2의 12)가 동작 대기 상태인 경우에 동작한다.

노출보정/삭제키(36)는 디지털 카메라를 수동으로 조작하는 경우 빛의 양을 조절하거나 사용자가 각 모드를 설정하는 과정에서 삭제키로 사용된다.

엔터/재생키(37)는 사용자로부터의 데이터를 입력하거나, 재생 모드에서의 정지 또는 재생 등의 기능을 위하여 사용된다.

메뉴/OK키(38)는 모드 다이얼(14)에서 선택된 모드의 메뉴를 디스플레이하고 선택하는데 사용된다.

상향-이동키(40up), 우향-이동키(40ri), 하향-이동키(40lo), 및 좌향-이동키(40le)는 사용자가 각 모드를 설정하는 과정에서 사용되며, 디스플레이 패널(35)에 표시된 영상 내에서 위치변경을 수행할 때 사용된다.

재생모드키(42)는 마지막 촬영된 이미지, 동영상 또는 음성 정보를 확인하고 조작하기 위해 사용된다.

도 4는 도 2 및 도 3에 도시된 디지털 카메라의 전체적 구성을 보이는 블록도 이다.

렌즈부(20)를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한 다. 광학계(OPS)의 렌즈부(20)는 줌 렌즈(ZL), 포커스 렌즈(FL), 및 보상 렌즈(CL)를 포함한다.

사용자가 사용자 입력부(INP)에 포함된 광각(wide angle)-줌키(도 3의 39w) 또는 망원(telephoto)-줌키(도 3의 39t)를 누르면, 이에 상응하는 신호가 마이크로제어기(512)에 입력된다. 이에 따라, 마이크로제어기(512)가 렌즈 구동부(510)를 제어함에 따라, 줌 모터(MZ)가 구동되어 줌 렌즈(ZL)가 이동된다. 즉, 광각(wide angle)-줌키(도 3의 39w)가 눌려지면 줌 렌즈(ZL)의 초점 길이(focal length)가 짧아져서 화각이 넓어지고, 망원(telephoto)-줌키(39t)가 눌려지면 줌 렌즈(ZL)의 초점 길이(focal length)가 길어져서 화각이 좁아진다.

참조 부호 MA는 조리개(aperture, 도시되지 않음)를 구동하기 위한 모터를 가리킨다. 여기서, 지정 노출 모드인 경우와 그렇지 않은 경우에 따라 조리개 구동 모터(MA)의 회전각이 달라진다. 지정 노출 모드란, 피사 영역에서 사용자가 원하는 일부 영역이 디지털 카메라의 디스플레이 패널(35)에 표시된 지정 검출 영역에 일치되면, 이 지정 검출 영역의 평균 휘도에 대한 상기 디지털 카메라의 노광량을 설정하는 모드를 말한다.

CCD(Charge Coupled Device) 또는 CMOS (Complementary Metal-Oxide-Semiconductor)의 광전 변환부(OEC)(500)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 본 발명에서는 CCD를 일 예로 광전 변환부(500)라 설명하도록 한다. 디지털 신호 처리기(507)는 타이밍 회로(502)를 제어하여 광전 변환부(OEC)(500)와 아날로그-디지털 변환부(501)의 동작을 제어한다. 타이밍 회로 (502)는 마이크로 제어기(512)의 제어를 받는다. 아날로그-디지털 변환부(Analog-to-Digital Converter)(501)는, 광전 변환부(OEC)(500)로부터의 아날로그 신호를 디지털 신호로 변환시킨다.

디지털 신호 처리기(507)는 아날로그-디지털 변환부(501)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 신호를 발생시킨다.

마이크로제어기(512)에 의하여 구동되는 발광부(LAMP)에는, 셀프-타이머 램프(11), 자동-초점 램프(도 3의 33) 및 플래시 대기 램프(도 3의 34)가 포함된다.

사용자 입력부(INP)에는, 셔터(도 2의 13), 모드 다이얼(도 2의 14), 기능-선택키(도 2의 15), 기능-블록키(도 2의 18), 모니터키(도 3의 32), 확인/삭제키(도 3의 36), 엔터/재생키(도 3의 37), 메뉴/OK키(도 3의 38), 광각-줌키(도 3의 39w), 망원-줌키(도 3의 39t), 상향-이동키(도 3의 40up), 우향-이동키(도 3의 40ri), 하향-이동키(도 3의 40lo) 및 좌향-이동키(도 3의 40le)를 포함한다.

DRAM(Dynamic Random Access Memory, 504)에는 디지털 신호 처리기(507)로부터의 디지털 영상 신호가 일시 저장된다. 본 발명에서 DRAM(504)에는 분할 촬영 횟수에 따라 촬영된 영상 프레임이 각각 저장된다.

EEPROM(Electrically Erasable Programmable Read Only Memory, 505)에는 디지털 신호 처리기(507)의 동작에 필요한 알고리즘 및 설정 데이터가 저장된다.

메모리 카드 인터페이스(506)에는 사용자의 메모리 카드가 착탈된다.

디지털 신호 처리기(507)로부터의 디지털 영상 신호는 LCD 구동부(514)에 입력되고, 이로 인하여 칼라 LCD 패널(35) 즉 표시부에 영상이 디스플레이 된다.

한편, 디지털 신호 처리기(507)로부터의 디지털 영상 신호는, USB(Universal Serial Bus) 접속부(21a) 또는 RS232C 인터페이스(508)와 그 접속부(21b)를 통하여 직렬 통신으로써 전송될 수 있고, 비디오 필터(509) 및 비디오 출력부(21c)를 통하여 비디오 신호로서 전송될 수 있다.

오디오 처리기(513)는, 마이크로폰(MIC)으로부터의 음성 신호를 디지털 신호 처리기(507) 또는 스피커(SP)로 출력하고, 디지털 신호 처리기(507)로부터의 오디오 신호를 스피커(SP)로 출력한다.

한편, 플래시(12)는 플래시-광량 센서(19)로부터의 신호에 따라 마이크로제어기(512)와 플래시 제어기(511)를 통하여 구동된다.

디지털 카메라의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD(500)에 의해 이루어진다. CCD(500)를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터(미도시)를 필요로 하며, 대부분 CFA(Color filter array)라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있으나, 가장 널리 사용되는 패턴이 도 6에 도시된 베이어(Bayer) 패턴이다. 베이어 패턴은 제1 라인이 RGRG 필터 및 제2 라인이 GBGB 필터의 반복으로 구현된다.

촬상소자로써의 CCD(500)는 수만에서 수백만 개의 픽셀로 구성된 픽셀 어레이로 구성되어 있으며, 각 픽셀은 빛을 감지하는 소자를 구비하여 포톤(Photon)을 전자-홀(Electric-hole) 쌍으로 바꿔 전하를 축적하게 되는데, 이때 빛의 세기 및 빛을 비추는 시간에 따라 축적되는 전하량이 달라지게 되며, 이 전하량을 측정하면 빛의 화상 데이터를 전기적인 양을 바꿀 수 있게 된다.

이때 전하량이 임계값을 넘는 픽셀을 고정 패턴 노이즈 즉, 핫 픽셀(도 7에서 흰색부분)이라 하고, 전하량이 제로(0)인 픽셀을 불량(Dead) 픽셀(도 7b에서 검은색 부분)이라 한다.

도 5는 본 발명에 따른 디지털 카메라에서 고정 패턴 노이즈 제거 장치의 구성을 보이는 블록도로써, 도 5는 촬상소자인 CCD(500), 아날로그-디지털 변환부(501), DRAM(504), 디지털 신호 처리기(507), 마이크로 제어기(512), 사용자 입력부(INP) 및 디스플레이 패널(35)을 포함한다. 본 발명에서 디지털 신호 처리기(507)는 노이즈 제거부(507-1), 증폭부(507-2) 및 신호처리부(507-3)를 포함한다.

마이크로 제어기(512)는 이미지 촬영을 위해 카메라의 감도(ISO) 및 노출시간(t)을 설정메뉴를 제공하며, 사용자는 사용자 입력부(INP)를 이용하여 제공된 메뉴로부터 카메라의 감도 및 노출시간을 설정하여 프레임 촬영을 시작한다.

프레임 촬영이 시작되면, 마이크로 제어기(512)는 다크 프레임 촬영 과정을 생략하기 위해, 이미지 분할 촬영 횟수를 설정하고, 설정된 분할 촬영 횟수에 따라 노출 시간을 조정하며, 고정 패턴 노이즈 제거를 위한 미디언 합성을 위해, 분할 촬영 시마다 물리적으로 변경될 CCD(500) 이동방향을 설정하게 된다.

마이크로 제어기(512)는 분할 촬영 횟수 N회를 임의로 설정한다. 여기서, N은 1을 제외한 홀수로서, 본발명에서는 일 실시 예로 분할 촬영 횟수를 3회로 설정하고, 제1, 제2 및 제3 이미지 프레임을 분할 촬영한다고 가정한다.

마이크로 제어기(517)는 설정한 분할 촬영 횟수로 각 이미지 프레임 촬영 시의 노출시간(t)을 다시 조정하는데, 각 이미지 프레임 촬영을 위한 노출시간을 원래 설정되어 있는 노출시간의 {1/(분할촬영 횟수 N)}배 한 시간 즉, t/3 시간으로 조정한다.

고정 패턴 노이즈는 고정된 위치에 나타나기 때문에, 동일한 피사체를 여러 번 나누어 촬영(분할촬영)할 경우, 미디언 합성을 하여도 고정 패턴 노이즈를 제거하는 것이 불가능하다. 따라서, 마이크로 제어기(517)는 CCD(500)를 물리적으로 이동시키는 제어신호를 출력하여, CCD(500)가 분할 촬영 시마다 다른 프레임이 촬영되도록 제어한다. 카메라 본체 즉, 광학계(OPS)가 고정된 상태에서 CCD(500)만을 이동시켜 촬영하면, 동일한 화각의 영상이 CCD(500)의 다른 영역에 촬상되므로, 동일한 영상을 여러 번 나누어 촬영하면서 고정 패턴 노이즈의 위치가 상대적으로 바뀌게 되는 효과를 얻을 수 있게 된다.

마이크로 제어기(517)가 이동시키는 CCD(500)의 이동 횟수는 상기 촬상소자의 이동방향을 {(상기 분할 촬영 횟수 N)-1}회 즉, 2회 조정한다. 또한 마이크로 제어기(517)가 이동시키는 CCD(500)의 이동량은, 입력 영상의 베이어 패턴을 그대로 유지시키기 위해, 제1 프레임 촬영을 제외한 제2 및 제3 프레임 촬영 시마다 x, y 각 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼 이동시킨다.

도 6에는 CCD(500)를 물리적으로 이동시켜 촬영한 프레임을 보이는 도면으로, 입력 영상의 베이어 패턴을 그대로 유지시키기 위해, 제1 프레임(Frame1) 촬영 을 제외한 제2 프레임(Frame2) 및 제3 프레임(Frame3) 촬영 시마다 x, y 각 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼 이동시킨 것을 보여준다.

CCD(500)에 촬영되어 아날로그-디지털 변환부(501)에서 디지털 신호로 변환된 제1∼제3 프레임(Frame1∼Frame3)은 DRAM(504)에 저장된다. 첫 번째 분할 촬영된 제1 프레임(Frame1)은 조정된 노출시간(t/3 초) 동안 촬영되어 DRAM(504)에 저장된다. 두 번째 분할된 제2 프레임(Frame2)은 CCD(500)를 제1 프레임(Frame1) 촬영 시보다 x, y 각 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼 이동시킨 후, 조정된 노출시간(t/3초) 동안 촬영되어 DRAM(504)에 저장된다. 세 번째 분할된 제3 프레임(Frame3)은 CCD(500)를 제2 프레임(Frame2) 촬영 시보다 x, y 각 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼 이동시킨 후, 조정된 노출시간(t/3초) 동안 촬영되어 DRAM(504)에 저장된다.

디지털 신호 처리기(507)는 DRAM(504)에 저장된 제1∼제3 프레임(Frame1∼Frame3)에 대해 미디언 합성하여 고정 패턴 노이즈를 제거하고 신호 처리한다. 본 발명에서 디지털 신호 처리기(507)는 노이즈 제거부(507-1), 증폭부(507-2) 및 신호처리부(507-3)를 포함한다.

노이즈 제거부(507-1)는 각각의 제1∼제3 프레임(Frame1∼Frame3) 별로 동일한 위치의 픽셀값들로부터 미디언 값을 산출하고, 산출된 미디언 값을 동일한 위치의 픽셀값으로 대체하여 고정 패턴 노이즈를 제거한다.

도 7은 프레임의 미디언 합성을 설명하기 위한 도면이다. 미디언 합성은 각 각 촬영된 프레임 별로 동일한 위치에서의 픽셀값을 각각 읽어 미디언 값을 산출하여 산출된 미디언 값을 동일한 위치의 픽셀값으로 대체하는 것이다. 일반 픽셀값을 가지는 도 7a의 a', 일반 픽셀값을 가지는 도 7b의 b', 고정 패턴 노이즈값을 가지는 도 7c의 c'를 평균 합성하게 되면 도 7e의 e'에 도시된 바와 같이 고정 패턴 노이즈가 제거되지 않는다. 같은 방법으로, 일반 픽셀값을 가지는 도 7a의 a'', 일반 픽셀값을 가지는 도 7b의 b'', 불량 픽셀값을 가지는 도 7c의 c''를 평균 합성하게 되면 도 7e의 e''에 도시된 바와 같이 불량 픽셀이 제거되지 않는다. 그러나, 미디언 합성을 적용하게 되면, 도 7f의 f' 및 f''처럼 고정 패턴 노이즈 및 불량 픽셀이 제거된다.

도 8은 도 6에서 촬영된 제1∼제3 프레임(Frame1∼Frame3)의 미디언 합성을 설명하기 위한 도면으로, 도 8의 a∼c인 제1∼제3 프레임(Frame1∼Frame3)에 도 7에서 설명된 미디언 합성기법을 적용하면, 도 8d와 같이 고정 패턴 노이즈가 제거된 새로운 제4 프레임(Median-combined frame)이 생성된다. 동일 영상에 해당하는 제1∼제3 프레임(Frame1∼Frame3)은 물리적으로 CCD(500)의 다른 영역에 상이 맺히게 되므로, 각 프레임 입장에서는 고정 패턴 노이즈의 위치가 상대적으로 다르게된다. 따라서, 제1∼제3 프레임(Frame1∼Frame3)에 미디언 합성을 적용하면, 고정 패턴 노이즈가 제거될 뿐만 아니라, 불량 픽셀과 같은 유동적인 노이즈까지 효과적으로 제거할 수 있게 된다.

증폭부(507-2)는 노이즈가 제거된 제4 프레임(Median-combined frame)의 픽셀값들을 분할 촬영 횟수 N배 즉, 3배만큼 증폭시킨다. 제4 프레임(Median- combined frame)은 조정된 노출시간(t/3) 동안 각각 촬영된 영상이기 때문에, 조정되기 전의 노출시간(t)에서 촬영된 프레임과 비교 시에 그 픽셀값이 1/3배 떨어지게 된다. 따라서, 일반 영상 촬영 시의 픽셀값과 동일하도록 제4 프레임(Median-combined frame)의 픽셀값들을 분할 촬영 횟수 N배 즉, 3배만큼 증폭시킨다.

신호처리부(507-3)는 증폭된 제4 프레임(Median-combined frame)에 대하여 이미지 프로세싱을 수행하여 DRAM(504)의 다른 영역에 저장하거나 디스플레이 패널(35)에 디스플레이 한다.

도 9는 종래의 총 촬영 시간과 본 발명의 총 촬영 시간을 비교한 도면이다.

종래의 프레임 감산을 이용한 고정 패턴 노이즈 제거 방법은 총 촬영 시간이 디지털 카메라에 설정된 노출 시간의 2배 이상이 되므로, 촬영 시간이 길어진다. 예를 들어, 노출시간 15초를 도 9a에 적용하면, ① 이미지 프레임(Frame1) 15초 촬영, ② 다크 프레임(Frame2) 15초 촬영, ③ 프레임 감산 후 노이즈 제거 시간 s1초, ④ 감산된 프레임의 후 처리 시간 s2초의 시간이 소요된다. 결과적으로, 총 촬영시간(①+②+③+④)은 노출시간의 2배 이상 즉, 30초 이상의 시간이 소요된다.

그러나, 본 발명에서는 다크 프레임 촬영 시간을 생략하고 이미지 프레임을 재조정된 노출시간(t/N)동안 N회 분할 촬영하여 총 촬영 시간이 짧아지게 된다. 예를 들어, 노출 시간 15초 및 분할촬영 횟수 3을 도 9b에 적용하면, ① 제1 프레임(Frame1) 5초(15/3 초) 촬영, ② CCD 이동(m1 sec), ③ 제2 프레임(Frame2) 5초(15/3 초) 촬영, ④ CCD 이동(m2 sec), ⑤ 제3 프레임(Frame3) 5초(15/3 초) 촬영, ⑥ 프레임간 미디언 합성시간 s'1초, ⑦ 미디언 합성된 후처리 시간 s'2초가 소요 된다. 결과적으로, 본원발명의 총 촬영시간(①+②+③+④+⑤+⑥+⑦)은 15초 이상 소요되어 종래의 총 촬영시간인 30초 이상보다 현저하게 감소됨을 알 수 있다.

도 10은 본 발명에 따른 디지털 카메라에서 고정 패턴 노이즈 제거 방법의 동작을 보이는 흐름도 이다.

사용자에 의해 카메라의 감도 및 노출시간이 설정되어 촬영모드가 시작되면, 마이크로 제어기(512)는 다크 프레임 촬영 과정을 생략하기 위해, 이미지 분할 촬영 횟수를 설정하고, 설정된 분할 촬영 횟수에 따라 노출 시간을 조정하며, 고정 패턴 노이즈 제거를 위한 미디언 합성을 위해, 분할 촬영 시마다 물리적으로 변경될 CCD(500) 이동방향을 설정하게 된다.

마이크로 제어기(512)는 분할 촬영 횟수 N회(N은 1을 제외한 홀수, 일 실시 예로 N=3)를 임의로 설정하고, 노출시간(t)을 원래 설정되어 있는 노출시간의 {1/(분할촬영 횟수 N)}배 한 시간 즉, t/3 시간으로 조정하고, CCD(500)의 이동방향을 x, y 각 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼 설정한다.

노출시간 t/3 동안 분할된 촬영 횟수 중 첫 번째 프레임(Frame1)을 촬영하여 DRAM(504)에 저장한다(1000단계).

첫 번째 프레임(Frame1)의 저장이 완료되면, 마이크로 제어기(512)는 CCD(500)로 방향이동 제어신호를 출력하여, CCD(500)를 이동시킨다(1002단계). 마이크로 제어기(512)는 첫 번째 프레임(Frame1)에서 x, y 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼, 예를 들어, (△x, △y)=(+2*픽셀크 기, -2*픽셀크기)만큼 CCD(500)를 이동시킨다. 이동 제어에 소요되는 시간은 수십∼수백ms 수준의 매우 짧은 시간이 소요된다.

CCD(500) 이동이 완료되면, 노출시간 t/3 동안 분할된 촬영 횟수 중 두 번째 프레임(Frame2)을 촬영하여 DRAM(504)에 저장한다(1004단계). 도 6에 도시된 바와 같이 첫 번째 프레임(Frame1)과 두 번째 프레임(Frame2) 비교 시에, CCD(500) 이동에 의해 두 번째 프레임(Frame2)에서 고정 패턴 노이즈의 위치가 바뀐 것을 알 수 있다.

두 번째 프레임(Frame2)의 저장이 완료되면, 마이크로 제어기(512)는 CCD(500)로 방향이동 제어신호를 출력하여, CCD(500)를 이동시킨다(1006단계). 마이크로 제어기(512)는 두 번째 프레임(Frame2)에서 x, y 방향으로 한 픽셀 크기(Pixel scale)의 짝수배 (±2n(픽셀크기))만큼, 예를 들어, (△x, △y)=(+2*픽셀크기, -2*픽셀크기)만큼 CCD(500)를 이동시킨다.

CCD(500) 이동이 완료되면, 노출시간 t/3 동안 분할된 촬영 횟수 중 세 번째 프레임(Frame3)을 촬영하여 DRAM(504)에 저장한다(1008단계). 도 6에 도시된 바와 같이 두 번째 프레임(Frame2)과 세 번째 프레임(Frame3) 비교 시에, CCD(500) 이동에 의해 세 번째 프레임(Frame3)에서 고정 패턴 노이즈의 위치가 바뀐 것을 알 수 있다.

디지털 신호처리기(507)는 첫 번째 내지 세 번째 프레임((Frame1∼Frame3)을 미디언 합성하여 고정 패턴 노이즈가 제거된 프레임(Median combined frame)을 생성한다(1010단계).

노이즈 제거부(507-1)는 첫 번째∼세 번째 프레임(Frame1∼Frame3) 별로 동일한 위치의 픽셀값들로부터 미디언 값을 산출하고, 산출된 미디언 값을 동일한 위치의 픽셀값으로 대체하여 고정 패턴 노이즈를 제거한다. 첫 번째∼세 번째 프레임(Frame1∼Frame3)은 물리적으로 CCD(500)의 다른 영역에 상이 맺히게 되므로, 각 프레임 입장에서는 고정 패턴 노이즈의 위치가 상대적으로 다르게된다. 따라서, 첫 번째∼세 번째 프레임(Frame1∼Frame3)에 미디언 합성을 적용하면, 고정 패턴 노이즈가 제거될 뿐만 아니라, 불량 픽셀과 같은 유동적인 노이즈까지 효과적으로 제거할 수 있게 된다.

노이즈가 제거된 프레임(Median-combined frame)은 조정된 노출시간(t/3) 동안 각각 촬영된 영상이기 때문에, 조정되기 전의 노출시간(t)에서 촬영된 프레임과 비교 시에 그 픽셀값이 1/3배 떨어지게 된다. 따라서, 증폭부(507-2)는 일반 영상 촬영 시의 픽셀값과 동일하도록 노이즈가 제거된 프레임(Median-combined frame)의 픽셀값들을 분할 촬영 횟수 N배 즉, 3배만큼 증폭시킨다.

이후 증폭된 프레임(Median combined frame)에 대하여 이미지 프로세싱을 수행하여 DRAM(504)의 다른 영역에 저장하거나 디스플레이 패널(35)에 디스플레이 한다(1012단계).

도 9에 도시된 바와 같이 본원발명에서는 다크 프레임 촬영시간이 생략되어 총 촬영 시간이 현저하게 줄어들게 된다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본 질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명에 따르면, 영상 촬영 시에 다크 프레임 촬영 과정을 생략하고, 촬상소자를 물리적으로 이동시켜 촬영한 각각의 프레임들을 미디언 합성하여 고정 패턴 노이즈를 제거함으로써 총 촬영 시간을 감소시키면서 고정 패턴 노이즈를 효율적으로 제거할 수 있는 효과를 창출한다.