| 权利要求 |
복수의 획득 이미지를 기초로 하는 개선 이미지(enhanced image)의 컴퓨터화된 생성 방법에 있어서, 상기 방법은
(a) 복수의 획득 이미지를 수신하는 단계로서, 상기 복수의 획득 이미지 각각은 공통의 관심 영역을 포함하는 단계,
(b) 처리 파라미터를 수신하는 단계,
(c) 상기 복수의 획득 이미지를 하나 이상의 그룹으로 그룹화하는 단계,
(d) 상기 하나 이상의 그룹 내 이미지를 처리하는 단계
를 포함하고, 상기 이미지를 처리하는 단계는,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지의 각각의 픽셀들 간 불일치 가능도(likelihood of discrepancy)를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계,
ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하는 단계,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 2개 이상의 개선 이미지가 생성되는 경우, 상기 방법은
(a) 상기 개선 이미지를 하나 이상의 그룹으로 그룹화하는 단계,
(b) 상기 하나 이상의 그룹 내 이미지를 처리하는 단계
를 더 포함하고, 상기 이미지를 처리하는 단계는,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계,
ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하는 단계,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하는 단계
를 포함하며, 상기 방법은
(c) 단일 개선 이미지가 생성될 때까지 단계(a) 및 (b)를 반복하는 단계
를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 그룹들 중 어느 그룹이라도 3개 이상의 이미지로 구성되는 경우, 그 그룹에 대해, "불일치 가능도 행렬"을 생성하는 단계는
(a) 그룹 내 적어도 하나의 가능한 쌍(couple)에 대해 불일치 가능도 행렬을 생성하는 단계,
(b) 그룹 내 상기 적어도 하나의 가능한 쌍에 대해 생성되는 모든 불일치 가능도 행렬에 대응하는 평균 불일치 가능도 행렬을 계산하는 단계
를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 상기 개선 이미지 내 각각의 픽셀은, 그룹 내 이미지들의 각각의 픽셀들 간 가중 조합(weighted combination)으로 계산되고, 각각의 픽셀들의 가중치는 불일치 가능도 행렬 내 각각의 값에 의해 정의되는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 4 항에 있어서,
개선될 이미지를 선택하는 단계
를 더 포함하며, 선택된 이미지에 대응하는 픽셀에 추가 가중치가 불일치 가능도 값에 비례하는 가중 조합으로 제공되는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 개선 이미지를 생성하는 단계는 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지의 콘트라스트를 개선하는 단계를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 개선 이미지를 생성하는 단계는 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지 내 노이즈를 감소시키는 단계를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 상기 처리 파라미터는,
(a) 개선되도록 선택된 이미지의 지시자(indication),
(b) 관심 객체의 크기를 나타내는 표적 크기 파라미터,
(c) 이미지 내 하나의 픽셀이 차지하는 영역의 크기를 나타내는 픽셀 크기 파라미터
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 불일치 가능도 행렬을 생성하는 단계는
(a) 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀에 대해 하나 이상의 특성을 계산하여, 계산된 특성을 도출하는 단계,
(b) 상기 계산된 특성을 처리하여, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀의 하나 이상의 특성에 대한 불일치 가능도 행렬이 되는, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀 간의 정규화된 차이 값을 얻는 단계
를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 9 항에 있어서, 특성은,
(a) 국부 타겟니스(local targetness) 계산값,
(b) 국부 질감(local texture) 계산값,
(c) 국부 엔트로피(local entropy) 계산값
중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터화된 생성 방법. 제 10 항에 있어서, 상기 국부 질감 계산값은,
에 따라 계산되며,
여기서,
및 는 각각의 이미지 내 픽셀에 적용되는 소벨 연산자(Sobel operator)의 출력이고,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀을 나타내며,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀 주변의 픽셀 변위를 식별하고,
는 국부 질감 슬라이딩 윈도의 폭과 높이인 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 11 항에 있어서, 정규화된 차이를 얻는 단계는,
에 의해 이뤄지며,
여기서,
은 각각의 그룹 간 이미지 a 에 대해 얻어진 국부 질감이고,
는 각각의 그룹 간 이미지 b 에 대해 얻어진 국부 질감이며,
는 ( ) 2 이고,
는 ( ) 2 인 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 10 항에 있어서, 상기 국부 타겟니스 계산값은,
에 따라 계산되고,
여기서,
은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이며,
는, 에 따라 픽셀 에 대해 계산된 값이고,
여기서,
는 하나의 픽셀의 반사율(reflection)을 나타내며,
이면서 상기 하나의 픽셀의 확장 이웃에 있는 픽셀들의 평균 반사율이고,
는 상수인 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 13 항에 있어서, 정규화된 차이를 얻는 단계는
에 따라 이뤄지며,
여기서,
및 은 각각 이미지 a 및 이미지 b 내의 대응하는 픽셀들의 타겟니스(T)를 나타내는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 상기 그룹은 2개의 이미지를 포함하는 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 상기 이미지는 SAR(Synthetic Aperture Radar) 이미지인 것을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 제 1 항에 있어서, 상기 복수의 획득 이미지는 2개 이상의 플랫폼으로부터 온 것임을 특징으로 하는 개선 이미지의 컴퓨터화된 생성 방법. 복수의 획득 이미지를 기초로 개선 이미지(enhanced image)를 생성할 수 있는 시스템에 있어서, 상기 시스템은 이미지 입력부 및 처리 파라미터 입력부로 작동가능하게 연결된 프로세서를 포함하고,
상기 이미지 입력부는 복수의 획득 이미지를 수신하도록 구성되고, 상기 복수의 획득 이미지 각각은 공통의 관심 영역을 포함하고,
상기 처리 파라미터 입력부는 처리 파라미터를 수신하도록 구성되며,
상기 프로세서는 상기 복수의 획득 이미지를 하나 이상의 그룹으로 그룹화하고, 상기 하나 이상의 그룹 내 이미지들을 처리하도록 구성되며, 이미지들을 처리함에 있어서, 적어도,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지의 각각의 픽셀들 간 불일치 가능도(likelihood of discrepancy)를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고,
ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하며,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 2개 이상의 개선 이미지가 생성되는 경우, 프로세서는 적어도,
(a) 상기 개선 이미지를 하나 이상의 그룹으로 그룹화하고,
(b) 상기 하나 이상의 그룹 내 이미지를 처리하는 것
을 수행하도록 더 구성되며, 상기 이미지를 처리함에 있어서, 적어도,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고,
ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하며,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하고,
상기 프로세서는
(c) 단일 개선 이미지가 생성될 때까지 단계 (a) 및 (b)를 반복하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 시스템은 디스플레이를 더 포함하며, 상기 프로세서는 상기 디스플레이상에 상기 개선 이미지를 디스플레이하도록 더 구성되는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 그룹들 중 어느 그룹이라도 3개 이상의 이미지로 구성되는 경우, 그 그룹에 대해 "불일치 가능도 행렬"을 생성함에 있어서,
(a) 그룹 내 적어도 하나의 가능한 쌍(couple)에 대해 불일치 가능도 행렬을 생성하고,
(b) 그룹 내 상기 적어도 하나의 가능한 쌍에 대해 생성되는 모든 불일치 가능도 행렬에 대응하는 평균 불일치 가능도 행렬을 계산하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 개선 이미지 내 각각의 픽셀은, 그룹 내 이미지들의 각각의 픽셀들 간 가중 조합(weighted combination)으로 계산되고, 각각의 픽셀들의 가중치는 불일치 가능도 행렬 내 각각의 값에 의해 정의되는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 22 항에 있어서, 상기 프로세서는 개선될 이미지의 선택을 수신하도록 더 구성되고, 선택된 이미지에 대응하는 픽셀에 추가 가중치가 불일치 가능도 값에 비례하는 가중 조합(weighted combination)으로 제공되는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 프로세서는, 개선 이미지를 생성하는 동안, 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지의 콘트라스트를 개선하는 것을 수행하도록 구성됨을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 프로세서는, 개선 이미지를 생성하는 동안, 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지 내 노이즈를 감소시키는 것을 수행하도록 구성됨을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 처리 파라미터는,
(a) 개선되도록 선택된 이미지의 지시자(indication),
(b) 관심 객체의 크기를 나타내는 표적 크기 파라미터,
(c) 이미지 내 하나의 픽셀이 차지하는 영역의 크기를 나타내는 픽셀 크기 파라미터
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 프로세서는 불일치 가능도 행렬의 생성 동안 적어도,
(a) 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀에 대해 하나 이상의 특성을 계산하여, 계산된 특성을 도출하는 단계,
(b) 상기 계산된 특성을 처리하여, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀의 하나 이상의 특성에 대한 불일치 가능도 행렬이 되는, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀 간의 정규화된 차이 값을 얻는 단계
를 수행하도록 구성되는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 27 항에 있어서, 상기 특성은
(a) 국부 타겟니스(local targetness) 계산값,
(b) 국부 질감(local texture) 계산값,
(c) 국부 엔트로피(local entropy) 계산값
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 28 항에 있어서, 상기 프로세서는,
에 따라 국부 질감 계산을 수행하도록 구성되며,
여기서,
및 는 각각의 이미지 내 픽셀에 적용되는 소벨 연산자(Sobel operator)의 출력이고,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀을 나타내며,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀 주변의 픽셀 변위를 식별하고,
는 국부 질감 슬라이딩 윈도의 폭과 높이인 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 29 항에 있어서, 상기 프로세서는
에 따라 정규화된 차이를 얻도록 구성되며,
여기서,
은 각각의 그룹 간 이미지 a 에 대해 얻어진 국부 질감이고,
는 각각의 그룹 간 이미지 b 에 대해 얻어진 국부 질감이며,
는 ( ) 2 이고,
는 ( ) 2 인 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 28 항에 있어서, 상기 국부 타겟니스 계산값은,
에 따라 계산되고,
여기서,
은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이며,
는, 에 따라 픽셀 에 대해 계산된 값이고,
여기서,
는 하나의 픽셀의 반사율(reflection)을 나타내며,
이면서 상기 하나의 픽셀의 확장 이웃에 있는 픽셀들의 평균 반사율이고,
는 상수인 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 31 항에 있어서, 상기 프로세서는
에 따라 정규화된 차이를 얻도록 구성되며,
여기서,
및 은 각각 이미지 a 및 이미지 b 내의 대응하는 픽셀들의 타겟니스(T)를 나타내는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 그룹은 2개의 이미지를 포함하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 이미지는 SAR(Synthetic Aperture Radar) 이미지를 포함하는 것을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 제 18 항에 있어서, 상기 복수의 획득 이미지는 2개 이상의 플랫폼으로부터 온 것임을 특징으로 하는 개선 이미지를 생성할 수 있는 시스템. 복수의 획득 SAR 이미지를 기초로 하는 개선 SAR(Synthetic Aperture Radar) 이미지의 컴퓨터화된 생성 방법에 있어서, 상기 방법은
(a) 복수의 획득 SAR 이미지를 수신하는 단계로서, 상기 복수의 획득 SAR 이미지 각각은 공통의 관심 영역을 포함하는 단계,
(b) 처리 파라미터를 수신하는 단계,
(c) 복수의 획득 SAR 이미지를 하나 이상의 그룹으로 그룹화하는 단계,
(d) 상기 하나 이상의 그룹 내 SAR 이미지들을 처리하는 단계
를 포함하며, 상기 SAR 이미지들을 처리하는 단계는
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 SAR 이미지의 각각의 픽셀 간 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계,
ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하는 단계,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 SAR 이미지를 생성하는 단계
를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 2개 이상의 개선 이미지가 생성되는 경우, 상기 방법은
(a) 상기 개선 SAR 이미지를 하나 이상의 그룹으로 그룹화하는 단계,
(b) 상기 하나 이상의 그룹 내 SAR 이미지를 처리하는 단계
를 더 포함하고, 상기 SAR 이미지를 처리하는 단계(b)는,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계,
ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하는 단계,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 SAR 이미지를 생성하는 단계
를 포함하며, 상기 방법은
(c) 단일 개선 SAR 이미지가 생성될 때까지 단계(a) 및 (b)를 반복하는 단계
를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 그룹들 중 어느 그룹이라도 3개 이상의 SAR 이미지로 구성되는 경우, 그 그룹에 대해, "불일치 가능도 행렬"을 생성하는 단계는
(a) 그룹 내 적어도 하나의 가능한 쌍(couple)에 대해 불일치 가능도 행렬을 생성하는 단계,
(b) 그룹 내 상기 적어도 하나의 가능한 쌍에 대해 생성되는 모든 불일치 가능도 행렬에 대응하는 평균 불일치 가능도 행렬을 계산하는 단계
를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 상기 개선 SAR 이미지 내 각각의 픽셀은, 그룹 내 SAR 이미지들의 각각의 픽셀들 간 가중 조합(weighted combination)으로 계산되고, 각각의 픽셀들의 가중치는 불일치 가능도 행렬 내 각각의 값에 의해 정의되는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 39 항에 있어서,
개선될 SAR 이미지를 선택하는 단계
를 더 포함하며, 선택된 SAR 이미지에 대응하는 픽셀에 추가 가중치가 불일치 가능도 값에 비례하는 가중 조합으로 제공되는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 개선 SAR 이미지를 생성하는 단계는 상기 복수의 획득 SAR 이미지 중 적어도 하나의 획득 SAR 이미지의 콘트라스트를 개선하는 단계를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 개선 SAR 이미지를 생성하는 단계는 상기 복수의 획득 SAR 이미지 중 적어도 하나의 획득 SAR 이미지 내 노이즈를 감소시키는 단계를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 상기 처리 파라미터는,
(a) 개선되도록 선택된 SAR 이미지의 지시자(indication),
(b) 관심 객체의 크기를 나타내는 표적 크기 파라미터,
(c) SAR 이미지 내 하나의 픽셀이 차지하는 영역의 크기를 나타내는 픽셀 크기 파라미터
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서,
불일치 가능도 행렬을 생성하는 단계는
(a) 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀에 대해 하나 이상의 특성을 계산하여, 계산된 특성을 도출하는 단계,
(b) 상기 계산된 특성을 처리하여, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀의 하나 이상의 특성에 대한 불일치 가능도 행렬이 되는, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀 간의 정규화된 차이 값을 얻는 단계
를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 44 항에 있어서, 특성은
(a) 국부 타겟니스(local targetness) 계산값,
(b) 국부 질감(local texture) 계산값,
(c) 국부 엔트로피(local entropy) 계산값
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 45 항에 있어서, 상기 국부 질감 계산값은,
에 따라 계산되며,
여기서,
및 는 각각의 SAR 이미지 내 픽셀에 적용되는 소벨 연산자(Sobel operator)의 출력이고,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀을 나타내며,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀 주변의 픽셀 변위를 식별하고,
는 국부 질감 슬라이딩 윈도의 폭과 높이인 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 46 항에 있어서, 정규화된 차이를 얻는 단계는,
에 의해 이뤄지며,
여기서,
은 각각의 그룹 간 이미지 a 에 대해 얻어진 국부 질감이고,
는 각각의 그룹 간 이미지 b 에 대해 얻어진 국부 질감이며,
는 ( ) 2 이고,
는 ( ) 2 인 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 45 항에 있어서, 상기 국부 타겟니스 계산값은,
에 따라 계산되고,
여기서,
은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이며,
는, 에 따라 픽셀 에 대해 계산된 값이고,
여기서,
는 하나의 픽셀의 반사율(reflection)을 나타내며,
이면서 상기 하나의 픽셀의 확장 이웃에 있는 픽셀들의 평균 반사율이고,
는 상수인 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 48 항에 있어서, 정규화된 차이를 얻는 단계는
에 따라 이뤄지며,
여기서,
및 은 각각 이미지 a 및 이미지 b 내의 대응하는 픽셀들의 타겟니스(T)를 나타내는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 상기 그룹은 2개의 SAR 이미지를 포함하는 것을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 제 36 항에 있어서, 상기 복수의 획득 SAR 이미지는 2개 이상의 플랫폼으로부터 온 것임을 특징으로 하는 개선 SAR 이미지의 컴퓨터화된 생성 방법. 복수의 획득 SAR(Synthetic Aperture Radar) 이미지를 기초로 개선 SAR 이미지(enhanced SAR image)를 생성할 수 있는 시스템에 있어서, 상기 시스템은 이미지 입력부 및 처리 파라미터 입력부로 작동가능하게 연결된 프로세서를 포함하고,
상기 이미지 입력부는 복수의 획득 SAR 이미지를 수신하도록 구성되고, 상기 복수의 획득 SAR 이미지 각각은 공통의 관심 영역을 포함하고,
상기 처리 파라미터 입력부는 처리 파라미터를 수신하도록 구성되며,
상기 프로세서는 상기 복수의 획득 SAR 이미지를 하나 이상의 그룹으로 그룹화하고, 상기 하나 이상의 그룹 내 SAR 이미지들을 처리하도록 구성되며, SAR 이미지들을 처리함에 있어서, 적어도,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 SAR 이미지의 각각의 픽셀들 간 불일치 가능도(likelihood of discrepancy)를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고,
ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하며,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 SAR 이미지를 생성하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 2개 이상의 개선 SAR 이미지가 생성되는 경우, 프로세서는 적어도,
(a) 상기 개선 SAR 이미지를 하나 이상의 그룹으로 그룹화하고,
(b) 상기 하나 이상의 그룹 내 SAR 이미지를 처리하는 것
을 수행하도록 더 구성되며, 상기 SAR 이미지를 처리함에 있어서, 적어도,
ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고,
ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하며,
ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 SAR 이미지를 생성하고,
상기 프로세서는
(c) 단일 개선 SAR 이미지가 생성될 때까지 단계 (a) 및 (b)를 반복하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 시스템은 디스플레이를 더 포함하며, 상기 프로세서는 상기 디스플레이상에 상기 개선 SAR 이미지를 디스플레이하도록 더 구성되는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 그룹들 중 어느 그룹이라도 3개 이상의 이미지로 구성되는 경우, 그 그룹에 대해 "불일치 가능도 행렬"을 생성함에 있어서,
(a) 그룹 내 적어도 하나의 가능한 쌍(couple)에 대해 불일치 가능도 행렬을 생성하고,
(b) 그룹 내 상기 적어도 하나의 가능한 쌍에 대해 생성되는 모든 불일치 가능도 행렬에 대응하는 평균 불일치 가능도 행렬을 계산하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 개선 SAR 이미지 내 각각의 픽셀은, 그룹 내 SAR 이미지들의 각각의 픽셀들 간 가중 조합(weighted combination)으로 계산되고, 각각의 픽셀들의 가중치는 불일치 가능도 행렬 내 각각의 값에 의해 정의되는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 56 항에 있어서, 상기 프로세서는 개선될 SAR 이미지의 선택을 수신하도록 더 구성되고, 선택된 SAR 이미지에 대응하는 픽셀에 추가 가중치가 불일치 가능도 값에 비례하는 가중 조합(weighted combination)으로 제공되는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 프로세서는, 개선 SAR 이미지를 생성하는 동안, 상기 복수의 획득 SAR 이미지 중 적어도 하나의 획득 SAR 이미지의 콘트라스트를 개선하는 것을 수행하도록 구성됨을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 처리 파라미터는,
(a) 개선되도록 선택된 SAR 이미지의 지시자(indication),
(b) 관심 객체의 크기를 나타내는 표적 크기 파라미터,
(c) SAR 이미지 내 하나의 픽셀이 차지하는 영역의 크기를 나타내는 픽셀 크기 파라미터
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 프로세서는 불일치 가능도 행렬의 생성 동안 적어도,
(a) 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀에 대해 하나 이상의 특성을 계산하여, 계산된 특성을 도출하는 단계,
(b) 상기 계산된 특성을 처리하여, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀의 하나 이상의 특성에 대한 불일치 가능도 행렬이 되는, 상기 하나 이상의 그룹의 SAR 이미지들의 각각의 픽셀 간의 정규화된 차이 값을 얻는 단계
를 수행하도록 구성되는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 60 항에 있어서, 상기 특성은
(a) 국부 타겟니스(local targetness) 계산값,
(b) 국부 질감(local texture) 계산값,
(c) 국부 엔트로피(local entropy) 계산값
중 적어도 하나를 포함하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 61 항에 있어서, 상기 프로세서는,
에 따라 국부 질감 계산을 수행하도록 구성되며,
여기서,
및 는 각각의 SAR 이미지 내 픽셀에 적용되는 소벨 연산자(Sobel operator)의 출력이고,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀을 나타내며,
및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀 주변의 픽셀 변위를 식별하고,
는 국부 질감 슬라이딩 윈도의 폭과 높이인 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 62 항에 있어서, 상기 프로세서는
에 따라 정규화된 차이를 얻도록 구성되며,
여기서,
은 각각의 그룹 간 이미지 a 에 대해 얻어진 국부 질감이고,
는 각각의 그룹 간 이미지 b 에 대해 얻어진 국부 질감이며,
는 ( ) 2 이고,
는 ( ) 2 인 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 61 항에 있어서, 상기 국부 타겟니스 계산값은,
에 따라 계산되고,
여기서,
은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이며,
는, 에 따라 픽셀 에 대해 계산된 값이고,
여기서,
는 하나의 픽셀의 반사율(reflection)을 나타내며,
이면서 상기 하나의 픽셀의 확장 이웃에 있는 픽셀들의 평균 반사율이고,
는 상수인 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 64 항에 있어서, 상기 프로세서는
에 따라 정규화된 차이를 얻도록 구성되며,
여기서,
및 은 각각 이미지 a 및 이미지 b 내의 대응하는 픽셀들의 타겟니스(T)를 나타내는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 그룹은 2개의 SAR 이미지를 포함하는 것을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. 제 52 항에 있어서, 상기 복수의 획득 SAR 이미지는 2개 이상의 플랫폼으로부터 온 것임을 특징으로 하는 개선 SAR 이미지를 생성할 수 있는 시스템. SAR(Synthetic Aperture Radar) 이미지 내 객체(object)의 컴퓨터화된 검출 방법에 있어서, 상기 방법은
(a) SAR 이미지를 수신하는 단계,
(b) 처리 파라미터를 수신하는 단계,
(c) 슬라이딩 윈도 내 각각의 픽셀에 대한 반환 값(return value)을 정규화하는 단계,
(d) 객체의 존재 가능도(likelihood of existence)를 특징짓는 상기 정규화된 반환 값을 강화 연산자(reinforcement operator)로 연산함으로써, 높은 반환 값은 강화하고, 낮은 반환 값은 약화하는 단계
를 포함하는 것을 특징으로 하는 객체의 컴퓨터화된 검출 방법. 컴퓨터상에서 실행될 때 청구항 1의 모든 단계들을 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램. 컴퓨터상에서 실행될 때 청구항 36의 모든 단계들을 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램. 컴퓨터상에서 실행될 때 청구항 69의 모든 단계들을 수행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
|
| 说明书全文 |
이미지를 개선하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR ENHANCING AN IMAGE}
관련 출원의 상호 참조 본 출원은 2009년12월17일에 출원된 이스라엘 특허 출원 IL202788호와 관련이 있고, 상기 이스라엘 특허 출원을 기초로 우선권 주장하며, 상기 이스라엘 특허 출원의 전체는 본원에 참조로서 포함된다. 발명의 기술 분야 본 발명은 이미지 처리에 관한 것이다. 더 구체적으로, 본 발명은 복수의 획득된 이미지를 기초로, 개선 이미지(enhanced image)를 생성하는 것과 관련된다.
오늘날에는, 장면(scene)을 모니터링하기 위해 상기 장면의 이미지들을 이용하는 것이 일반적이며, 예를 들면, 이러한 목적으로 SAR(Synthetic Aperture Radar, 합성 개구 레이더) 이미지를 사용하는 것이 있다. 이러한 이미지의 컴퓨터화된 처리는 이미지 처리(image processing)를 포함한다. 이미지 처리 분야의 숙련된 기술자는 하나의 장면의 둘 이상의 이미지를 정합(register)할 필요성에 친숙하다. 예를 들어, 이러한 방법을 몇 가지 제시하는 바바라 지토바(Barbara Zitova) 및 얀 플루서(Jan Flusser)의 " Image registration methods: a survey " (Image and Vision Computing 21, 2003, 977-1,000쪽)를 참고할 수 있다. 그러나, 하나 이상의 이미지는 이미지에 포함된 데이터의 해석(interpretation)이나 처리를 교란하는 가려짐(occlusion), 열악한 콘트라스트(contrast) 등의 문제를 겪는 경우가 때때로 발생한다. 현재 기술 분야에서 이러한 케이스의 부분적이고 기본적인 핸들링이 이뤄진다. 이미지의 품질 평가는, 예를 들어, 왕(Wang) 외의 논문 " Image Quality Assessment: from Error Visibility to Structural Similarity " (IEE transactions on image processing, Vol 13, No 4, 2004년 4월)에서 다뤄지며, 여기서, 구조적 정보의 열화를 기초로 한 이미지 품질 평가 방법이 설명된다. 또 다른 예로는, 알베르토 모레이라(Alberto Moreira)의 " Improved Multilook Techniques Applied to SAR and SCANSAR Imagery " (IEEE Transactions on Geoscience and Remote Sensing, Vol. 29, No 4, 1991년7월)가 있으며, 여기서, 멀티룩 처리(multilook processing)를 위한 기법이 제안된다. 이들 기법은 서로 다른 대역폭을 갖는 룩(look)의 형성을 기초로 한다. 각각의 룩에 적정 크기와 가중치를 주고, 이들을 비-일관적으로(incoherently) 더함으로써, 최종 이미지가 형성된다. 린다 샤피로(Linda Shapiro)와 조지 스톡맨(George Stockman)은 그들의 저서 " Computer Vision "의 제5장에서 이미지를 필터링하고 개선하는 방법을 설명한다. 이미지 처리 및 개선은, 때때로 다른 기술 분야에서 가져온 여러 다른 기법을 필요로 한다. 예를 들어, 의사결정 분야에서, 완전 강화 조작자 및 강화 학습이, 퍼지 로직(fuzzy logic)과 강화 학습(reinforcement learning)을 조합한 공지된 알고리즘이다.
본원에 개시된 주제의 특정 양태에 따르면, 복수의 획득 이미지를 기초로 하는 개선 이미지의 컴퓨터화된 생성 방법이 제공된다. 한정하지 않는 예를 들자면, 이미지는 SAR(Synthetic Aperture Radar, 합성 개구 레이더)의 도움으로 획득될 수 있다. 복수의 획득 이미지가 하나 이상의 공급원으로부터 온 것일 수 있다(가령, 하나 이상의 시간 주기 동안 하나 이상의 SAR 시스템에 의해, 이미지가 획득될 수 있다). 상기 방법은, (a) 복수의 획득 이미지를 수신하는 단계로서, 상기 복수의 획득 이미지 각각은 공통의 관심 영역을 포함하는 단계와, (b) 처리 파라미터를 수신하는 단계와, (c) 상기 복수의 획득 이미지를 하나 이상의 그룹으로 그룹화하는 단계와, (d) 상기 하나 이상의 그룹 내 이미지를 처리하는 단계를 포함하고, 상기 이미지를 처리하는 단계는, ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지의 각각의 픽셀들 간 불일치 가능도(likelihood of discrepancy)를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계와, ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하는 단계와, ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상 기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하는 단계를 포함한다. 개선 이미지를 생성하는 단계는 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지의 콘트라스트(contrast)를 개선하는 단계, 상기 복수의 획득 이미지 중 적어도 하나의 획득 이미지의 노이즈를 감소시키는 단계, 및/또는 각각의 이미지의 품질 및/또는 상기 이미지에서 추출된 정보의 품질을 특징짓는 다른 값을 향상시키는 단계를 포함한다. 개선 이미지 내 각각의 픽셀은, 그룹 내 이미지들의 각각의 픽셀들 간 가중 조합으로 계산될 수 있으며, 각각의 픽셀의 가중치는 불일치 가능도 행렬 내 각각의 값에 의해 정의된다. 2개 이상의 개선 이미지가 생성되는 경우, 상기 방법은, (a) 상기 개선 이미지를 하나 이상의 그룹으로 그룹화하는 단계와, (b) 상기 하나 이상의 그룹 내 이미지를 처리하는 단계를 더 포함하고, 상기 이미지를 처리하는 단계는, ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하는 단계와, ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하는 단계와, ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하는 단계를 포함하며, 상기 방법은 (c) 단일 개선 이미지가 생성될 때까지 단계(a) � �� (b)를 반복하는 단계를 포함한다. 상기 방법은, 개선될 이미지를 선택하는 단계를 더 포함하며, 선택된 이미지에 대응하는 픽셀에 추가 가중치가, 불일치 가능도 값에 비례하는 가중 조합으로 제공된다. 본원의 주제의 또 다른 양태에 따르면, 복수의 획득 이미지를 기초로 하여 개선 이미지를 생성할 수 있는 시스템이 제공된다. 한정하지 않는 예를 들자면, 이미지는 SAR(Synthetic Aperture Radar, 합성 개구 레이더)의 도움으로 획득될 수 있다. 복수의 획득 이미지는 하나 이상의 공급원으로부터 올 수 있다(가령, 하나 이상의 시간 주기 동안 하나 이상의 SAR 시스템에 의해 이미지가 획득될 수 있다). 상기 시스템은 이미지 입력부 및 처리 파라미터 입력부로 작동가능하게 연결된 프로세서를 포함하고, 상기 이미지 입력부는 복수의 획득 이미지를 수신하도록 구성되고, 상기 복수의 획득 이미지 각각은 공통의 관심 영역을 포함하고, 상기 처리 파라미터 입력부는 처리 파라미터를 수신하도록 구성되며, 상기 프로세서는 상기 복수의 획득 이미지를 하나 이상의 그룹으로 그룹화하고, 상기 하나 이상의 그룹 내 이미지들을 처리하도록 구성되며, 이미지들을 처리함에 있어서, 적어도, ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지의 각각의 픽셀들 간 불일치 가능도(likelihood of discrepancy)를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고, ⅱ) 불일치 가능도 값을 포함하고 상기 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징짓는 "불일치 가능도 행렬"을 생성하며, ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성한다. 상기 시스템은 디스플레이를 더 포함할 수 있으며, 상기 프로세서는 상기 디스플레이에 상기 개선 이미지를 디스플레이하도록 더 구성될 수 있다. 2개 이상의 개선 이미지가 생성되는 경우, 프로세서는 적어도, (a) 상기 개선 이미지를 하나 이상의 그룹으로 그룹화하고, (b) 상기 하나 이상의 그룹 내 이미지를 처리하는 것을 수행하도록 더 구성되며, 상기 이미지를 처리함에 있어서, 적어도, ⅰ) 공통의 관심 영역 내 특정 픽셀 각각에 대해, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀들 간의 불일치 가능도를 계산하여, 상기 특정 픽셀을 특징짓는 불일치 가능도 값을 도출하고, ⅱ) 공통의 관심 영역 내 각각의 픽셀에 대한 불일치 가능도를 특징 짓는, 불일치 가능도 값을 포함하는 "불일치 가능도 행렬"을 생성하며, ⅲ) 상기 하나 이상의 그룹 각각에 대해, 상기 불일치 가능도 행렬을 이용하여 개선 이미지를 생성하고, 상기 프로세서는 (c) 단일 개선 이미지가 생성될 때까지 단계 (a) 및 (b)를 반 복한다. 제공된 시스템 및/또는 방법과 관련해 개시된 주제의 또 다른 양태에 따르면, 그룹들 중 어느 그룹이라도 3개 이상의 이미지로 구성되는 경우, 그 그룹에 대해, "불일치 가능도 행렬"을 생성하는 단계는 (a) 그룹 내 적어도 하나의 가능한 쌍에 대해 불일치 가능도 행렬을 생성하는 단계와, (b) 그룹 내 상기 적어도 하나의 가능한 쌍에 대해 생성되는 모든 불일치 가능도 행렬에 대응하는 평균 불일치 가능도 행렬을 계산하는 단계를 포함한다. 개선 이미지 내 각각의 픽셀은, 그룹 내 이미지의 각각의 픽셀들 간 가중 조합으로서 계산될 수 있고, 각각의 픽셀의 가중치가 불일치 가능도 행렬 내 각각의 값으로 정의된다. 제공된 시스템 및/또는 방법과 관련해 개시된 주제의 또 다른 양태에 따르면, 처리 파라미터는, (a) 개선되도록 선택된 이미지의 지시자(indication), (b) 관심 객체의 크기를 나타내는 표적 크기 파라미터, 및 (c) 이미지 내 하나의 픽셀이 차지하는 영역의 크기를 나타내는 픽셀 크기 파라미터 중 적어도 하나를 포함한다. 제공된 시스템 및/또는 방법과 관련된 개시된 주제의 또 다른 양태에 따르면, 불일치 가능도 행렬을 생성하는 단계는 (a) 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀에 대해 하나 이상의 특성을 계산하여, 계산된 특성을 도출하는 단계와, (b) 상기 계산된 특성을 처리하여, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀의 하나 이상의 특성에 대한 불일치 가능도 행렬이 되는, 상기 하나 이상의 그룹의 이미지들의 각각의 픽셀 간의 정규화된 차이 값을 얻는 단계를 포함한다. 특성은 (a) 국부 타겟니스 계산값(local targetness calculations), (b) 국부 질감 계산값(local texture calculations), 및 (c) 국부 엔트로피 계산값(local entropy calculations) 중 적어도 하나를 포함한다. 상기 국부 질감 계산값은, 에 따라 계산되며, 여기서, 및 는 각각의 이미지 내 픽셀에 적용되는 소벨 연산자(Sobel operator)의 출력이고, 및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀을 나타내며, 및 는 국부 질감 슬라이딩 윈도의 중앙 픽셀 주변의 픽셀 변위를 식별하고, 는 국부 질감 슬라이딩 윈도의 폭과 높이이다. 정규화된 차이를 얻는 단계는 에 의해 이뤄지며, 여기서, 은 각각의 그룹 간 이미지a 에 대해 얻어진 국부 질감이고, 는 각각의 그룹 간 이미지 b 에 대해 얻어진 국부 질감이며, 는 ( ) 2 이고, 는 ( ) 2 이다. 상기 국부 타겟니스 계산값은, 에 따라 계산되고, 여기서, 은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이며, 는, 에 따라 픽셀 에 대해 계산된 값이고, 여기서, 는 하나의 픽셀의 반사율(reflection)을 나타내며, 이면서 상기 하나의 픽셀의 확장 이웃에 있는 픽셀들의 평균 반사율이고, 는 상수이다. 정규화된 차이를 얻는 단계는 에 따라 이뤄지며, 여기서, 및 은 각각 이미지a 및 이미지 b 내의 대응하는 픽셀들의 타겟니스(T)를 나타낸다.
본 발명을 이해하기 위해, 그리고 본 발명이 실전에서 수행되는 법을 알기 위해, 첨부된 도면을 참조하여 실시예들이 한정하지 않는 예로서 기재될 것이다.
도 1은 본 발명의 일 실시예에 따라 이미지를 처리하기 위한 시스템의 개략적 표현이다.
도 2는 본 발명의 일 실시예에 따라 얻어진 SAR 이미지 및 대응하는 개선 이미지의 일례이다.
도 3은 하나의 장면의 복수의 시점 이미지를 도시한 개략적 예이다.
도 4는 본 발명의 실시예에 따라 얻어진 도 3의 이미지들을 기초로 하는 복합 이미지를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따라, 개선 이미지를 생성하는 동안의 통합을 도시한 예시적 다이어그램이다.
도 6a는 본 발명의 일 실시예에 따라, 개선 이미지를 생성하는 동안의 통합을 도시하는 예시적 다이어그램이다.
도 6b는 본 발명의 또 다른 일 실시예에 따라, 개선 이미지를 생성하는 동안의 통합을 도시하는 예시적 다이어그램이다.
도 7은 본 발명의 일 실시예에 따라, 2개의 이미지들 간 불일치를 검출하도록 구성된 시스템 내 주 모듈을 도시하는 개략적 기능 블록도이다.
도 8은 MTML 이미지를 렌더링하기 위한 일 실시예를 도시하는 일반화된 순서도이다.
도 9는 본 발명의 대안적 일 실시예에 따라, 특징 추출 동안 취해지는 예시적 동작들을 설명하는 일반화된 순서도이다.
도 10은 실시예에 따라, 특징 추출 모듈에서 동작하는 예시적 모듈을 개략적으로 도시하는 기능적 블록 다이어그램이다.
도 11은 본 발명의 일 실시예에 따라, 국부 질감을 결정하는 것을 도시한다.
도 12는 본 발명의 일 실시예에 따라, 3×3 슬라이딩 윈도와 함께 사용될 수평 구배와 수직 구배용 2개의 예시적 마스크를 제시한다.
도 13은 본 발명의 일 실시예에 따라, 국부 질감 모듈을 개략적으로 도시하는 기능적 블록 다이어그램이다.
도 14는 배경과 비교되는 객체(따라서 표적)의 더 높은 반사율을 도시하는 그래프이다.
이하의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 많은 특정 세부사항이 제공된다. 그러나 통상의 기술자라면, 본 발명은 이들 특정 세부사항 없이도 실시될 수 있음을 이해할 것이다. 한편, 본 발명을 불분명하게 하지 않도록, 잘 알려진 방법, 절차, 구성요소 및 회로는 상세히 기재되지 않았다. 그렇지 않다고 특정하게 서술되지 않는 한, 다음의 기재에서 명백할 때, 명세서 전체에서, "수신하기(receiving)", "선택하기(selecting)", "그룹화하기(grouping)", "수행하기(performing)", "계산하기(calculating)", "생성하기(generating)", "처리하기(processing)", "향상하기(improving)", "평가하기(assessing)", "계산하기(computing)", "획득하기(obtaining)" 등과 같은 용어를 이용한 기재는, 데이터를 다른 데이터로 조작 및/또는 변환하는 컴퓨터의 동작 및/또는 프로세스를 지칭하고, 상기 데이터는 물리적인 양(가령, 전자적인 양)으로, 및/또는 물체를 표현하는 데이터로 표현된다. 용어 "컴퓨터"는 데이터 처리 능력을 갖는 임의의 유형의 전자 시스템을 포함하도록 광의로 이해되어야 한다. 본원의 설명에 따르는 동작은, 원하는 용도로 특수하게 구성된 컴퓨터에 의해 수행되거나, 컴퓨터 판독형 저장매체에 저장된 컴퓨터 프로그램에 의해 원하는 용도로 특수하게 구성된 범용 컴퓨터에 의해, 수행될 수 있다. 다음의 기재에서, 둘 이상의 도면에서 공통되는 구성요소는 동일한 도면부호로 참조될 것이다. 덧붙이자면, 특정하게 명시되지 않는 한, 본원에서 기재 또는 참조되는 실시예는 본원에 기재된 임의의 다른 실시예에 추가 및/또는 대체될 수 있다. 단지 예로서, 이하의 기재는 SAR(Synthetic Aperture Radar, 합성 개구 레이더) 이미지와 관련하여 이뤄진다. 통상의 기술자라면, 본 발명의 설명이, 그 밖의 다른 디지털 이미지 유형, 한정하지 않는 예를 들면, 전기-광학 이미지, 초음파 이미지, x-선 이미지, 적외선 이미지 등에도 유사한 방식으로 적용 가능함을 알 것이다. 도 1은 SAR(Synthetic Aperture Radar, 합성 개구 레이더) 이미지를 처리하기 위한 시스템(101)의 개략적 표현이다. 본 발명의 특정 실시예에 따르면, 시스템은 복수의 획득 이미지를 기초로 개선 이미지를 제공할 수 있다. 이를 대신하여, 또는 이에 추가로, 시스템(101)은 SAR 이미지들 간의 불일치(discrepancy)를 검출하도록 구성될 수 있다. 도면에서, 시스템(101)은 SAR 이미지를 입력으로서 획득한다. 상기 시스템(101)은 하나 이상의 공급원, 가령, SAR 이미지를 시스템(101)으로 전송하는 기상 레이더(102), SAR 이미지를 시스템(101)으로 전송하는 우주 레이더(103), SAR 이미지를 상기 시스템으로 전송하는 지상 레이더(104)(가령, 차량에 실린 레이더), SAR 이미지가 저장된 아카이브 또는 저장 장치(105) 등으로부터 입력을 획득할 수 있다. 여기서 언급되는 공급원는 한정하지 않는 예이며, 시스템(101)은 그 밖의 다른 임의의 적절한 공급원으로부터 이미지를 획득할 수 있다. 선택사항으로서, 시스템은 한 번에 둘 이상의 공급원로부터 입력을 획득할 수 있다. 예를 들어, 시스템은 기상 레이더(102)로부터 하나의 SAR 이미지를 획득하고, 지상 레이저(104)로부터 하나의 이미지를 획득하며, 아카이브(105)로부터 추가 이미지를 획득할 수 있다. 본원에서, 각각의 공급원에 무관하게, 입력으로서 획득된 SAR 이미지는, "획득 SAR 이미지(acquired SAR image)" 또는 단축해서 "획득 이미지(acquired image)"라고 지칭된다. 시스템(101)은 처리 파라미터(processing parameter)를 입력으로서 추가로 수신할 수 있다. 처리 파라미터는, 예를 들어 다음을 포함할 수 있다: · 사용자가 복수의 획득 이미지 중에서 개선하기로 선택한 선택 이미지의 지시자(indication), · 관심 물체의 크기인 표적 크기(target size)를 정의하는 파라미터. 예를 들어, 당국이 5미터×5미터(즉, 25제곱미터) 이하의 크기를 갖는 구성을 검출하기 위한 요건을 정의할 수 있다, 즉, 표적의 크기가 5×5미터이다. · 이미지에서 하나의 픽셀이 차지하는 영역의 크기인 픽셀 크기(pixel size)를 정의하는 파라미터. 예를 들어, 픽셀 크기가 1미터인 경우, 하나의 픽셀이 차지하는 영역은 1×1미터이다. 본 발명의 특정 실시예에 따르면, 시스템(101)은 복수의 획득 이미지를 이용하며, 하나 이상의 개선 이미지(106)를 생성하기 위해 상기 복수의 획득 이미지 각각은 공통의 관심 영역을 포함한다. 추가적 및/또는 대안적 실시예에 따르면, 시스템(101)은 복수의 획득 이미지 간 불일치를 검출할 수 있으며, 상기 획득 이미지 각각은 공통의 관심 영역을 포함한다. 임의의 이용 가능하고 적용 가능한 수단에 의해, 가령, 스크린(107)에 출력을 디스플레이, 출력을 저장 장치 및/또는 아카이브(108)(상기 아카이브는 아카이브(105)와 동일하거나 상이할 수 있음)에 저장, 및/또는 프린터(109)의 도움으로 출력을 인쇄하는 등에 의해, 시스템(101)의 출력이 제공될 수 있다. 도 2는 획득 SAR 이미지(201)와, 이미지(201)를 개선한 개선 이미지(202)의 제한되지 않은 예이며, 개선 이미지(202)는 본 발명의 일 실시예에 따라 얻어진다. 개선 이미지(202)가 이미지(201)보다 선명하다. 이미지(202)는, 시스템(101)에 의해 수행된 계산의 결과로서 얻어졌으며, 따라서 임의의 공급원으로부터 획득된 이미지(201)와 달리, "합성 이미지"가 된다. 그렇지만, 이미지(201)가, 아카이브(가령, 아카이브(105))로부터 얻어진 경우, 이미지(201)는 시스템에 의해 이전에 처리된 이미지일 수 있다. 그러나 이미지가 입력으로서 얻어지고 또 다른 이미지를 개선하거나 추가 개선의 대상이 되기 위해 사용되기 때문에, 이미지는 자신의 히스토리를 무시하고, 획득 이미지라고 여겨진다. 도 3은 하나의 장면의 몇 가지 시점 이미지(temporal image)를 도시하는 제한하지 않은 개략적 예이다. 이미지들은 301 내지 308로 표시된다. 이미지들은, 앞서 언급한 바와 같이, 예를 들어, 하나의 항구간(leg) 동안 항공기 밖에서, 또는 항공기 내에서, 얻어졌다. 그러나 이에 국한되는 것은 아니다. 덧붙이자면, 도 3의 이미지들이 동일한 플랫폼에 의해 획득될 필요는 없다. 예를 들어, 하나의 시리즈 내 하나 이상의 이미지가 항공기에 의해 획득되며, 반면에, 동일한 시리즈 내 다른 하나 이상의 이미지가 위성 등에 의해 획득된다. 덧붙이자면, 이미지들 중, 레이더로부터 직접 획득되는 이미지는 없거나, 하나 이상이거나, 심지어 전부인 것이 가능하며, 또한 이미지들이 저장된 아카이브로부터 획득되는 이미지는 없거나, 하나 이상이거나, 심지어 전부인 것이 가능하다. 예를 들어, 이미지는 동일한 장면의 정합된 시점 이미지들을 나타낸다. 이미지(301)가 먼저 취해졌다. 그 후, 특정 시간(수초, 수시, 수일, 또는 심지어 수년) 후, 이미지(302)가 취해졌고, 그 후, 이미지(303, 304, …, 308)가 취해졌다. 이러한 시점 이미지들은, 본원에서, "시점 이미지들의 시리즈", 또는 단축해서 "시리즈(series)"이며, 또한, "시점 이미지들의 시퀀스", 또는 단축해서 "시퀀스"라고 지칭될 수도 있다. 본원에서 시리즈 내 하나의 이미지를 일컫기 위해, 때때로 용어 "프레임"이 사용된다. 하나의 시리즈 내 이미지들의 정합은 적절한 종래 기술 방법만으로 이뤄질 수 있다. 본래, 획득 이미지들 간 총 겹침부는, 일정 겹치는 부분(가령, 공통의 관심 영역)을 갖는 한, 규정되진 않는다. 따라서, 예를 들어, 이미지(301)가 도면에 도시된 이미지보다 본래 더 컸을 가능성이 있으며, 이미지(302)(및 그 밖의 다른 이미지들)도 역시 그렇다. 그러나 도시된 이미지들은, 임의의 적절한 공지된 방법만으로 수행되는 정합(registration) 및 리샘플링(resampling)에 추가로, 이러한 겹치는 부분만 나타낸다. 여기서, "시리즈"는 이미지들의 겹치는 부분만 포함한다. 덧붙이자면, 용어 "획득 이미지"는, 정합과 재샘플링 후의, 겹치는 부분(예를 들어, 공통의 관심 영역)의 전체 또는 일부를 더 지칭한다. 이미지(301)는 건물(309)과 상기 건물로 향하는 도로(310)를 도시한다. 덧붙이자면, 이미지는 건물(309)의 이웃하는 건물(311) 및 근방에 주차된 차량(312)(아마도, 트럭)을 포함한다. 이미지(302)에서, 동일한 건물(309 및 311)과 도로(310)가 나타나지만, 차량(312)은 빠져 있다. 이미지(302)에서, 건물(309)이 (자연 현상 및/또는 인공물에 의해) 부분적으로 가려지고(occlude), 따라서 건물(309)의 일부분이 이미지에서 나타나지 않는다. 이미지의 가려진 부분(313)은 점선 영역으로 표현된다. 이미지(303)는, 건물(309) 및 도로(310)에 추가로, 또 다른 건물(314)을 포함하며, 반면에 건물(311)은 빠져 있다(아마도, 이미지(302)와 이미지(303)가 취해진 시점들 사이 임의의 시점에서 파괴됨). 이미지(304)에, 건물(314) 근처에서, 도로(310) 상에 위치하는 차량(315)(가령, 트럭)이 있다. 이미지(305)는, 현재, 도로(310)가 새로운 도로(316)로 갈라졌고, 상기 새 도로(316)의 끝 부분에서 새로운 건물(317)이 존재함을 보여준다. 이미지(306)에, 건물(317) 근처에 주차된 3대의 차량(318, 319, 및 320)이 존재한다. 이미지(307)에, 영역(322)을 경계 짓고, 상기 영역을 캠프로 한정하는 울타리(321)가 건물 둘레에 나타난다. 캠프 입구(323)는 도로(310)와 통한다. 이제, 324, 325, 326 및 327이라고 표시된 4대의 차량이 건물(317) 근처에 주차되어 있다. 덧붙여, 이미지(302)처럼, 이미지(307)에도, 점선 영역으로 표현된 가려짐(occlusion) 문제가 있으며, 따라서 불명확하다. 이미지(308)는 이미지(307) 이후 짧은 시간 후에 취해졌을 수 있다. 상기 이미지(308) 또한 가려짐이 있다. 덧붙여, 이미지(307)에 나타난 차량 중 3대(차량(324, 325 및 327))가 이미지(308)에 여전히 나타나지만, 차량(326)은 떠났을 수 있으며, 따라서 이미지에서 빠져 있다. 본 발명의 특정 실시예에 따르면, 시리즈 내 이미지 부분집합에서만 나타나는 아이템들을 "객체(object)" 또는 "객체 아이템"이라고 지칭되며, 반면에, 시리즈 내 모든 이미지에서 나타나는 아이템은 "배경(background)" 또는 "배경 아이템"이라고 지칭된다. 도 3의 시리즈의 예에서, 건물(309)과 도로(310)는 시리즈의 일부분인 모든 이미지에서 나타나기 때문에, 상기 건물(309) 및 도로(310)는 배경의 일부분이다. 그러나 건물(311, 314 및 317)과, 일부 이미지에서 나타나는 차량(312, 315, 318, 319, 320 및 기타), 울타리(321) 등은 객체이다. 덧붙이자면, 본원에서, 홀로 사용되는 용어 "아이템"은(즉, "객체 아이템"이나 "배경 아이템" 등의 구문의 일부로서가 아닌 경우), 객체 아이템 및 배경 아이템 중 임의의 하나를 지칭하기 위해 사용된다. 따라서 아이템은, 가령, 시리즈의 모든 이미지를 포함해 시리즈의 하나, 또는 둘, 또는 그 밖의 다른 임의의 부분집합에서 나타나는 임의의 것이다. 예를 들어, 이미지(308)에 나타난 가려짐을 고려해, 이미지는 개선되어, 관찰자가 이미지에 포함된 아이템들을 더 잘 구별할 수 있도록 할 필요가 있을 수 있다. 이를 위해, 사용자는 이미지(308)가 개선되도록 지시할 수 있다. 이미지(202)가 회득 이미지(201)를 개선하는 도 2를 참조하여 제공된 예시로 다시 돌아와서, 이미지(202)에서, 콘트라스트(contrast)가 더 높으며, 즉, "객체 대 배경 비(objects-to-background ratio)"가 더 높으며, 콘트라스트가 더 높음으로써, 하나의 이미지에서 아이템들이 더 용이하게 구별될 가능성이 높다. 도 4의 이미지(401)는 이미지(308)를 개선한 개선 이미지의 제한되지 않는 예를 도시한다. 이미지(410)에 나타난 아이템들은 이미지(308)에 나타난 아이템들과 유사하지만, 더 선명하고, 구별되기 더 쉽다. 따라서 "특정 획득 이미지를 개선하는 개선 이미지"는, 상기 특정 획득 이미지보다 높은 콘트라스트를 갖는 합성 이미지이며, 상기 합성 이미지에 나타난 모든 객체는 획득 이미지에도 나타나고, 반대의 경우도 그렇다(즉, 획득 이미지에 나타난 모든 객체는 합성 이미지에도 나타난다). 합성 이미지와 특정 획득 이미지는 서로 "대응한다"고 여겨진다. 덧붙여, 개선 이미지에 포함된 객체가 모두 획득 이미지에 나타나는 반면에, 개선 이미지가 대응하는 획득 이미지를 포함해 복수의 획득 이미지를 기초로 하는 것도 이해되어야 한다. 도 4는 도 3의 시점 이미지들의 시리즈의 처리를 기초로 하는 추가적인 개략적 이미지(402 및 403)를 포함한다. 이미지(403)는 도 3의 이미지들의 배경뿐 아니라 상기 이미지 중 하나 이상에서 나타나는 모든 객체까지 포함한다. 시점 이미지의 특정 시퀀스의 처리 결과이며, 상기 시퀀스의 이미지에 나타나는 공동 배경과 모든 객체를 포함하는 하나의 이미지는, 본원에서, 상기 특정 시퀀스의 "포괄 이미지(inclusive image)"라고 지칭된다. 한편, 이미지(402)는 시리즈의 모든 이미지에 나타나는 아이템들만 도시한다. 시점 이미지들의 특정 시퀀스의 처리 결과이며, 공동 배경, 즉, 시퀀스의 모든 이미지에서 나타나는 아이템만 포함하는 하나의 이미지는 본원에서 상기 특정 시퀀스의 "배경 이미지(background image)"라고 지칭된다. 객체 아이템은 배경 이미지에서 나타나지 않는다. 획득 이미지 각각, 및/또는 시리즈의 획득 이미지들 중 임의의 하나를 개선한 개선 이미지는 특정 시점을 나타냄이 이해된다. 이들과 달리, 배경 이미지는 일정하고 불변의 아이템들만 포함하며, 따라서 시리즈의 이미지들이 취해지는 시간 범위 내 임의의 특정 시점과 어떠한 대응도 하지 않는다. 마찬가지로, 포괄 이미지가 역시, 특정 시점과 대응되지 않는다. 본 발명의 실시예에 따라, 포괄 이미지 및 배경 이미지가 개선 이미지이다. 본 발명의 실시예에 따라, 개선 이미지를 렌더링하기 위해 복수의 획득 이미지가 필요하다. 시리즈 내 획득 이미지의 개수가 많아질수록, 이를 기초로 하는 개선 이미지의 기대 품질이 더 우수해지는데, 가령, 기대 콘트라스트가 더 높아진다. 도 5는 본 발명의 일 실시예에 따라 개선 이미지를 생성하는 동안의 통합(integration)을 도시하는 다이어그램(501)을 포함한다. 도면에서, 8개의 획득 이미지로 구성된 시리즈가 개선 이미지(516)를 렌더링하기 위한 기초를 형성한다. 상기 8개의 이미지는 도면부호 502, 503, 504, 505, 506, 507, 508 및 509로 표시된다. 본 발명의 실시예에 따르면, 510, 511, 512 및 513로 표시된 중간 이미지(intermediate image)를 렌더링하기 위해, 획득 이미지들(가령, 2개, 3개, 4개 등의 획득 이미지들)로 구성된 그룹(도 5의 예시에서는 2개의 획득 이미지들로 구성된 그룹)이 사용된다. 중간 이미지들의 콘트라스트가, 이들이 기초로 삼은 2개의 이미지 각각의 콘트라스트에 비교할 때 더 높을 수 있기 때문에, 상기 중간 이미지들이 개선 이미지이다. 그 후, 중간 이미지들로 구성된 그룹(가령, 2, 3, 4개 등의 중간 이미지들로 구성된 그룹)(도 5의 예시에서는 2개의 중간 이미지들로 구성된 그룹)이 또 다른 중간 이미지(514 및 515) 생성을 렌더링하기 위해 사용되며, 상기 중간 이미지(514 및 515)의 콘트라스트는, 이들이 기초로 삼은 중간 이미지(510, 511, 512 및 513) 각각의 콘트라스트보다 높고, 따라서 상기 중간 이미지(510, 511, 512 및 513)가 기초로 삼은 획득 이미지 각각의 콘트라스트보다도 높다. 마지막으로, 중간 이미지, 즉, 도 5의 이미지(514 및 515)가 최종 개선 이미지(516)를 렌더링하기 위해 사용되며, 상기 최종 개선 이미지(516)의 콘트라스트는 매우 높다(다른 경우, 셋 이상의 중간 이미지, 가령, 3개, 4개 등의 이미지가 최종 개선 이미지를 렌더링하도록 사용될 수 있다). 그러므로, 도시된 실시예에 따르면, 획득 이미지들의 시리즈가 하나의 단일 개선 이미지로 통합된다. 통합을 "세대(generation)" 측면에서 설명하는 것이 가능하며, 여기서, 획득 이미지들(502, 503, 504, 505, 506, 507, 508 및 509)의 시리즈가 제 1 세대(L=1)가 되며, 이들을 기초로 삼은 중간 이미지(510, 511, 512 및 513)가 제 2 세대(L=2)가 되고, 제 2 세대의 중간 이미지들을 기초로 삼은 이미지(514 및 515)가 제 3 세대(L=3)가 된다. 최종 개선 이미지(516)는 제 4 세대이자, 이 경우에서는 마지막 세대(L=4)가 된다. 즉, 도면은 4세대 통합 스킴(scheme)을 도시한다. 덧붙여, 획득 이미지들의 시리즈가 L=1을 구성하기 때문에, 본원에서, 이들 용어("L=1"과 "시리즈")가 서로 대체 가능하게 사용된다. 세대 넘버링 스킴은 이에 한정되지 않으며, 그 밖의 다른 임의의 스킴, 가령, 제 1 세대를, L=1 대신 L=0으로 표기하는 등이 사용될 수 있다. 시리즈 내 이미지들의 순서와 이미지들이 취해지는 시점 간에 어떠한 필수적인 관계도 없음을 알아야 한다. 따라서, 도 5의 예에서, 예컨대, 이미지(505)가 먼저 취해졌고, 그 후, 이미지(509)가, 그 후 이미지(502)가, 그 후 이미지(507) 등이 취해졌거나, 임의의 대안적 순서가 있는 것이 가능하다. 본원에서, 하나의 개선 이미지를 렌더링하기 위해 사용된 2개의 이미지는 상기 개선 이미지와 직접 관련된다고 여겨진다(가령, 이미지(510 및 511)가 이미지(514)와 직접 관련되고, 이미지(506 및 507)가 이미지(512)와 직접 관련되는 등). 개선 이미지보다 두 세대 이상 전에 있는 이미지들은 간접 관련성을 갖고 관련된다. 예를 들어, 이미지(502)는 이미지(514)와 간접 관련되고, 이미지(505)도 그렇다. 덧붙여, 이미지(502)는 또한 이미지(516)와도 간접 관련된다. 서로 관련된 이미지들은 직접 관련 또는 간접 관련이 있는 관계라고 여겨진다. 다이어그램(501)이 L=1에서 2의 거듭제곱 수인 8개의 획득 이미지를 도시하지만, 본 발명은 이 숫자(8)나 이 특징(2의 거듭제곱) 어느 것에도 국한되지 않으며, 개수가 1보다 큰 한, 어느 개수의 획득 이미지라도 시리즈를 구성할 수 있다. 예를 들어, 도 6a에 도시된 하나의 실시예에 따라, 개수가 2의 거듭제곱 수가 아닌 경우, 시리즈 내 하나 이상의 이미지를 증식하여(multiply), 적어도 하나의 이미지가 획득 이미지의 증식인 "농축된 시리즈(enriched series)"를 생성하는 것이 가능하다. 도 6b에 도시된 다른 실시예에 따르면, 다음 번 중간 이미지를 렌더링하는 동안 L=1의 획득 이미지와 임의의 세대의 중간 이미지를 이용하는 것이 가능하다. 도 6a 및 6b의 예에서, 획득 이미지들로 구성된 그룹은 2개의 획득 이미지들로 구성된 그룹이다. 그러나, 다른 경우, 획득 이미지들로 구성된 그룹이 3개 이상의(가령, 3, 4, 5개 등의) 획득 이미지들로 구성된 그룹일 때, 동일한 원리가 적용되며, 이러한 경우에서만, 시리즈 내 둘 이상의 이미지가 증식될 수 있거나, 하나의 이미지가 2회 이상 증식될 수 있다. 일부 경우, 획득 이미지들을 포함하는 시리즈가 비대칭적 그룹으로 나뉠 수 있다. 이러한 경우, 이미지들을 그룹화할 때, 하나의 그룹이, 예를 들어, 2개의 획득 이미지로 구성되며, 반면에, 또 다른 그룹은 예를 들어 3개의 획득 이미지로 구성될 수 있는 등이다. 도 5, 6a 및 6b의 예를 검토하는 것에 추가로, 본 발명에 따라, 개선 이미지는 2개 이상의 이미지를 (직접적으로 및/또는 간접적으로) 기초로 함이 자명해진다. 본원에서 용어 "2개 이상의" (또는, "하나보다 많은")는 "복수 개(multiple)"라고 일컬어지며, 따라서 2개 이상의 획득 이미지를 (직접적으로 및/또는 간접적으로) 기초로 삼는 개선 합성 이미지(enhanced synthetic image)는, 단축해서 ML이라고 일컬어지는 "다중 룩(multi look)" 이미지가 된다. 통상의 기술자라면, 용어 "다중 룩(multi look)"은 2개 이상의 이미지를 처리한 결과인 이미지를 설명하기 위해 사용됨을 알 것이다. 이와 달리, 본 발명에 따라 대안적 계산이 수행될 수 있음이 이하에서 더 설명될 것이다. 덧붙이자면, 도 3의 개략적 설명을 참조해, 시리즈 내 이미지가 시점 이미지임이 앞서 설명되었다. 따라서 복수의 획득 이미지를 기초로 하는 개선 합성 이미지는 실제로 복수의 시점 이미지를 기초로 함을 알아야 한다. 따라서, 이러한 개선 합성 이미지는 또한, 단축해서 MT라고 일컬어지는 "다중 시점(multi temporal)" 이미지가 된다. 따라서, 본 발명에 따라 획득되는 개선된 합성 이미지는 MT 이미지와 ML 이미지이며, 따라서 MTML 이미지가 된다. 이러한 규칙(convention)에 따르면, 포괄 이미지는 MTML max 라고 명명되며, 반면에 배경 이미지는 MTML background , 또는 단축해서 MTML back 이라고 명명된다. 덧붙이자면, 시리즈의 이미지들 중 하나의 이미지(i)에 포함된 객체와 동일한 객체를 가지면서, 배경이 i번째 이미지 배경에서와 같이 보존되고, 상기 i번째 이미지에 비교할 때 콘트라스트(contrast)가 더 높은 개선 이미지를 렌더링하는 것이 가능하다. 본원에서, i번째 이미지를 개선하는 이러한 개선 이미지는 MTML i 이라고 일컬어진다. 따라서 이미지 i=1,2,… , n을 포함하는 시리즈에서, 시리즈의 이미지들을 개선하는 n개의 MTML i 이미지가 존재할 수 있으며, 즉, MTML 1 , MTML 2 , … , MTML n 이다. 이미지를 (1,…,n)으로 넘버링하는 본원에서 제공되는 규칙에 한정되지 않으며, 그 밖의 다른 임의의 규칙, 가령, 0,1,… ,n-1, 가령 a,b,… 등이 경우에 따라 사용될 수 있다. i번째 이미지가 (사용자에 의해 개선되기로 선택된) "선택 이미지", 또는 "선택 획득 이미지"가 되며, 시리즈의 나머지 이미지들은 "나머지 이미지" 또는 "나머지 획득 이미지"가 된다. 선택 이미지와 관련된 개선 이미지는 "새로운 선택 이미지" 또는 "개선 선택 이미지"가 되며, 반면에, (선택 이미지와 관련되지는 않고) 나머지 이미지들하고만 관련된 개선 이미지는 "새로운 나머지 이미지" 또는 "개선 나머지 이미지"가 된다. 덧붙이자면, 도 5, 6a 및 6b의 예로 돌아가서, 중간 이미지도 MTML 이미지임을 알아야 한다. 각각의 중간 이미지는 2개의 이전 세대 이미지와 직접 관련되기 때문에, 이전 세대 이미지의 2-룩 이미지(2-Look image)로 여겨질 수 있다. 중간 이미지를 렌더링하기 위해 3개 이상의 이미지가 사용된 경우, 중간 이미지를 렌더링하기 위해 사용되는 이미지의 개수에 따라, 3-룩 이미지, 4-룩 이미지 등이라고 여겨질 수 있다. 본 발명에 따르면, 중간 이미지 및 최종 개선 이미지를 포함해, 개선 이미지의 렌더링은 개선 이미지가 직접 관련되는 그룹의 이미지들 간 불일치 가능도(likelihood of discrepancy)(단축해서, "LD"라고도 일컬어짐) 계산을 기초로 한다. 본 발명의 일 실시예에 따르면, 중간 이미지이거나 최종 개선 이미지이거나에 무관하게, 개선 이미지의 렌더링은, 개선 이미지가 직접 관련되는 그룹의 이미지들 간 불일치 검출을 기초로 한다. 이하에서 2개의 이미지로 구성된 그룹을 참조하여 프로세스가 기재된다. 그러나 이미지들로 구성된 그룹이 3개 이상의 이미지를 포함하는 경우, 예를 들어, 그룹 내 적어도 한 쌍의 이미지들에 대해 계산이 수행될 수 있다. 이러한 경우, 이러한 계산 후, 예를 들어, 그룹 내 적어도 한 쌍의 이미지들에 대해 이하의 프로세스에 따라 계산되는 값들 중에서 평균값이 계산될 수 있다. 도 7은 본 발명의 일 실시예에 따라, 이미지를 개선하고 2개의 이미지 간 불일치를 검출하도록 구성된 시스템(701) 내 메인 모듈을 도시하는 기능 블록도이다. 통상의 기술자라면, 본 발명이 도 7에 도시된 특정 아키텍처에 의해 구속받지 않고, 동등 기능부 및/또는 변형 기능부가 또 다른 방식으로 통합 또는 분할될 수 있고, 소프트웨어, 펌웨어, 및 하드웨어의 임의의 적절한 조합으로 구현될 수 있음을 쉽게 알 것이다. 실시예에 따르면, 2개의 이미지(702 및 703)가 "특징 추출 모듈(feature extraction module)"(704)로 공급된다. 각각의 이미지를 포함하는 각각의 픽셀에 대해, 픽셀 주위 환경에서 픽셀의 특성을 나타내는 벡터가 생성된다. 예를 들어, 상기 벡터는, 주위 픽셀들에 비교하여, 픽셀의 가변도(variability)를 나타내는 값을 포함할 수 있다. 따라서 각각의 픽셀에 대한 특징 추출 모듈(704)의 출력은, 2개의 이미지(702 및 703)의 2개의 벡터(705 및 706)이다. 본원에서, 각각의 벡터가 "특징 벡터(feature vector)"가 된다. 덧붙이자면, 707은, 특징 추출 모듈(704)에 연결된 비교기(comparator)이다. 상기 비교기는 2개의 특징 벡터(705 및 706)를 획득하고, 예를 들어, 맥락 기반 특징 비교(context based feature comparison)를 수행하며, 벡터들 간 차이를 계산한다. 상기 차이가, 비교기(707)에 연결되어 있는 비선형 필터(708)로 공급된다. 상기 필터(708)는 계산된 차이를 0-1 범위의 값으로 정규화하도록 사용되는데, 여기서, 값 0은 변화 없음을 가리키고, 1은 상당한 변화 있음을 가리킨다. 이러한 규칙에 한정되지 않고, 또 다른 실시예는 0이 상당한 변화 있음을 가리키고 1이 변화 없음을 나타내는 반대 규칙을 이용할 수 있다. 다른 범위를 이용하는 것도 가능하다. 차이를 정규화하는 것에 외에, 비선형 필터(708)는 이미지를 이루는 나머지 픽셀에 대한 정보를 수집하고, 데이터를 사상(map)하여, 0-1의 값을 갖는 픽셀의 "정규화 이미지(normalized image)"를 생성한다. 그 후, 이러한 정규화 이미지가 퍼지 강화 모듈(fuzzy reinforcement module)(709)로 공급되며, 상기 퍼지 강화 모듈(709)은, "불일치 가능도 행렬" 즉 "LD 행렬"이라고도 지칭되는 불일치 가능도(LD)를 계산한다. LD 행렬은 2개의 이미지(702 및 703)를 검사하는 슬라이딩 윈도에서의 변화의 수준(level)을 나타낸다. 상기 윈도에서의 대부분의 픽셀의 정규화된 차이가 높으면, LD가 높고, 반면에, 윈도에서 대부분의 픽셀이 낮은 정규화된 차이를 갖는다고 특징지어지면, LD는 낮을 것이다. 이하에서, 윈도의 크기는 가변적임이 더 설명될 것이다. 시스템(701)을 구성하는 모듈의 상세한 설명이 이어질 것이지만, 그 전에, 본 발명의 일 실시예에 따라 k개 이미지로 구성된 시리즈를 기초로 MTML 이미지를 렌더링하기 위한 일 실시예를 설명하는 도 8이 제공된다. 간결성을 위해, k는 2의 거듭제곱 수라고 가정된다. 그러나 앞서, 예를 들어 도 5, 6a 및 6b를 참조해 설명한 바와 같이, 여기에 한정되는 것은 아니다. 순서도에 도시된 바와 같이, 실시예에 따라, 801에서, 시리즈의 k개의 이미지에 대해 이미지 품질이 평가되고, 802에서, 시리즈의 모든 이미지를 현재 이미지 평면으로 가져오는 정합(registration) 및 리샘플링(resampling)이 수행된다. 이때, 두 가지 실시예가 고려된다. 이들 실시예 중 하나에 따라, 본 발명에 따라 사용되는 모든 획득 이미지가 허용될만한 품질을 갖는 유효 이미지라고 가정된다. 따라서, 이 실시예에 따르면, 801은 생략될 수 있다. 그러나 통상의 기술자라면, 가끔 이미지는 무효(invalid), 또는 불량(deteriorated)일 수 있음을 알 수 있다. 따라서, 두 가지 실시예 중 두 번째 실시예는 시리즈의 이미지들 중 하나 이상이 불량인 이러한 가능성을 고려한다. 이 두 번째 실시예에 따르면, 왕(Wang)외의 " Image Quality Assessment : from Error Visibility to Structural Similarity "를 SAR에 대해 각색한 것에 따라(이러한 각색은 통상의 기술자에게 자명할 것임), 알려진 품질을 갖는 또 다른 이미지와 비교함으로써, (801에서 수행되는 바와 같이) 이미지 품질을 평가하는 것이 가능하다. 평가가 현재 이미지의 품질이 나머지 이미지의 품질에 비해 열등하다고 확인한 경우, 상기 현재 이미지가 시리즈에서 제외될 수 있고, 개선 프로세스의 일부가 되지 않을 것이다. k개 이미지 모두가 정합 및 리샘플링될 때, 개선 이미지의 렌더링이 시작될 수 있다. 도 5, 6a 및 6b의 예를 참조하여 앞서 설명된 바와 같이, 예를 들어, 렌더링은 세대(L=1,2,…)로 수행된다. 따라서 하나의 세대의 쌍(couple)들이, 다음 세대의 개선 이미지를 렌더링하기 위해 처리되고, 그 후, 다음 세대를 렌더링하기 위한 기초를 형성하고, 이를 반복한다(가령, 803 및 804를 참조). 각각의 쌍(이미지 a 및 이미지 b 로 표현됨, 가령 805 참조)에 대해, 806에서 국부 특징(local feature)이 추출되고, 807에서 차이의 처리가 수행되며(차이를 처리하는 것은 차이 및 상기 차이의 정규화를 계산하는 것을 포함한다), LD가 합쳐지며(808), 809에서 2-룩 개선 이미지가 렌더링되면서, 이러한 2-룩 개선 이미지는 다음 세대(L+1)의 일부를 형성한다. 현 세대(L)의 모든 쌍들을 처리한 후, 다음 세대가 하나의 이미지를 포함하는 경우(이때, j/2가 1보다 큼), 처리가 종료되고, L+1의 하나의 개선 이미지가 최종 개선 이미지가 된다. 도 8의 예에서, 획득 이미지의 그룹이 획득 이미지의 쌍이다. 그러나 다른 경우, 획득 이미지의 그룹이 3개 이상의(가령, 3개, 4개, 5개 등의) 획득 이미지로 구성된 그룹일 때, 동일한 원리가, 앞서 상세하게 제공된 바와 같이 약간 변형되어 적용된다. 도 9는 본 발명의 하나의 대안적 실시예에 따라, 특징 추출(806) 동안 취해진 예시적 동작을 기술하는 순서도이며, 도 10은 실시예에 따라, 특징 추출 모듈(704)에서 동작하는 예시적 모듈을 개략적으로 설명하는 블록도이다. 도 8을 참조해 설명한 바와 같이, 특징 추출의 산물은 불일치 가능도를 결정하기 위해 추후 사용된다. 도 9에 도시된 실시예에 따르면, 두 가지 특성이 결정된다. 즉, 이들은 국부 질감(local texture)(901), 타겟니스(targetness)(902), 및 국부 엔트로피(local entropy)(903)이다. 이들 특성은 도 10에 도시된 국부 질감 모듈(1001), 타겟니스 모듈(1002), 및 국부 엔트로피 모듈(1003)에 의해 계산된다. 대안적 실시예는 도 10에 도시된 모듈의 부분집합만 적용할 수 있으며, 따라서 여기서(도 9에서) 언급되는 모든 특성을 계산할 필요는 없다. 본 발명에 따르면, 특성들 중 임의의 하나 또는 두 개가 계산될 수 있다. 따라서 일반적인 방식으로, 하나 이상의 특성이 계산될 수 있다. 통상의 기술자라면, 앞서 기재된 특성에 추가로, 또는 앞서 기재된 특성을 대신하여, 추가적 및/또는 대안적 특성, 예를 들어, 국부 평균, 국부 표준 편차, 변동 계수, 동시 발생 행렬(관련 특징(가령, 동질성(homogeneity), 콘트라스트, 에너지, 휘도(brightness) 등)과 함께) 등이 계산될 수 있음을 쉽게 알 것이다. 이를 위해, 다른 작업 및 이에 대응하는 모듈이 시스템(701)에 도입될 수 있다. 덧붙이자면, 도 9가 특징 계산을 순차 프로세스로서 도시하지만, 계산의 순서가 그렇게 제한되는 것은 아니며, 오히려, 여러 다른 특성을 계산하기 위해 병렬 계산을 이용하는 것도 가능함을 알아야 한다. 이미지의 공통의 관심 영역 내 실질적으로 모든 픽셀마다, 각각의 특성이 계산된다. 특성을 계산하기 위해 현재 분석되는 픽셀이 "분석 픽셀(analyzed pixel)"이 된다. 특성을 계산하기 위해, 분석 픽셀이 슬라이딩 윈도의 중앙에 위치하면서 분석 픽셀이 슬라이딩 윈도에 의해 덮인다. 이와 관련해, 서로 다른 특성이 계산되기 위해 서로 다른 슬라이딩 윈도가 필요할 수 있다. 본 발명이 이미지 분석 분야에 속하고, 본 발명의 실시예가 불일치 검출을 가능하게 함을 이해하면, 분석은 이미지에서 특정한 어떤 것, 즉, "표적"을 찾는 것을 포함할 수 있음을 알 수 있다. 지금부터, 추가 설명을 간략히 하기 위해 하나의 예가 제공된다. 상기 예에 따르면, 도시 당국은 새로운 구조물을 식별하고, 이에 따라 법적 행위를 시행하기 위해, 상기 도시의 이미지를 보기를 원한다. 더 높은 콘트라스트를 갖는 이미지는, 조작자가 각각의 이미지에서 나타나는 아이템을 식별하는 데 도움이 될 것이다. 덧붙이자면, 이미지들의 시리즈의 분석은 불일치 검출, 즉, 새로 만들어지거나, 파괴된 아이템의 검출을 가능하게 할 것이다. 본 발명의 실시예에 따르면, 특징 추출 동안 슬라이딩 윈도가 설정됨이, 앞서, 예컨대 도 7을 참조해, 설명되었다. 마지막 예로 다시 돌아가서, 본 발명에 의해 제공되는 이점이 없이도, 상기 도시에 건설되는 매우 큰 건물이 잘 인식된다고 가정한다. 그러나, 누군가가 자신의 건물 지붕 위에 방을 지을 경우, 본 발명에 따르는 이미지 분석이 이의 검출을 보조할 수 있다. 이 예에 따르면, 그리고 앞서 언급된 바에 따르면, 당국은 5미터×5미터(즉, 25제곱미터) 이하의 크기를 갖는 구조물을 검출하기 위한 요건을 정의, 즉, 표적의 크기가 5×5미터라고 정의할 수 있다. 5×5는 한정되지 않는 예에 불과하며, 필요에 따라, 그 밖의 다른 임의의 윈도 크기, 가령 3×3, 9×9 등이 정의될 수 있다. 하나의 픽셀이, 가령 1제곱미터를 나타내는 경우, 첫 번째 경우(5×5미터)에서의 슬라이딩 윈도는 적어도 5×5 픽셀(25 픽셀)일 것이며, 반면에 두 번째 경우(3×3미터)에서의 슬라이딩 윈도는 적어도 3×3픽셀(즉, 9픽셀)일 것이다. 따라서 앞서 설명한 바와 같이, 표적의 기대 크기 및 픽셀 크기가 윈도의 크기에 영향을 미친다. 기재된 실시예가, 홀수 개의 픽셀에 의해 측정된 크기를 갖는 윈도를 필요로 하지만, 이에 한정되는 것은 아니며, 그 밖의 다른 실시예가 윈도의 폭과 높이로서 짝수 개의 픽셀을 갖는 윈도(4×4, 10×10 등)를 가능하게 할 수 있다. 도 11은 본 발명의 일 실시예에 따라 901에서 국부 질감(local texture)이 결정될 수 있는 방법을 도시한다. 도 11을 참조하여 제공되는 실시예는 예를 들어, 국부 질감 모듈(1001)에 의해 구현될 수 있다. 국부 질감 특성의 경우, 슬라이딩 윈도가 "국부 질감 슬라이딩 윈도"가 된다. 이하의 예에서, 이미지 처리 분야의 숙련된 기술자에게 친숙한 각각의 포인트에서의 이미지 강도(image intensity)의 구배와 이를 계산하기 위해 사용되는 소벨 연산자(Sobel operator)를 이용해, 국부 질감이 계산된다. 국부 질감의 이러한 계산은 단지, 국부 질감 계산 방법의 하나의 예에 불과하며, 따라서 그 밖의 다른 방법이 국부 질감을 계산하기 위해 사용될 수 있다. 국부 질감의 예시적 계산으로 다시 돌아와서, 3×3 국부 질감 슬라이딩 윈도의 경우, 1101에서 "컨볼루션 커넬(convolution kernel)"이 되는 예를 들어 2개의 마스크가 생성되며, 하나의 마스크는 수평 구배(horizontal gradient)에 대한 것이고, 나머지 하나의 마스크는 수직 구배(vertical gradient)에 대한 것이다. 이들 예시적 마스크가 도 12에 제공되며, 여기서 1201이 수평 구배에 대한 마스크이고, 1202가 수직 구배에 대한 마스크이다. 도시된 마스크들로 한정되는 것은 아니며, 슬라이딩 윈도가 다른 크기를 가질 경우, 마스크는 이에 따라 달라질 것이다. 가령, 린다 샤피로(Linda Shapiro) 및 조지 스톡맨(George Stockman)의 " Computer Vision "에 의해 마스크를 획득하기 위한 방법이 제공된다. 소벨 연산자의 출력은 2개의 함수이다. 즉, 상기 2개의 함수는 수평 구배에 대한 와, 수직 구배에 대한 이다. 구배 이미지 Ig 를 얻기 위해, 수학식 1에 따라, 이들 함수가 조합된다. 수학식 1
이미지 I g 는 수학식 2로 제공되는 컨볼루션 연산을 위한 입력을 형성한다. 수학식 2 여기서, TEM은 질감 에너지 측정치(Texture Energy Measure)를 나타내며, 상기 TEM은 실시예에 따라, 시리즈의 n개의 모든 이미지 내 각각의 픽셀에 대해 계산되며, 및 는 슬라이딩 윈도의 중앙 픽셀을 나타내고, 및 는 분석 픽셀인 국부 질감 슬라이딩 윈도의 중앙 픽셀 , 주변의 픽셀 변위(pixel displacement)를 식별하며, 는 국부 질감 슬라이딩 윈도의 폭과 높이이다. 모든 이미지 내 각각의 픽셀에 대해 수학식 2를 연산한 결과가 질감 에너지 이미지의 세트이다. 각각의 픽셀의 질감 에너지 이미지에 대해, 수학식 3에 따라, 정규화된 차이가 처리된다. 수학식 3 여기서, R은 정규화된 질감 차이의 세트이고, TEM a 는 이미지 a 를 수학식 1로 연산함으로써 얻어진 결과이며, TEM b 는 이미지 b 을 수학식 1로 연산함으로써 얻어진 결과이고, TEM aa 는 (TEM a ) 2 이며, TEM bb 는 (TEM b ) 2 이다. 2개의 완전히 동일한 이미지 a와 b의 경우, TEM aa =TEM bb =TEM ab 이며, 여기서 TEM ab 는 (TEM a ×TEM b )이고, 따라서 R은 0이다. 그러나 이미지들 간 차이가 커질수록, TEM a ×TEM b =TEM ab 의 값은 더 작아지고, 따라서 R은 1에 접근하게 된다. R은 정규화된 국부 질감 차이, 또는 질감의 불일치 가능도이다. R은 하나의 이미지 내 하나의 픽셀과 두 번째 이미지 내 평행 픽셀(parallel pixel) 간 불일치가 존재할 확률을 나타낸다. 국부 질감 차이, R을 처리하는 것과 관련해 지금까지 제공된 실시예에 한정되는 것은 아니며, 경우에 따라 추가/대안적 실시예가 가능하다. 이러한 한 가지 실시예가 다음의 수학식 4 및 수학식 5를 참조해 제공된다. 수학식 4
수학식 5 여기서, G a 와 G b 는 각각, 이미지 a 및 이미지 b 내 픽셀에 대해, 수학식 4에 따라 계산된 G 값이고, 는 픽셀의 반사율(reflection)을 나타내고, ≥0이며, 이고, 픽셀의 확장된 이웃의 픽셀들의 평균 반사율이고, 는 상수이다. 제한되지 않는 예를 들며, =0.3이다. 실시예에 따르면, 하나의 픽셀의 확장된 이웃은 표적 크기의 3배를 차지한다. 그러나 이에 제한되는 것은 아니며, 경우에 따라 그 밖의 다른 변형예가 존재할 수 있다. 그러나 확장된 이웃의 크기가 타겟니스 슬라이딩 윈도 크기와 기대 표적 크기보다 큼을 알아야 한다. 수학식 4는 값들을 0-1 범위로 전달하는 정규화 함수이다. 여기서 수학식 4는 수학식 5와 관련지어 제공되었지만, 수학식 4는 다른 곳에서도 사용될 수 있다. 도 11로 다시 돌아오기 전에, 도 7을 참조해 설명하자면, 국부 질감의 경우, 수학식 1이 특징 추출 모듈(704)의 일부를 형성할 수 있고, 수학식 2가 비교기(707)의 일부를 형성할 수 있다. 이제 도 11로 돌아오면, 1102에서 소벨 연산자로 연산하는 것에 추가로, 1103에서, 예를 들어, 수학식 1에 따라, 질감 에너지 측정치가 계산된다. 1104에서, 수학식 2에 따라, 정규화된 질감 차이의 세트가 처리된다. 도 13은 본 발명의 일 실시예에 따라 국부 질감 모듈(1001)을 개략적으로 도시한 블록도이다. 1301은 마스크가 생성되는 마스크 생성기이다. 1302는 소벨 연산자이다. 1303인 질감 에너지 측정 모듈은 소벨 연산자로 연결되어 있어서, 상기 소벨 연산자로부터 및 를 획득한다. 이 모듈에서 질감 에너지 측정치가 계산되다(또한 1103을 참조). 1304는 정규화된 질감 차이 모듈이다. 상기 정규화된 질감 차이 모듈은 질감 에너지 차이 모듈로 연결되어 있고, 정규화된 질감 차이의 세트를 처리하도록 구성된다(1104 참조). 국부 질감 추출을 설명하는 것에 추가로, 타겟니스(targetness)에 주목한다: 배경에 비해 객체를 강조하는 것이 바람직하다. 표적 크기에 적합한 크기를 갖는 슬라이딩 윈도에서 분석이 수행되기 때문에, 표적을, 상기 표적에 아주 가까운 배경(immediate background)에 비해 강조한다. 타겟니스 계산을 위해 사용되는 슬라이딩 윈도가 국부 질감 계산을 위해 사용되는 슬라이딩 윈도와 반드시 동일할 필요가 없음이 이미 언급된 바 있다. 따라서 타겟니스 계산에 대한 슬라이딩 윈도가 "타겟니스 슬라이딩 윈도"가 된다. 종종, 타겟니스 슬라이딩 윈도의 크기는 표적 크기보다 작으며, 따라서 국부 질감 슬라이딩 윈도의 크기보다 작다. 타겟니스 슬라이딩 윈도의 크기를 결정하는 토대가 이하에서 설명될 것이다. SAR 이미지 내 표적 객체는 배경에 의해 생성되는 반환값(return)에 비해 더 강력한 반환값을 생성한다. 본 발명의 특정 실시예에 따라 구현되는 타겟니스 특성이, 표적 이미지와 배경에 의해 반환되는 차이를 더 개선한다. 도 14는 표적의 반사율을 0-1 범위로 정규화하는 함수를 그래픽으로 표현하며, 여기서 흑색(낮은 반사율) 픽셀이 0으로 표현되며, 반면에 백색 픽셀(더 높은 반사값)이 1로 표현된다. 이러한 정규화는, 예를 들어 앞서 나타난 바와 같이, 수학식 4에 따라 이뤄질 수 있다. 를 기초로, 예를 들어, 수학식 6에 따라, 타겟니스가 계산될 수 있다. 수학식 6 여기서, 이고, 이며, 은 타겟니스 슬라이딩 윈도를 형성하는 픽셀의 개수이고, T는 타겟니스 값을 나타낸다. 따라서 0<T<1이다. 수학식 6의 강화 연산자(reinforcement operator)는 다음과 같은 특징을 갖는 퍼지 로직 연산자(fuzzy logic operator)이다: 모든 입력이 높은 경우, 가령, 모든 입력 값 Gj가 정규화된 범위(0, 1)에서 0.5보다 높은 경우, 연산자는 입력 값들 중 임의의 것보다 높은 T의 값을 생성한다. 모든 입력이 낮은 경우, 가령, 0.5보다 낮은 경우, 연산자는 임의의 입력 값 Gj보다 낮은 T의 값을 생성한다. 일반적으로, 완전 강화 연산자(full reinforcement operator)가 높은값 픽셀을 강화하고, 낮은값 픽셀을 약화한다. 타겟니스 슬라이딩 윈도 크기는 3×3 픽셀의 일정한 크기인 것이 보통이다. 더 큰 윈도 크기, 가령, 5×5 또는 7×7 픽셀이 고려될 수 있지만, 3×3 윈도가 더 효율적이며, 따라서, 흔히 채용된다. 그러나 윈도 크기는 가장 작은 관심 표적보다 항상 작아야 한다. 예를 들어, 가장 작은 관심 표적이 4×4 픽셀인 경우, 타겟니스 슬라이딩의 윈도 크기는 3×3인 것이 바람직할 것이다. 가장 작은 표적이 5×5 픽셀을 갖는 경우, 타겟니스 슬라이딩 윈도 크기는 3×3인 것이 바람직할 것이지만, 4×4도 역시 고려될 수 있다. (수학식 2를 기초로 하거나 수학식 5를 기초로 하는지에 무관하게) 국부 질감을 갖는 R과 유사하게, 타겟니스와 관련된 불일치 가능도까지 계산하는 것이 가능하다. T가 특정 픽셀의 타겟니스 값을 나타냄을 이해하면, T는 이미지의 각각의 픽셀에 대해 개별적으로 계산될 수 있다. 덧붙이자면, 2개의 이미지 a 및 b에서, T a 는 이미지 a 내 특정 픽셀의 타겟니스 값을 나타내고, T b 는 이미지 b 내 대응하는 픽셀의 타겟니스 값을 나타낸다. T diff 라고 명명되는 타겟니스 불일치 가능도가 수학식 7에 따라 계산될 수 있다. 수학식 7 타겟니스의 이러한 계산은 타겟니스를 계산하는 한 가지 방법의 예에 불과하며, 따라서 그 밖의 다른 방법이 타겟니스를 계산하기 위해 사용될 수 있다. 국부 엔트로피 계산으로 돌아와서, 2개의 이미지, 이미지 a 와 이미지 b 간의 국부 엔트로피가 수학식 8에 따라 계산된다. 수학식 8 여기서, 및 여기서, E[… ]는 기대 연산자(expectation operator)이고, *은 켤레를 표시한다. C xy 는 이미지 x 와 이미지 y 의 공분산 행렬이다. 마지막 수학식에 따르면 다음과 같다: 수학식 8에서 수행되는 계산의 예시적 대안예로서, 수학식 에 따라 정규화된 고유값 을 강화 연산자로 연산하는 것도 가능하다: 내 각각의 픽셀이 대응하는 픽셀의 국부 엔트로피 값을 나타낸다. 값이 높아질수록, 불일치 가능도도 높아진다. 내 각각의 픽셀은, 공분산 행렬 Cxy 의 정규화된 고유값을 기초로 불일치 가능도를 나타낸다. 값이 높아질수록, 불일치 가능도도 높아진다. 국부 엔트로피의 이러한 계산은 국부 엔트로피를 계산하는 한 가지 방법의 예에 불과하며, 따라서 그 밖의 다른 방법이 국부 엔트로피를 계산하기 위해 사용될 수 있다. 앞서 제공된 본 발명의 예시적 실시예가 이미지들 간 불일치를 검출하기 위해 세 가지 특성을 계산한다. 즉, 이들 특성은 국부 질감, 엔트로피, 및 타겟니스이다. 앞서 언급된 바와 같이, 통상의 기술자라면 알 수 있듯이, 이러한 목적을 위해, 더 적은, 및/또는 더 많은, 및/또는 그 밖의 다른 특성이 사용될 수 있다. 서로 다른 특성에 대해 이전에 계산된 LD를 조합하기 위해, 각각의 픽셀에서의 전체 불일치 가능도, 즉, LD가 계산된다. 예를 들어, 국부 질감과 타겟니스를 조합하는 예를 들면, 국부 질감 차이 R(앞서 제공된 수학식 3 또는 수학식 5 참조)과 국부 타겟니스 차이 T diff (앞서 제공된 수학식 7 참조)를, 가령, 이하의 수학식 9에 따라 조합함으로써, 전체 LD가 계산된다. 수학식 9 이전 문단을 고려해, 실은 수학식 9는 단 2개의 변수, 가령, R과 T diff 의 경우에 대한 수학식 6의 구체적 경우를 나타낸다. 그러나 불일치 가능도를 평가하기 위해 사용되는 특성의 개수가 셋 이상인 경우, 앞서 언급된 수학식 6이 사용되어야 하며, 그 경우, n이 불일치 가능도, LD를 평가하기 위해 사용되는 특성의 실제 개수여야 한다. 이미지들(앞의 예에서는, 이미지 a 및 b)로 구성된 특정 그룹에 대해 LD가 계산되면, 예를 들어, 수학식 10에 따라, 중간 개선 이미지가 계산될 수 있다. 수학식 10 여기서, "선택 이미지"(사용자에 의해 개선되도록 선택된 이미지) 또는 "개선 선택 이미지"("새로운 선택 이미지"라고도 지칭되며, 선택 이미지와 관련된 개선 이미지)가 계산된 LD에 대응하는 이미지들로 구성된 그룹의 일부인 경우, 수학식 10의 이미지 a 가 그 이미지(선택 이미지, 또는 개선 선택 이미지)를 나타낼 것이다. 다른 경우, 이미지 a 가 그룹 내 이미지들 중 임의의 하나를 나타낼 수 있다. 앞서 제공된 수학식 10에서, 매우 낮은 불일치 값, 가령 인 경우, ml2=(이미지a + 이미지 b )/2이며, ml2는 2개의 입력 이미지, 즉, 이미지 a 와 이미지 b 의 제한 평균(constraint average)이다. 한편, 매우 높은 불일치 값, 가령, 의 경우, ml2=이미지 a 이다. 그 밖의 다른 임의의 불일치 값의 경우, 가령, 0<LD<1의 경우, 중간 개선 이미지 ml2는 2개의 이미지의 제한 평균과 이미지 a 의 가중된 조합이다(앞서 언급된 바와 같이, 선택 이미지 또는 개선 선택 이미지가 계산되는 LD에 대응하는 이미지 그룹의 일부인 경우 이미지 a 는 선택 이미지 또는 개선 선택 이미지이다). 이미지 a 가 개선의 기초가 되는 선도 이미지(leading image)로 간주됨을 이해할 수 있다. 앞서 기재된 계산에서, LD 값이 높을수록, 계산에서의 선두 이미지의 가중치가 높아진다. 배경 이미지(MTML back )가 다음의 수학식에 따라 계산될 수 있다. 수학식 8
다음의 수학식에 따라 포괄 이미지(MTML max )가 계산될 수 있다. 수학식 12 MTML i , MTML max , 및 MTML background 이미지를 렌더링하기 위해, 제공된 실시예를 이해하는 것에 추가로, RGB 색모델(여기서, 통상의 기술자에게 알려져 있다시피, RGB는 적색(Red), 녹색(Green), 및 청색(Blue)을 나타낸다)에서, 하나씩의 원색(적색, 녹색, 또는 청색)을 이용해 3개의 이미지 중 하나씩을 디스플레이하는 것이 가능하다. 또한, 3개의 이미지에서 2개의 이미지의 조합을 선택하여, 하나의 원색을 이용해 둘 중 하나를 디스플레이하면서, 나머지 2개의 원색의 조합을 이용해 다른 하나를 디스플레이하는 것이 가능하다. 나머지 2개의 원색은 원색의 "부분 집합"을 형성한다. 본원에서, 하나의 원색, 또는 원색들의 부분 집합의 조합을 이용해 디스플레이되는 이미지가 "컬러 이미지(colored image)"가 된다. 예를 들어, 일 실시예가 MTML background 이미지를 디스플레이하기 위해 적색과 청색의 조합을 이용하고, MTML i 이미지를 디스플레이하기 위해 녹색이 사용된다. 원색들이 균형을 이루는 경우, 그리고 컬러 이미지들이 중첩되는 경우, 최종 중첩된 이미지 배경에서 아이템이 흑색/회색/백색 스케일로 나타나고, i번째 획득 이미지에서(그리고 따라서 MTML i 에서) 나타나고 배경 이미지에서는 나타나지 않은 객체가 녹색으로 나타날 것이다. 다른 예에 따르면, 상이한 획득 이미지와 관련된 2개의 상이한 MTML 이미지를 선택하고, 컬러링하며, 중첩하는 것이 가능하다. MTML j 및 MTML k 의 예를 들면, MTML j 는 적색과 청색의 조합을 이용해 디스플레이되고, MTML k 는 녹색으로 디스플레이된다. 이 예에서, 배경 아이템, 즉, 두 이미지 모두에서 나타나는 아이템들은 흑색/회색/백색 스케일로 나타날 것이며, MTML j 에서만 나타나는 객체 아이템은 적색/분홍색/청색으로 나타나며, MTML k 에서만 나타나는 객체는 녹색으로 나타날 것이다. 경우에 따라 다른 조합이 가능함을 알아야 한다. 예를 들어, MTML background 를 디스플레이하기 위해 적색을 이용하고, MTML k 를 디스플레이하기 위해 녹색을 이용하며, MTML j 를 디스플레이하기 위해 청색을 이용하는 등이 가능하다. 따라서 하나의 장면의 복수의 이미지를 RGB로 디스플레이함으로써, 이미지들 간에 발생하는 불일치의 자동 검출이 가능하다. 컬러를 이용해 불일치를 제시하는 것은 직관적이며, 장면에서 발생하는 불일치를 이해하는 해석가(이미지를 해석하는 사람)의 업무를 보조한다. RGB가 본 발명의 한정사항이 아니며, 그 밖의 다른 색모델, 가령, 감색 모델(가령, 사이안(Cyan), 마젠타(Megenta), 황색(Yellow), 및 키(Key)(흑색)를 나타내는 CMYK) 또는 그 밖의 다른 임의의 모델을 이용하는 것이 가능하다. 본 발명에 따르는 시스템은 적절하게 프로그래밍된 컴퓨터일 수 있음이 이해될 것이다. 마찬가지로, 본 발명은 본 발명의 방법을 실행하기 위해 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위해 기계에 의해 실행 가능한 명령들의 프로그램을 유형으로(tangibly) 구현하는 기계 판독형 메모리도 고려한다. 덧붙여, 통상의 기술자라면, 본 발명에 따르는 시스템이 하드웨어일 수 있음을 알 것이다. 또는, 시스템이 하드웨어 및 소프트웨어 구성요소를 포함할 수 있다. 본 발명이 특정 실시예와 관련하여 도시되고 기재되었지만, 이에 한정되는 것은 아니다. 본 발명의 범위 내에서 많은 수정, 변형, 및 개선이 가능할 것이다.
|
