다중레벨 이미지 데이터 구조와 이것을 이용한 이미지 검색방법{Data structure of multi-level image and method for image checking using this structure}

본 발명은 정지영상의 공간적인 칼라 특징소에 관련된 하나의 칼라 특징소를 다중레벨 이미지 그리드로 묘사하고 그 묘사된 다중레벨 이미지 그리드를 이용한 이미지 검색방법에 관한 것이다.

종래의 이미지 검색방법에는 칼라(Color),형태(Shape),텍스쳐(Texture) 등의 특징소들을 하나의 레벨을 표현된 이미지 그리드 구조로 하여 그 유사도 검색을 행하게 된다.

이때, 찾고자 하는 이미지특성에 따라 각 특징소들의 중요도가 다르며, 또 하나의 특징소라도 그 그리드에 존재하는 부분적인 셀들(Cells)에 따라 그 중요도가 다르게 나타난다.

그 예로, 칼라 히스토그램을 사용하는 이미지 검색에서 칼라 히스토그램이 n차원으로 이루어져 있다면 n차원을 이루는 개별적인 요소마다 그 가중치는 각각 다르게 나타날 수 있다.

이와같이 종래에는 하나의 이미지에 대해 하나의 레벨로 표현되는 이미지 그리드에 의해 특징소간의 중요도는 표현되어 지나 그 개별적인 특징소내의 요소별 중요도는 전혀 고려되지 않고 있으며, 또 일부에서는 사전에 미리 요소별로 평균적인 중요도를 계산하여 결정하는 방법을 사용하고 있다.

그리고, 요소별 평균적인 중요도는 참조하려는 이미지나 참조 대상 이미지들의 특성에 따라 다양하므로 미리 그 값을 결정하는 것은 이미지 검색에 유용하지 않게 된다.

또한, 이미지 그리드 구조를 단 하나의 레벨로 표현하게 되므로, 그 이미지 그리드에 대한 정확한 데이터 검색이 이루어 지지않게 되므로 사용자의 질의에 최적의 검색을 수행할 수가 없게 된다.

상기와 같은 문제를 해결하기 위하여 본 발명은, 하나의 특징소에 대하여 다중레벨 이미지 그리드를 갖고, 그 각각의 레벨들이 서로 다른 레벨의 계층적인 구조의 셀들로 이루어 지도록 하는 한편, 그 각각의 셀들은 영역대표칼라과 그 대표칼라값에 대한 유사정도를 나타내는 신뢰도로 표현되는 데이터 구조를 갖고 있으며,

또한, 참조대상 이미지가 되는 서로 다른 다중레벨 이미지 그리드들에 대하여 그 칼라 유사도 검색을 수행하도록 두 이미지 그리드의 같은 레벨과 서로 다른 레벨들의 셀 또는 그리드매칭과 칼라 지역 매칭에 의해 사용자의 질의에 대하여 효과적으로 대응할수 있도록 한 것이다.

도 1은 본 발명의 다중레벨 이미지 데이터 구조의 실시예로서, 3-레벨 이미지 데이터 구조를 보인 도면.

도 2는 본 발명 다중레벨 이미지 데이터 구조를 이용한 이미지 검색방법에 있어서, 3-레벨 이미지 그리드들간의 매칭을 보이기 위한 도면.

도 3은 본 발명 도 2의 실시예로서, 3-레벨 이미지 그리드들간의 매칭에 있어 같은 레벨간의 매칭을 보이기 위한 도면.

도 4는 본 발명의 도 2실시예로서, (a)는 두 개의 같은 이미지 그리드 레벨들을 보인 도면이고, (b)는 두 개의 이미지 그리드들의 매칭을 보인 도면.

도 5는 본 발명의 도 2실시예로서, 두 개의 서로 다른 이미지 그리드 레벨간의 매칭을 보이기 위한 도면.

본 발명 다중레벨 이미지 데이터 구조는, 하나의 이미지의 공간적 칼라 특징소를 적어도 2개 이상의 서로 다른 레벨의 계층적 이미지 그리드구조로 묘사하는 것을 특징으로 한다.

상기 각 레벨의 계층적 이미지 그리드는 그 이미지의 높이와 폭에 비례하는 셀들의 분해도를 계층적으로 세분화시켜 각 레벨의 셀들의 분해도를 계층적으로 향상시켜 주는 것을 특징으로 하며,

그리고, 각 이미지 그리드의 계층적 레벨은 원 이미지가 정방향 트리 구조일 경우 그 종횡비(높이:폭)를 균등분시켜 계층적으로 분할하고, 상기의 이미지가 정방향 트리구조가 아닐 경우 그 종횡비의 일측변을 균등분하고 타측변을 일측변의 균등단위로 계층 분할하는 것을 특징으로 하고,

상기와 같은 다중레벨 이미지 데이터 구조를 이용한 이미지 검색방법은, 다중레벨로 분할된 서로 다른 이미지들간에 그 영역을 대표하는 대표영역칼라와 그 대표칼라값의 정확한 정도를 나타내는 신뢰도를 매칭시켜 사용자의 내용기반 질의에 따라 칼라 유사도를 검색할수 있도록 한 것을 특징으로 한다.

그리고, 상기 서로 다른 계층적 그리드를 갖는 두 이미지들간의 칼라 유사도는, 두 개의 서로 다른 이미지 그리드간에 포함되는 각 셀들의 매칭시켜 공간적 칼라 특징소를 갖는 두 칼라 포인트들간의 영역대표 칼라값의 유사도 차이에 의해 검색하고, 두 이미지 그리드 레벨간에 매칭시켜 그 이미지들 사이의 공간적 칼라 특징소를 순차적으로 교차시키면서 칼라 유사도를 검색하며, 각 영역을 대표하는 칼라값을 매칭시켜 동일 영역을 찾는 방법등이 있다.

상기와 같은 다중레벨 이미지 데이터와 이것을 이용한 이미지 검색방법에 대하여 도 1내지 도 5를 참조하여 설명하면 다음과 같다.

먼저, 하나의 이미지 데이터 구조는 그 공간적 칼라 특징소를 서로 다른 레벨의 계층적 그리드로 분할시킨 다중레벨 이미지 그리드(Multi-level image grid)의 구조로 묘사된다.

상기 각 이미지 그리드는 서로 다른 레벨들로 계층적인 구조를 가지고 각 레벨의 분해도를 계층적으로 세분화하게 되며, 각 그리드의 셀(Cell)은 그 영역을 대표하는 칼라(RRC;Regional Representative Color)와 대표칼라값의 정확한 정도를 표현하는 신뢰도(S;Reliability Score)로 표현된다.

그리고, 상기와 같은 다중레벨 이미지 그리드는 정방향 트리(quad tree)구조일 경우 그 종횡비를 균등분하게 나누고, 정방향 트리구조가 아닐 경우 주어진 이미지의 높이(Width)와 폭(Height)의 종횡비(aspect ratio)에 따라서 그 일측변을 균등이 등분한 다음 그 타측변을 일측변의 균등단위로 나누게 된다.

즉, 가로와 세로가 균등한 정사각형 구조는 그 종횡비를 같은단위로 등분하고, 가로와 세로가 다른 직사각형 구조는 일측변(예; 길이가 긴변)을 균등이 분할하고 그 일측변의 균등단위로 타측변(예;길이가 짧은변)을 등분시켜 주게 된다.

도 1은 본 발명의 실시예로서, 하나의 이미지에 대해 3-레벨 이미지 그리드( 3-level image grids)로 등분한 것으로, 상기 3-레벨 이미지 그리드는 탑 레벨(top level), 2차 레벨(2 ^nd level), 3차 레벨(3 ^rd level) 이미지 그리드로 나누어 진다.

그리고, 3-레벨 이미지 그리드의 분해도는 등분된 레벨정도에 따라 결정되는 데, 탑 레벨 이미지 그리드가 가장 낮고, 2차 레벨 이미지 그리드가 중간정도이며, 3차 레벨 이미지 그리드가 가장 미세한 최종의 분해도를 가진다.

그러면, 탑레벨 이미지 그리드는 그 폭(M1)과 높이(N1)에 비례(M1×N1)하는 다수개의 로칼 셀(local Cells)들을 포함하는 이미지 영역으로 나누어 지며, 그 각각의 셀들은 그 영역을 대표하는 영역대표칼라(RRC)와 그 대표칼라값의 정확한 정도를 표현하는 신뢰도(S)를 가지게 된다.

또한, 2차레벨 이미지 그리드와 3차레벨 이미지 그리드도 그 분할정도에 따라 다수개의 로칼 셀들을 포함한 이미지 영역으로 나누어 지고, 각각의 셀들은 영역대표칼라(RRC)와 신뢰도(S)를 가지게 된다.

예를 들어, 탑레벨 이미지 그리드의 최대(Max) 폭(M)과 높이(N)가 각각 8(=8 by 8)이라면, 2차레벨 이미지 그리드의 최대 폭(M2)과 높이(N2)는 각각 16(=16 by 16)이 되며, 3차레벨 이미지 그리드의 최대 폭(M3)과 높이(N3)는 각각 32(= 32 by 32)의 로칼셀들(local cells)로 이루어 진다.

여기서, 3차 레벨 이미지 그리드의 셀(Cell(i,j))는 그 영역대표칼라와 신뢰도(C ³ _ij ,S ³ _ij )로 표현된다.

그리고, 각 레벨(top,2 ^nd ,3 ^rd level)들의 최소(Min) 분할은 보다 정확한 위치표현을 위하여 주어진 이미지의 폭과 높이의 종횡비(높이:폭)에 따라서 결정되어 진다. 즉, 긴변을 기준으로 할 경우 그 긴변을 균등분할 한 다음 짧은 변을 그 긴변의 균등단위 만큼으로 나누어 분할해 주게 된다.

다른 방법으로는, 프로세스 향상과 개략의 위치 정보만을 고려하기 위하여 그리드의 가로와 세로를 같이 할수도 있다.

상기와 같은 다중레벨 이미지 데이터 구조를 이용한 데이터의 검색하는 방법을 보면,

상기 다중레벨 이미지 그리드로 분할된 서로 다른 이미지들은 그 영역을 대표하는 대표영역칼라(RRC)와 그 대표칼라값의 정확한 정도를 나타내는 신뢰도(C)로 표현되므로 각각의 대표영역 칼라와 신뢰도를 매칭시켜 사용자의 내용기반 질의에 따라 칼라 유사도(Color Similarity)의 검색을 행하게 된다.

이와같은 다중레벨 이미지 그리드로 이용되는 두 이미지 사이의 칼라 유사도는 각 레벨의 이미지 그리드에 포함되는 셀(Cell)들과 각 이미지 그리드(Grid)들과, 그리고 각 영역(Region)을 대표하는 영역칼라(RRC)값들을 매칭시켜 칼라 유사도를 검색하게 되는 데,

상기 두 셀들 사이의 칼라 유사도는 셀(Cell ₁ )과 셀(Cell ₂ ) 사이의 영역대표칼라값을 유사정도를 나타내는 칼라 유사도[Color_Sim(RRC_of_Cell ₁ ,RRC_of_Cell ₂ )]를 매칭시켜 검색하게 된다.

그리고, 두 셀의 영역대표칼라(RRC)에 대한 신뢰도(S_of_Cell ₁ )(S_of_Cell ₂ )의 곱에 제 1가중치(α)를 곱하여 얻은 칼라신뢰도(W)를 상기의 칼라 유사도(Color_Sim)에 곱하여 주고, 이 값에 두 셀간의 신뢰도에 대한 유사도(I)와 제 2가중치(β)의 곱을 더해준 다음 정규화값으로 나누어 주게 된다.

이와같이, 이미지에 포함되는 셀(Cell ₁ )(Cell ₂ )들의 칼라 유사도[Sim(Cell ₁ ,Cell ₂ )]는 다음의 수학식 1과 같이 구할수 있다.

상기 수학식 1에서, 두 셀(Cell ₁ ,Cell ₂ )간의 영역대표칼라(RRC)값이 얼마나 유사한 정도를 나타내는 칼라신뢰도(W)는

그리고, 상기의 칼라신뢰도(W)와 신뢰도의 유사도(I)에 각각 가중치(α)(β)를 곱하여 주고, 두 가중치의 곱(α+β)은 정규화값이다.

이와같이, 두 개의 서로 다른 이미지 그리드간에 포함되는 각 셀들의 매칭시켜 공간적 칼라 특징소를 갖는 두 칼라 포인트들간의 대표칼라값의 유사도 차이에 의해 검색하게 된다.

한편, 두 개의 서로다른 다중레벨 이미지 그리드간의 유사도는 다중레벨 이미지의 같은 레벨사이와 서로 다른레벨사이에 대하여 매칭시킨 후 그 이미지간의 칼라 특징소에 대한 유사도를 검색하게 된다.

도 2은 본 발명의 실시예로서, 3-레벨 이미지를 갖는 두 이미지(I ₁ )(I ₂ )의 그리드간의 유사도를 보이기 위한 도면으로서,

두 개의 이미지(I ₁ )(I ₂ )가 있으면, 참조 이미지(I ₁ )는 탑레벨(G ₁ _top), 2차 레벨(G ₁ _2 ^nd ), 3차 레벨( G ₁ _3 ^rd )이미지 그리드이고, 참조대상 이미지(I ₂ )는 탑레벨(G ₂ _top), 2차 레벨(G ₂ _2 ^nd ), 3차 레벨(G ₂ _3 ^rd )이미지 그리드를 갖는다.

그러면, 두 개의 이미지에 포함되는 각 그리드 레벨간에 유사도(Sim(G1,G2))는 레벨간에 교차하면서 그 유사도 검색을 행하게 되며, 이는 다음의 수학식 2와 같이 구할수 있다.

여기서, w1~w9는 대표적인 칼라 유사도들에 대한 가중치이고, 두 개의 이미지(I ₁ ,I ₂ )에 대한 같은 이미지 그리드 레벨간의 유사도(Sim_of_the_Exact)와 서로 다른 이미지 그리드 레벨간의 유사도(Sim_of_the_Inter)로 나누어 찾을수 있다.

그러면, 두 개의 서로다른 이미지에 포함되는 같은 이미지그리드 레벨간의 유사도(Sim_of_the_Exact)는 도 3의 실시예와 같이 매칭시켜 그 유사도를 검색해 주게 된다.

즉, 두 개의 서로 다른 이미지들의 같은 레벨들에 대해 대응한 두 셀들의 유사도을 모두 합한 다음, 이 값에 종횡비(폭;높이)의 차이만큼 종과 횡으로 이동(Shift)시키면서 두 셀들을 유사도를 합해주게 된다.

이때, 두 그리드간의 매칭수는 두 이미지의 특정 레벨의 종과 횡의 차의 절대값에 각각 1을 더한 다음 이를 서로 곱하여 매칭수를 계산하게 된다.

예를 들면, 두 이미지(I ₁ )(I ₂ )에 있어 이미지(I ₁ )의 폭을 M, 높이를 N이라 하고, 이미지(I ₂ )의 폭을 O, 높이를 P라고 하면 두 그리드간의 전체 매칭 개수는 (

그리고, 같은 그리드 레벨(Max(M,N)=Max(O,P))간에 대응하는 두 셀들 사이의 유사도는 두 개의 그리드의 폭과 높이비에 따라 각각 다른 시프트량을 가지고 도 4와 같이 매칭시키면서 그 유사도를 검색하게 된다.

그러면, 두 이미지의 같은 레벨간의 매칭에 따른 유사도(Sim_of_the_Exact)는 다음의 수학식 3과 같이 구할수 있다.

상기의 수학식 3으로 부터 같은 레벨간의 유사도(Sim_of_the_Exact)의 매칭시,

상기, 대응하는 두 셀들간의 유사도(

여기서, 1)은 제 2그리드(G ₂ )의 종횡비(P:O)가 제 1 그리드(G ₁ )의 종횡비(N:M)에 대해 최소값(min=P:O)을 가질 경우 적용되는 식이고,

2)는 제 1그리드(G ₁ )의 종(N)의 길이가 짧고(min) 제 2그리드(G ₂ )의 횡(O)의 길이가 짧을 경우에 적용되는 식이며,

3)은 제 2그리드(G ₂ )의 횡(P)의 길이가 짧고(min) 제 1그리드(G ₁ )의 횡(M)의 길이가 짧은 경우에 적용되는 식이고,

4)는 제 1그리드(G1)의 종횡비(N:M)의 길이가 제 2 그리드(G ₂ )의 종횡비(P:O) 보다 모두 긴 경우에 적용되는 식이다.

그리고, 제 1그리드(G ₁ )와 제 2그리드(G ₂ )의 길이차이(｜M-0｜,｜NP｜)에 대한 시프트량(i,j)을 각각 셀 좌표(x,y)에 가산해 주게 되며, 그 각각의 시작점(i,j,x,y)은 0이다.

한편, 서로다른 두 이미지(I ₁ )(I ₂ )의 다른 그리드 레벨(Max(M,N)≠Max(O,P))간의 유사도(Sim_of_the_Inter)는 서로 다른 두 이미지 그리드 레벨간에 매칭시켜 그 유사도를 검색하게 되는 데, 이는 상기의 같은 그리드 레벨 유사도(Sim_of_the_Exact) 검색의 경우와 동일한 방식을 행하게 된다.

또한, 다른이미지 그리드 레벨간의 이미지 그리드 매칭수는 그 종횡비(M,N)(O,P)를 고려하여

한편, 칼라영역 매칭(Color Region Matching)은 다중레벨 이미지 그리드들간에 대표칼라 값이 같은 영역을 찾기 위한 것으로,

이는 같은 그리드 레벨(Exact scale matching)사이의 같은 위치(Relative Position)와 서로 다른위치(Tranalation position)로 부터 찾는 방법과 다른 그리드 레벨(Inter-scale matching) 사이의 같은 위치와 서로 다른위치로 부터 찾는 칼라 유사도를 찾는 방법으로 검색하게 된다.

그러면, 같은 이미지 그리드레벨 사이의 칼라영역 매칭 프로세스는 참조대상 이미지중에서 같은레벨의 칼라 영역을 찾게 되는 바,

상기의 칼라영역 매칭 프로세스는 비교대상 이미지의 같은 이미지 그리드 레벨(Exact scale matching)중에서 상대적인 위치(Relative Position)와 매칭시켜 그 칼라영역의 유사도를 검색하고, 또 비교대상 이미지의 같은 레벨에서의 변이적인 위치(Translation Position)와 매칭시켜 그 칼라영역을 검색하게 된다.

그리고, 다른 이미지 그리드 레벨(Inter-scale matching) 사이의 칼라영역 매칭 프로세스는 비교대상 이미지의 다른 이미지 그리드 레벨중에서 같은 레벨의 칼라 영역을 찾게 되는 바,

상기 다른 이미지 그리드 레벨 사이의 칼라영역 매칭 프로세스는 비교대상 이미지의 다른 이미지 그리드 레벨중에서 같은 위치와 매칭시켜 그 칼라영역의 유사도를 검색하고, 또 참조대상 이미지의 다른 레벨에서의 변이적인 위치와 매칭시켜 그 칼라영역을 검색하게 된다.

이상에서 설명한 바와같이, 본 발명은 하나의 이미지 데이터 구조를 다중레벨 그리드 구조로 분할시키고, 그 분할된 다중레벨 그리드 구조를 이용하여 내용기반 이미지 검색시 사용자의 주관적 질의에 대하여 효과적으로 응답할수 있도록 하고 또 특정조건하에서의 검색속도가 빠르고 정확한 효과가 있다.