权利要求

연속적인 좌표 시스템을 레버리징하는 모션 보상 및 모션 추정{MOTION COMPENSATION AND MOTION ESTIMATION LEVERAGING A CONTINUOUS COORDINATE SYSTEM}

시간에 따라 진화하는 신호들의 또는 다차원(multidimensional) 신호들의 압축 및 압축해제를 처리하기 위한 많은 기술들이 기술분야에 알려져 있다. 이것은 과학 및 의료 영역들에서 이용되는 체적(volumetric) 신호들과 유사한 다른 다차원 신호들, 비디오 신호들 및 오디오 신호들의 경우이다.

높은 압축 비들을 달성하기 위해, 그 기술들은 신호 내의 공간 및 시간 상관관계를 활용한다. 종래의 방법들은 기준을 식별하며 현재 로케이션(location)과 정해진 기준 사이의 신호의 차이를 결정하려 시도한다. 이는 기준이 이미 수신되고 디코딩된 공간 평면의 일부분인 공간 도메인, 및 신호의 시간에서의 단일 인스턴스(예를 들어, 프레임들의 시퀀스에서의 비디오 프레임)가 특정 지속기간 동안 기준으로서 취해지는 시간 도메인 둘 다에서 이루어진다. 이것은 예를 들어, MPEG-패밀리(family) 압축 알고리즘들의 경우이며, 이 압축 알고리즘들에서 이전에-디코딩된 매크로 블록들이 공간 도메인에서의 기준으로서 취해지며 I-프레임들 및 P-프레임들은 시간 도메인에서 후속하는 P-프레임들에 대한 기준으로서 이용된다.

알려진 기술들은 차이들을 식별하고, 간략화하며, 인코딩 및 전송하기 위해 여러 서로 다른 기술들을 채택하는, 많은 방식들에서 공간 상관관계 및 시간 상관관계를 활용한다. 종래의 방법들에 따르면, 공간 상관관계에 관하여 레버리징하기 위해, 도메인 변환이 (예를 들어, 주파수 도메인으로) 수행되며 그 후에 정보의 손실 삭제 및 양자화가 수행된다. 시간 도메인에서, 대신에, 종래의 방법들은 현재 샘플과 모션-보상된 기준 샘플 사이의 양자화된 차이를 전송한다.

샘플들 사이의 유사성을 최대화하기 위해, 인코더들은 발생된 시간 대 기준 신호에 따른 수정들을 추정하려 시도한다. 이는 종래의 인코딩 방법들(예를 들어, MPEG 패밀리 기술들에서, VP8, 등)에서, 모션 추정 및 보상으로 지칭된다.

기준 샘플에 대해 디코더에서 이미 이용가능한 정보를 레버리징함으로써 현재 샘플의 재구성을 가능하게 하기 위해 디코더에 모션 정보가 전송된다: 최신 기술의(state-of-the-art) 방법들에서 이는 매크로 블록 기반에서 모션 벡터들을 이용하여 이루어진다. 다시 말해, 모션 벡터는 다수의 디스플레이 엘리먼트들을 포함하는 블록 레벨에서의 모션을 표시할 수 있다.

전형적으로, 모션 정보는 오프셋 모션 벡터들, 즉 기준 픽처에서 픽처의 유사한 부분의 포지션(position)을 나타내는 벡터들(예를 들어, 평면 엘리먼트들의 블록, 또는 종종 픽처 엘리먼트들로 칭해지는 "펠들(pels)" 또는 2D 이미지들의 경우에 대한 "픽셀들(pixels)")에 의해 표현되었다. 예를 들어, 상기에 논의된 바와 같이, 블록 모션 보상(block motion compensation: BMC)을 이용하면, 비디오 시퀀스의 이미지들은 픽셀들의 블록들로 분할될 수 있다. 현재 이미지에서의 각 블록 B는 기준 프레임에서 동일한 크기의 블록(B ₀ )에 기초하여 예측될 수 있다. 현재 이미지에서의 B의 포지션에 관하여 기준 이미지에서의 블록(B ₀ )의 포지션은 오프셋 모션 벡터로서 인코딩될 수 있다. 그와 같은 경우들에서, 모션 벡터는 픽셀들의 블록의 추정된 x 및 y 이동의 반대편을 나타낸다(특히, 모션 벡터는 B로부터 (B ₀ )로 지시하기 때문에 이동의 반대편인 한편, 이동은 B ₀ 로부터 B로이다).

인코더가 풀 픽셀(full pixel)보다 작은 미묘한(subtle) 이동들을 또한 캡처(capture)할 수 있기를 원하기 때문에 모션 벡터는 전형적으로 서브 픽셀(sub pixel) 정밀도로 인코딩된다(즉, 또한 픽셀의 단편들의 이동들을 특정할 수 있다). MPEG 패밀리 코덱들에 따르면, 블록들은 예측된 블록의 포지션에 시프팅되는 것과 다르게 변환되지 않으며 추가적인 정보는 블록(B ₀ )과 블록(B) 사이의 차이들을 나타내는 나머지 데이터를 통해 인코딩되어야 한다.

모션 추정은 전형적으로, 대개 비디오 시퀀스에의 인접 프레임들로부터, 하나의 픽처로부터 다른 픽처로의 변환을 적합하게 설명하는 모션 벡터들을 결정하는 프로세스로서 지칭된다. 모션 추정은 전형적으로 이미지에서의 포지션이 변화할 수 있더라도, 이미지 값들(적합한 컬러 공간에서 표현되는 광도, 컬러 등)이 시간에 따라 일정하게 남아있다는 가정에 기초한다. 모션 벡터들을 통한 모션 추정의 근본적인 가정은 모션 벡터에 의해 식별된 이미지의 일부분의 가능한 이동들(예를 들어, 매크로-블록)이 병진 이동들로 제한된다는 것이다.

최신 기술분야의 기술들에서, 펠 또는 펠들의 그룹 어느 한 쪽에 관련된 모션 벡터들의 좌표들은 현재 이미지에서와 동일한 해상도의 스텝 폭을 지니거나("해상도 당", 즉 현재 이미지 및 기준 이미지는 동일한 해상도를 가짐) 서브-펠(sub-pel) 해상도들을 지니는(예를 들어, 비-제한 예들로서, 펠의 1/4, 펠의 1/8 등), 이산 좌표 시스템(즉, 심볼들의 유한 세트를 가짐)에 기초하여 표현된다. 이러한 마지막 경우에서, 기준 이미지는 모션 벡터가 (현재 이미지의 해상도에 관하여) 서브-픽셀 해상도를 갖는 정해진 포지션을 지시하게 허용하기 위해, 현재 이미지보다 더 높은 해상도를 가진다; 본질적으로, 기준 이미지는 정해진 스케일 팩터로 수퍼샘플링되며, 모션 벡터들의 좌표들은 수퍼샘플링된 기준 이미지의 좌표 시스템에서 정수들로 표현된다. 다시 말해, 디스플레이가 그와 같은 높은 해상도를 디스플레이할 능력을 갖지 않더라도, 단지 모션 보상 동작들을 지원하기 위해, 이미지의 수퍼샘플링된(고-해상도) 렌디션(redition)이 정해진 기준 이미지에 대해 생산된다. 모션 벡터들은 이미지의 렌디션의 어느 부분이 디스플레이 신호를 재구성하기 위해 이용되는지를 식별하기 위해 이용될 수 있다.

기준 이미지의 "수퍼 고 해상도"를 저장하는 버퍼는 각각의 디스플레이 스크린 상에 디스플레이하는데 필요한 수보다 훨씬 더 많은 수의 펠들을 저장해야 하기 때문에, 서브-펠 해상도로 모션 벡터들을 레버리징하는 것은 모션 추정에서 그리고 모션 보상에서의 더 양호한 정밀도를 허용하지만, 또한 디코더 측에서의 더 많은 양의 메모리를 요구하는 상당한 단점들을 암시한다.

블록 모션 보상에 그리고 정수 좌표들(즉, 픽셀의 1/8과 같은, 고정된 정밀도를 갖는 좌표들)을 이용하는 오프셋 모션 벡터들에 기초한 알려진 인코딩 기술들은 여러 중요한 결함들을 갖는데, 이 결함들은 본원에 설명된 신규한 방법들에 의해 해결된다. 가장 두드러지게, 정해진 서브-픽셀 정밀도를 갖는 오프셋 좌표들의 이용은 전형적으로 정해진 서브-픽셀 해상도에서 기준 이미지의 업샘플링된(upsampled) 렌디션을 버퍼링할 것을 요구한다: 결과적으로, 메모리 제한들 및 수퍼샘플링된 기준 이미지를 계산하는데 필요할 많은 계산량들로 인하여 매우 미묘한 이동들(예를 들어, 높은 프레임-레이트 비디오 신호들의 경우에 또는 2-도 회전을 갖는 1% 줌(zoom)과 같은 복합 이동들의 경우에서 중요한, 픽셀의 1/128)을 캡처링하는 것이 실행가능하지 않다. 수퍼 고-해상도 기준 이미지의 발생 및 프로세싱은 다수의 이유들로 바람직하지 않다.

본원의 실시예들은 종래의 시스템들 및 방법들에 관하여 일탈하며, 기준 이미지의 모션 보상에 기초하여 현재 이미지(또는 "타겟 이미지")의 적합한 예측을 발생시키도록 모션 정보를 추정, 인코딩 및 레버리징하기 위해 신규한 방법들을 제공하며, 따라서 모션 추정, 모션 보상, 신호 인코딩, 신호 품질 강화(예를 들어, 잡음제거(denoising), 수퍼-해상도 등), 신호 보간(예를 들어, 프레임-레이트의 증가), 특별 효과들, 컴퓨터 그래픽들, 의료 이미징, 컴퓨터 비전(vision), 증대된 리얼리티(reality) 애플리케이션들 등과 같은 방법들을 지원한다.

본원의 일 실시예는 기준 이미지의 임의선택적 로케이션의 값에 기초하여 타겟 이미지의 엘리먼트의 값을 계산하거나 예측하기 위한 방법을 포함하며, 여기서 그와 같은 임의선택적 로케이션은 이미지의 렌디션을 재구성하기 위한 기반으로서 이용되는 기준 이미지의 실제 샘플 그리드(즉, 해상도)에 관계없이 (부동 소수점 숫자들, 고-정밀도 고정 소수점 숫자들, 실수들, 비-정수들 등과 같은) 분수 좌표들로 표현된다. 더 높은 해상도에서 수퍼샘플링된 기준 이미지를 사전-계산하고 생산하며 그 후에 수퍼샘플링된 그리드에 기초하여 정수 좌표 시스템에 의해 모션 보상을 수행하는데 반대로, 본원에 예시되는 특정 실시예들은 기준 이미지의 임의의 수퍼샘플링된 렌디션을 사전-계산하지 않아도 되며 대신에 (예를 들어, 제한없이, 온-더-플라이(on-the-fly) 리샘플링 기술들을 통해) 기준 이미지에서의 임의의 임의선택적 로케이션에서 온-더-플라이로 기준 엘리먼트들을 계산한다.

본원의 실시예들에 따르면, 모션 보상은 실질적으로 연속적인 좌표 시스템을 이용하여 효율적으로 구현될 수 있으며 비교적 제한된 버퍼 메모리 비용 및 계산 비용으로 (예를 들어, 필요하다면, 펠의 1/10보다 훨씬 더 작은) 매우 미묘한 이동들의 모션 보상을 효율적으로 지원할 수 있다. 본질적으로, 본원의 실시예들에 따른 모션 보상은 극도로 높은 정밀도(예를 들어, 펠의 1/100보다 작은 이동들을 캡처링)를 허용하며 더 높은 해상도로 큰 기준 이미지들을 저장할 필요 없이, 온 더 플라이로 수행되는 리샘플링 동작들을 레버리징할 수 있다.

본원의 실시예들은 전통적인 모션 보상 방식들과 협력하여 유용할 수 있으며, 관련된 애플리케이션들에 설명된 바와 같이, (오프셋 모션 벡터들을 갖는 블록 모션 보상과 반대로) 모션 매트릭스들 및 모션 존들(zones)과 협력하여 훨씬 더 유용할 수 있다.

간략화를 위해, 본원에 예시되는 비-제한 실시예들은 시간 차원을 따라 정해진 샘플 레이트에서 발생하는 다-차원 샘플들의 시퀀스(즉, 예를 들어, 비-제한 예들로서 2차원 이미지들로서 조직화되는 픽처 엘리먼트들의 비-제한 예시적 세트들인, 하나 또는 그 초과의 차원들을 갖는 어레이들로서 조직화되는 하나 또는 그 초과의 엘리먼트들의 세트들)로서의 신호를 지칭한다. 설명에서 용어들 ("초평면", 즉 임의의 수의 차원들 및 정해진 샘플링 그리드를 갖는 엘리먼트들의 어레이인 최광의의 의미를 갖는) "평면" 또는 "이미지"는 종종 샘플들의 시퀀스를 따라 신호의 샘플의 디지털 렌디션을 식별하기 위해 이용될 것이며, 여기서 각 평면은 그 차원들(예를 들어, X 및 Y)의 각각에 대해 정해진 해상도를 가지며, 하나 또는 그 초과의 "값들" 또는 "세팅들" (예를 들어, 비-제한 예들로서, 적합한 컬러 공간에서의 컬러 세팅들, 밀도 레벨을 나타내는 세팅들, 온도 레벨들을 나타내는 세팅들, 오디오 피치(pitch)를 나타내는 세팅들, 진폭을 나타내는 세팅들 등)에 의해 특성화되는 평면 엘리먼트들의 세트(또는 "엘리먼트", 또는 "펠" 2차원 이미지들에 대해 종종 칭해지는 "픽셀", 체적 이미지들에 대해 종종 칭해지는 "복셀(voxel)")를 포함 한다. 각 평면 엘리먼트는 이미지의 샘플링 그리드에서의 엘리먼트의 정수 포지션들을 나타내는, 적합한 좌표들의 세트에 의해 식별된다.

비-제한 예들로서, 신호는, 이미지, 오디오 신호, 멀티-채널(multi-channel) 오디오 신호, 비디오 신호, 멀티-뷰 비디오 신호(예를 들어, 3D 비디오), 체적 신호(예를 들어, 의료 이미징, 과학 이미징, 홀로그래픽 이미징 등), 체적 비디오 신호, 또는 심지어 4개 차원들 이상을 갖는 신호들일 수 있다.

본원에 예시되는 실시예들은 시간에 따라 진화하며 일 샘플로부터 다음 샘플로의 일부 모션의 정도를 피처링하는, 즉 샘플들이 시간 상관되는 신호들에 특히 포커싱될 것이다. 또한 매우 높은 샘플 레이트들(예를 들어, 또한 초 당 1,000개 이미지들에 걸쳐, 그 모션은 전형적으로 종래의 모션 추정 및 보상 방법들에 의해 형편없이 설명됨)이 용이하게 설명된 실시예들에 의해 해결된다.

간략화를 위해, 본원에 예시되는 비-제한 실시예들은 예를 들어, 비디오 신호와 같은 세팅들의 2D 평면들의 시퀀스들(예를 들어, 적합한 컬러 공간에서의 2D 이미지들)로서 디스플레이되는 신호들을 종종 지칭한다. 그러나, 당업자는 동일한 개념들 및 방법들이 또한 임의의 다른 타입들의 시간-기반된 신호(예를 들어, 멀티-뷰 비디오 신호들, 3D 비디오 신호들, 3D 체적 신호들의 시퀀스들, 등)에, 그리고 또한 비-시간-기반된 다-차원 신호들(예를 들어, 동일한 오디오 신호의 오디오 채널들의 시퀀스들, 2-차원 픽처들, 체적/홀로그래픽 이미지들, 플레놉틱(plenoptic) 이미지들 등)에 적용가능하다. 본원에 설명된 신규한 보상 방법들의 이점을 가질 수 있는 비-시간-기반된 신호의 비-제한 예로서, CAT-스캔 또는 MRI의 일련의 2차원 슬라이스들(즉, 비-시간-기반된 3-차원 신호)은 차원(즉, 그에 따라 슬라이스들이 획득된 축)을 따라 일련의 2-차원 샘플들로서 적절하게 표현될 수 있으며, 슬라이스들이 획득된 축이 (일정한 샘플 레이트 또는 심지어 가변 샘플 레이트 어느 한 쪽을 가정함으로써) 시간 차원인 것처럼, 본원에 예시된 방법들에 따라 프로세싱될 수 있다.

본원에 설명된 비-제한 실시예에서, 신호 프로세서는 기준 이미지의 실제 해상도(즉, 샘플링 그리드)에 관계없이, 기준 이미지의 임의의 임의선택적 포지션

을 액세스하기 위해 온-더-플라이 리샘플링 동작들을 레버리징하는 이미지("목적지 이미지" 또는 "보상된 이미지")의 엘리먼트들에 대한 보상된 세팅들(settings)을 계산("예측")하도록 구성된다. 이러한 방식으로, 기준 이미지의 해상도가 본질적으로 무한/연속적("연속적 좌표들" 또는 "단편적 좌표들")으로 취급되도록, (예를 들어, 제한 없이, 기준 이미지의 좌표 시스템에서의 정수와 반대로, 심지어 부동 소수점 숫자 또는 고 정밀도 고정 소수점 숫자에 의해) 임의선택적 정밀도로 각 좌표가 표현되는 좌표 시스템 상에 레버리징할 수 있다. 이미 언급된 바와 같이, 최신기술의 인코딩 및 디코딩 기술들은 지금까지 재구성된 신호 및 기준 신호들이 이산 그리드/엘리먼트들의 세트에 포함되는 엘리먼트를 나타내는 각 좌표를 갖는, 유한한 해상도를 갖는다는 가정에 기초하였기 때문에 이러한 방식은 지극히 혁신적인 것이다.

비-제한 실시예에서, 온-더-플라이 리샘플링 동작들은 기준 이미지의 샘플링 그리드에 속하며 그리고 모션 벡터의 단편적 좌표들에 의해 표시되는 임의선택적 포지션에 근접한 기준 이미지의 엘리먼트들의 세트를 선택함으로써 수행된다. 선택된 리샘플링 방법(예를 들어, 비-제한 예로서, 바이큐빅(bicubic) 리샘플링)에 따라, 신호 프로세서는 적절한 수의 엘리먼트들(예를 들어, 제한 없이, 임의선택적 로케이션에 최근접한 중심을 갖는 16개의 엘리먼트들 또는 임의선택적 로케이션이 기준 이미지의 경계들(borders)에 근접한 경우에 더 적은 엘리먼트들)을 선택하며 각 엘리먼트들에 적용하기 위해 가중치들을 계산한다. 마지막으로, 신호 프로세서는 선택된 엘리먼트들의 가중된 평균을 수행함으로써 임의선택적 포지션에 할당하기 위한 샘플링 값을 계산한다.

본원에 설명된 일부 비-제한 실시예들은 (예를 들어, 비-제한 예로서, 부동 소수점 숫자들을 갖는 좌표들을 나타냄으로써) 연속적인 좌표들을 이용하며 실제 이동들을 설명하는데 있어서 두드러지게 정밀도를 증가시키는, 엘리먼트들의 그룹핑들의 이동들을 설명하기 위해 (간단한 오프셋 모션 벡터들과 반대로) 매트릭스들을 변환한다. 모션 추정 및 보상은 종종 높은 압축 비들을 달성하기 위해 중요한 동작들이다. 정밀한 모션 보상을 수행하는 것은 더 양호한 예측들 및 그에 따른 더 낮은 엔트로피(entropy) 잔여물들을 제공한다. 종래기술의 방법들에서, 비디오 인코딩 및 비디오 프로세싱에서의 모션 추정 및 보상은 (전형적으로 오프셋 모션 벡터들에 의해 표현되는) 병진 운동들을 갖는 펠 영역들에 제한되었으며, 이 방법은 제한적이며 낮은 품질의 방식인 경향이 있다. 실제로, 객체들은 가능한 이동들의 훨씬 더 복잡한 세트에 의해 영향받는다. 이러한 복잡도를 캡처하기 위해, 본원에 설명되는 비-제한 혁신 실시예들은 모션 벡터들보다는 오히려 변환 매트릭스들을 이용함으로써 모션을 모델링한다. 회전들, 왜곡들(skews) 또는 줌들(zooms)과 같은 이동들은 아핀 변환들(affine transforms) 및 동종의 좌표들을 이용하여 설명될 수 있다. 고차(higher order) 매트릭스들(예를 들어, 투영(projective) 매트릭스들)을 이용하면, 또한 투시 변화들이 설명될 수 있다. 신호 인코딩(예를 들어, 비디오 압축) 도메인에서의 변환 매트릭스들의 사용은 매우 혁신적이며, 종래의 방법들로부터 본원에 설명된 신규한 실시예들을 두드러지게 구별하는 다수의 결과들을 수반한다.

비-제한 실시예는 (제한없이) 줌, 회선 및 오프셋을 포함하는 복잡한 이동들을 나타내기 위해 변환 매트릭스들 및 동종의 좌표들을 레버리징한다. 그와 같은 실시예에서, 모션 보상을 수행하는 신호 프로세서는 아핀 변환 매트릭스에 의해 동종의 좌표들(즉, (x, y, 1))에서 표현되는 정해진 엘리먼트의 좌표들을 곱함으로써 모션 보상에 대해 레버리지하기 위해 목적지 이미지의 정수 좌표들 (x, y)를 갖는 모든 정해진 엘리먼트에 대해 기준 이미지에서의 연속하는 좌표들

을 갖는 대응하는 로케이션을 계산한다. 이러한 방식으로 신호 프로세서는 본질적으로 목적지 이미지의 모든 엘리먼트에 대해 분수 좌표들로 오프셋 모션 벡터를 계산한다. 신호 프로세서는 그 후에 기준 이미지의 선택된 엘리먼트들의 가중된 평균을 수행함으로써 정해진 엘리먼트 (x, y)에 할당하기 위해 모션-보상된 값을 계산하며, 여기서 가중된 평균에서의 엘리먼트들 및 가중치들 둘 다는 로케이션 에 적어도 부분적으로 따른다.

다른 비-제한 실시예는 훨씬 더 복잡한 이동들을 나타내도록, 투영 변환 매트릭스들을 레버리징한다. 모션 보상을 위한 필요한 계산들을 수행하는데 있어서, 비-제한 실시예는 매우 제한된 계산 비용으로 연속적인-좌표 모션 보상을 활용하도록, 게이밍 및 3D 렌더링에 이용되는 현대 하드웨어를 이용한다. 현대 하드웨어는 컴퓨팅된 엘리먼트에 대한 부동 좌표들을 이용함으로써 온 더 플라이로(예를 들어, 온-더-플라이 리샘플링을 통해) 보간들을 수행할 수 있다. 분수 좌표들 및 온-더-플라이 리샘플링의 사용과 관련된 장점들 중 하나는 매우 미묘한 이동들을 나타내면서 동시에 인코더 및 디코더 양측에서 메모리 사용량을 감소시킬 수 있다는 것이다. 모션 추정 및 모션 보상은 더 높은 해상도들에서 큰 기준 이미지들을 발생시키고 저장할 필요 없이 온 더 플라이로 수행된 리샘플링 동작들에 의존한다.

정교한(sophisticated) 이동들은 종종 기준 이미지를 수퍼샘플링하는 표준 기술로 달성가능하지 않은(예를 들어, 줌/발산(divergence)으로, 심지어 1%만큼 작은 줌의 레벨들(즉, 0.01만큼의 좌표 곱셈들)이 관련됨), 극도로 미세한 서브-픽셀 해상도를 요구하기 때문에, 모션 보상이 모션 매트릭스들(즉, 간단한 변환보다 더 정교한 이동들)에 기초할 때 연속적인 좌표들을 이용하는 것은 매우 중요하다.

비-제한 실시예에서, 신호의 특정 부분들의 모션은 회전, 스케일링, 변환 및 전단 맵핑에 대응하는 파라미터들에 의해 표현된다. 또는 동등하게, 동종의 좌표들에서(즉, 1로 정규화된 w를 갖는 (x,y,w)) 벡터(x,y,1)에 적용되는 다음과 같은 아핀 변환 매트릭스로:

다른 비-제한 실시예들에서, 모션 정보는 투영 변환들, 즉 8개의 관련 계수들을 갖는 3x3 매트릭스를 이용함으로써 표현되며, 제 9 계수는 1로 정규화되며, 따라서 단일 변환 스케일링, 회전, 오프셋, 전단 및 투시 변화(perspective change)로 설명한다. 그와 같은 변환들 중 일부는 각각의 변환에 대해 나눗셈 연산을 요구하기 때문에, 비-제한 실시예는 (예를 들어, 비-제한 예들로서, 단지 16개 비트들을 이용하여, 또는 쉐이더들을 위해 공통으로 이용되는 알고리즘들 중 일부를 이용하여) 근사화 나눗셈 연산들을 이용한다.

모션 매트릭스들은 간단한 오프셋 모션 벡터들에 대해 요구되는 파라미터들의 수에 관하여 모션을 나타내는 더 많은 수의 파라미터들을 디코더에 송신할 것을 요구한다: 결과적으로, 모션 매트릭스들이 예를 들어, 일관된 방식으로 이동하는 객체를 나타내는, 비교적 크고 임의선택적으로-형상화된 엘리먼트들의 그룹핑들("모션 존들")에 적용될 때 모션 매트릭스들을 이용하는 이점들이 더 많다.

본원에 예시된 비-제한 실시예에서, 인코더로서 구성되는 신호 프로세서는 현재(타겟) 이미지 및 기준 이미지를 수신하며, 모션 추정을 수행하며 현재 이미지에서 하나 또는 그 초과의 모션 존들(신호의 임의선택적 - 인접하거나 비-인접한 - 부분들) 및 각 모션 존의 모션에 관한 대응하는 설명 정보를 식별하며, 모션은 연속적인 좌표 시스템에서 표현된다. 비-제한 실시예에서, 인코더는 파라미터들의 세트(예를 들어, 비-제한 예로서, 이용가능한 계산 전력, 타겟 인코딩 대기시간(latency), 타겟 압축 효율 등)에 기초하여 최대 수의 모션 존들을 결정한다.

본원에 예시되는 다른 비-제한 실시예에서, 디코더로서 구성되는 신호 프로세서는 모션 존 정보(예를 들어, 모션 존 맵)를 수신하며 그 후에 (예를 들어, 비-제한 실시예로서, 각 모션 존을 위한 모션 매트릭스에 대응하는 파라미터들의 세트를 수신함으로써) 각 모션 존의 모션 특성을 갖는 모션에 관한 설명 정보를 수신한다. 모션 존 맵 및 각 모션 존의 모션에 관한 설명 정보에 적어도 부분적으로 기초하여, 타겟 이미지의 각 엘리먼트에 대해 디코더는 모션 벡터를 계산하며, 모션 벡터의 좌표들은 (예를 들어, 제한없이, 부동 소수점 숫자들에 의해) 연속적인 좌표 시스템에서 표현된다. 모션 벡터들에 기초하여, 임의선택적 위치들의 기준 값들은 온-더-플라이 리샘플링을 통해 기준 이미지로부터 페칭되며, 이는 엘리먼트들의 고정된 그리드들 및 정수-기반된 좌표들에 기초하는 전통적인 방식들보다 더 높은 정밀도를 갖는 모션 보상을 허용한다.

비-제한 실시예에서, 신호 프로세서는 기준 이미지와 다른 수의 엘리먼트들을 갖는 모션-보상된 이미지를 생산한다. 다른 비-제한 실시예에서, 모션-보상된 이미지들의 하나 또는 그 초과의 엘리먼트들은 디폴트 값을 할당받는다(예를 들어, "N/A 값" (제한없음) 여기서 기준 이미지에서의 대응하는 로케이션은 이미지의 경계 밖에 있거나 스스로 "N/A 값"에 의해 특성화되거나, 모션에 관한 설명 정보는 특정 엘리먼트들이 기준 이미지의 모션 보상에 의해 예측될 수 없음을 표시한다).

추가적인 비-제한 실시예들에 따르면, 입력 신호가 단계-기반된(tier-based) 계층적 인코딩 방법에 의해 인코딩되고 디코딩되며, 연속적인 좌표들을 갖는 모션 보상은 단계-기반된 계층적 인코딩 루프 내에서 레버리징된다.

일 실시예에 따르면, 컴퓨터 프로세서 하드웨어는: 기준 이미지 정보를 수신하고, 기준 이미지 정보는 정해진 해상도에서 다수의 엘리먼트들의 그리드를 정의하며; 보상된 이미지에서 이미지 엘리먼트에 대한 보상 정보를 수신하며, 보상된 이미지에서의 디스플레이 엘리먼트들의 세팅들은 기준 이미지 정보로부터 적어도 부분적으로 도출되며; (기준 이미지의 샘플링 그리드의 2개의 샘플링 포지션들 사이에 포함되는 기준 이미지에서의 로케이션과 같은) 기준 이미지의 대응하는 오프-그리드 로케이션을 표시하는 좌표들의 세트를 생산하기 위해 수신된 보상 정보를 프로세싱하며; 그리드에서의 다수의 엘리먼트들의 그룹에 기초하여 이미지 엘리먼트의 대응하는 오프-그리드 로케이션에 대한 값을 계산하며; 및 보상된 이미지에서의 이미지 엘리먼트에 값을 할당한다.

일 실시예에서, 대응하는 오프-그리드 로케이션을 표시하는 좌표들은 그리드의 정해진 해상도보다 실질적으로 더 높은 해상도로 표현된다.

값을 계산하는 단계는: 그리드에서의 다수의 엘리먼트들 중 어느 것을 그룹에 포함시킬지를 식별하기 위한 알고리즘을 적용하는 단계를 포함할 수 있으며, 다수의 엘리먼트들의 그룹은 대응하는 오프-그리드 로케이션의 주변에 배치된다. 일 실시예에서, 알고리즘은 재구성되는 디스플레이 엘리먼트에 대한 값을 도출하기 위해 다수의 엘리먼트들의 그룹의 세팅들에 하나 또는 그 초과의 수학적 연산들을 적용한다.

추가적인 실시예들에 따르면, 좌표들의 세트는 대응하는 오프-그리드 로케이션이 실제 도메인에서의 수량들을 나타내는 숫자들을 통해 표현됨을 표시한다. 대응하는 오프-그리드 로케이션을 표시하는 좌표들의 세트는 그리드에서의 디스플레이 엘리먼트의 1/32보다 작게 그리드에서의 온-그리드 로케이션들에 관하여 오프셋을 특정하기 위해 충분히 높은 해상도를 가질 수 있다.

기준 이미지 정보의 해상도는 보상된 이미지의 해상도에서와 실질적으로 동일할 수 있다.

오프-그리드 로케이션의 좌표들을 계산하는 단계는 실제 도메인에서의 수량들을 나타내는 부동 소수점 포맷에서의 숫자들에 부동 소수점 연산들을 적용하는 단계를 포함할 수 있다.

값을 계산하는 단계는 실제 도메인에서의 수량들을 나타내는 부동 소수점 포맷에서의 숫자들에 부동 소수점 연산들을 적용하는 단계를 포함할 수 있다.

오프-그리드 로케이션의 좌표들을 계산하는 단계는 실제 도메인에서의 수량들을 나타내는 고정 소수점 포맷에서의 숫자들에 수학적 연산들을 적용하는 단계를 포함할 수 있다.

값을 계산하는 단계는 실제 도메인에서의 수량들을 나타내는 고정 소수점 포맷에서의 숫자들로 수학적 연산들을 적용하는 단계를 포함할 수 있다.

수신된 보상 정보는 실제 도메인에서의 수량들을 나타내는 숫자들에 의해 표현되는 하나 또는 그 초과의 파라미터들을 포함할 수 있다.

일 실시예에서, 디스플레이 엘리먼트에 대한 값을 계산하는 컴퓨터 프로세서 하드웨어는 그래픽스 프로세싱 유닛에서 쉐이더를 실행한다.

본원에 논의된 바와 같이, 각각의 디스플레이 엘리먼트에 대한 값을 계산하는 단계는 기준 이미지에서의 계산된 각 로케이션에 기초하여 적어도 하나의 리샘플링 동작을 실행하는 단계를 포함할 수 있다.

수신된 보상 정보를 프로세싱하는 단계는: 기준 이미지의 그리드에서의 대응하는 좌표들의 세트를 생산하기 위해 각각의 이미지 엘리먼트의 좌표들에 대응하는 파라미터들에 모션 매트릭스의 계수들에 대응하는 선형 조합들을 적용하는 단계; 및 보상된 이미지에서의 다수의 디스플레이 엘리먼트들의 각각에 대한 좌표들의 각 세트를 생산하기 위해 동일한 모션 매트릭스의 계수들에 대응하는 선형 조합들을 적용하는 단계를 포함할 수 있다.

추가적인 실시예들에 따르면, 수신된 보상 정보를 프로세싱하는 단계는: 보상된 이미지에서의 이미지 엘리먼트와 관련된 좌표들의 세트에 대응하는 동종의 좌표들에서 벡터를 계산하는 단계; 및 벡터에 매트릭스를 곱하는 단계를 포함할 수 있으며, 매트릭스에서의 계수들은 보상 정보에 적어도 부분적으로 기초하여 특정된다.

또 다른 실시예들에서, 컴퓨터 프로세서 하드웨어는 좌표들

로서 좌표들의 세트를 계산하며, 좌표들 는 이미지 엘리먼트의 오프-그리드 로케이션을 특정하며, 이미지 엘리먼트는 보상된 이미지에서의 로케이션 (x, y)에 상주하며, 좌표들 는 다음의 공식: 에 따라, 6개의 계수들 a, b, c, d, e 및 f로 x 및 y의 합산들 및 곱셈들을 수행함으로써 계산된다.

또 다른 실시예들에서, 컴퓨터 프로세서 하드웨어는 좌표들

로서 좌표들의 세트를 계산하며, 좌표들 는 이미지 엘리먼트의 오프-그리드 로케이션을 특정하며, 이미지 엘리먼트는 보상된 이미지에서의 로케이션 (x, y)에 상주하며, 좌표들 는 다음의 공식: 에 따라, 8개의 계수들 a, b, c, d, e, f, g 및 h로 x 및 y의 합산들 및 곱셈들을 수행함으로써 계산된다.

추가적인 실시예들에 따르면, 보상된 이미지에서의 적어도 하나의 엘리먼트는 보상된 이미지에서의 다른 엘리먼트들의 세트와 인접하지 않으며, 이 보상된 이미지에 대해 각각의 좌표들

가 (동일한 모션 매트릭스와 같은) 동일한 파라미터들에 따라 계산된다.

보상 정보는 스케일링, 회전 및 오프셋을 포함하는 그룹으로부터 선택된 모션 타입들에 대응하는 하나 또는 그 초과의 파라미터들을 포함할 수 있다. 보상 정보의 하나 또는 그 초과의 파라미터들은 보상된 이미지에서의 디스플레이 엘리먼트들에 대한 하나 또는 그 초과의 모션 벡터들을 발생시키기 위해 이용될 수 있다. 또 다른 실시예들에서, 보상 정보는 스케일링, 회전, 오프셋, 전단, 투시 변화를 포함하는 그룹으로부터 선택된 모션 타입들에 대응하는 하나 또는 그 초과의 파라미터들을 포함할 수 있다.

본원의 추가적인 실시예들은 그리드 밖의 로케이션을 특정하고 정해진 임계값을 넘어선 그리드의 최근접 샘플로부터의 거리로 위치되는 좌표들의 각 세트에 ("이용가능하지 않음" 디폴트 값과 같은) 디폴트 값을 관련시키는 단계를 포함한다.

재구성되는 보상된 이미지 또는 신호는 2차원 이미지, 체적 이미지, 단일-차원 이미지, 다-차원 이미지 등과 같은 임의의 적합한 타입일 수 있다.

또 다른 실시예에 따르면, 컴퓨터 프로세서 하드웨어는: 제 1 이미지에 대한 세팅들 정보를 수신하고, 제 1 이미지는 다수의 디스플레이 엘리먼트들의 세트를 포함하며; 제 2 이미지에서 정해진 디스플레이 엘리먼트에 대한 모션 보상 정보를 수신하며, 모션 보상 정보는 제 1 이미지에서의 특정 디스플레이 엘리먼트 내의 좌표 로케이션을 표시하며, 이 제 1 이미지에 대해 상기 제 2 이미지의 정해진 디스플레이 엘리먼트가 관련되며; 제 1 이미지에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 상기 좌표 로케이션을 활용하며; 및 그룹핑에서의 다수의 디스플레이 엘리먼트들의 세팅들에 기초하여 제 2 이미지에서의 정해진 디스플레이 엘리먼트에 대한 세팅을 발생시킨다.

이러한 후자의 실시예에서, 정해진 디스플레이 엘리먼트에 대한 세팅을 발생시키는 단계는: 특정 디스플레이 엘리먼트에서의 좌표 로케이션에 관하여 그룹핑에서의 다수의 디스플레이 엘리먼트들의 거리들에 적어도 부분적으로 기초하여 정해진 디스플레이 엘리먼트에 대한 세팅을 계산하는 단계를 포함할 수 있다.

정해진 디스플레이 엘리먼트에 대한 세팅을 발생시키는 단계는: 그룹핑에서의 다수의 디스플레이 엘리먼트들의 세팅들에 적어도 부분적으로 기초하여 정해진 디스플레이 엘리먼트에 대한 세팅을 계산하는 단계를 포함할 수 있다.

모션 정보에 의해 특정된 바와 같은 좌표 로케이션은 정해진 디스플레이 엘리먼트의 세팅을 발생시키기 위한 중심(centroid)을 나타낼 수 있다. 정해진 디스플레이 엘리먼트에 대한 세팅을 발생시키는 단계는: (리샘플링 커널(kernel)의 계수들과 같은) 가중된 값들을 생산하는 단계를 포함할 수 있으며, 가중된 값들은 정해진 디스플레이 엘리먼트의 중심과 그룹핑에서의 엘리먼트의 각 중심 사이의 각 거리에 따라 변화하며; 및 정해진 디스플레이 엘리먼트에 대한 세팅을 생산하기 위해 그룹핑에서의 디스플레이 엘리먼트들의 세팅들에 가중된 값들을 적용하는 단계를 포함할 수 있다.

일 실시예에서, 모션 정보에 의해 특정된 바와 같은 좌표 로케이션은 제 1 이미지에서의 특정 디스플레이 엘리먼트의 중심과 다른 로케이션을 특정할 수 있다. 실질적으로, 좌표 로케이션은 임의선택적 정밀도를 갖는 연속적인 좌표 시스템에 관하여, 제 1 이미지에서의 임의의 로케이션을 특정할 수 있다.

언급된 바와 같이, 일 실시예에서, 제 1 이미지의 해상도는 제 2 이미지의 해상도와 실질적으로 동일할 수 있다. 추가적인 실시예에 따르면, 제 1 이미지의 해상도는 제 2 이미지의 해상도와 실질적으로 동일할 수 있지만, 더 큰 시야를 갖는다(즉, 제 1 이미지는 실질적으로 제 2 이미지보다 더 많은 정보를 포함한다). 추가적인 실시예들에 따르면, 제 1 이미지(또는 기준 이미지)의 해상도는 제 2 이미지(기준 이미지에 기초하여 재생성된 이미지)의 해상도와 실질적으로 다를 수 있다. 예를 들어, 제 1 이미지는 단계별 시간 계층에서의 더 낮은 품질의 레벨에서, 제 2 이미지보다 더 낮은 해상도를 갖는 예측 이미지일 수 있다.

추가적인 실시예들에 따르면, 제 1 이미지에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 좌표 로케이션을 활용하는 단계는: 특정 디스플레이 엘리먼트 및 특정 디스플레이 엘리먼트의 근처에 위치되는 제 1 이미지에서의 디스플레이 엘리먼트를 포함하기 위해 다수의 디스플레이 엘리먼트들의 그룹핑을 생성하는 단계; 및 i) 특정 디스플레이 엘리먼트의 중심과 특정 디스플레이 엘리먼트의 근처에서의 디스플레이 엘리먼트의 중심에 관한 좌표 로케이션의 근접성, ii) 특정 디스플레이 엘리먼트의 세팅, 및 iii) 특정 디스플레이 엘리먼트의 근처에 위치된 디스플레이 엘리먼트의 세팅에 기초하여 정해진 디스플레이 엘리먼트의 세팅을 보간하는 단계를 포함할 수 있다.

또한 추가적인 실시예들에서, 제 1 이미지는 기준 이미지이며; 다수의 디스플레이 엘리먼트들의 세트는 제 1 이미지에 제시되는 객체의 적어도 일부분을 나타낸다.

본원에 더 설명되는 바와 같이, 모션 벡터에 의해 특정된 바와 같은 좌표 로케이션은 제로보다 크지만 1보다 작은 디스플레이 엘리먼트의 분수만큼 특정 디스플레이 엘리먼트의 중심에 관한 정해진 디스플레이 엘리먼트의 오프셋을 나타낼 수 있다.

본원의 실시예들은 소프트웨어 또는 하드웨어로 구현될 수 있거나, 소프트웨어 및 하드웨어의 조합을 이용하여 구현될 수 있으며, 본원에 개시되는 방법 동작들 중 임의의 동작 또는 전부를 실행하고 및/또는 지원하기 위해 하나 또는 그 초과의 컴퓨터화된 디바이스들, 라우터들, 네트워크, 워크스테이션들, 휴대용 또는 랩톱 컴퓨터들, 태블릿들, 이동 전화들, 게임 콘솔들, 셋톱 박스들 등의 구성을 포함할 수 있다. 다시 말해, 하나 또는 그 초과의 컴퓨터화된 디바이스들 또는 프로세서들은 서로 다른 실시예들을 실행하기 위해 본원에 설명된대로 동작하도록 프로그램될 수 있고 및/또는 구성될 수 있다.

상기에 논의된 기술들에 더하여, 본원의 또 다른 실시예들은 상기에 요약되며 이하에 상세하게 개시되는 단계들 및 동작들을 수행하기 위해 소프트웨어 프로그램들을 포함한다. 그와 같은 일 실시예는 프로세서 및 대응하는 메모리를 갖는 컴퓨터화된 디바이스에서 수행될 때, 프로세서로 하여금 본원에 개시된 동작들 중 임의의 동작을 수행하게 프로그램하고 및/또는 야기하는, 그 위에 인코딩되는 컴퓨터 프로그램 로직, 명령들 등을 포함하는 컴퓨터-판독가능한, 하드웨어 스토리지 자원(즉, 비-일시적 컴퓨터 판독가능한 매체)을 포함한다. 그와 같은 배치들은 광학 매체(예를 들어, CD-ROM, DVD-ROM 또는 BLU-RAY), 플래시 메모리 카드, 플로피 또는 하드 디스크 또는 하나 또는 그 초과의 ROM 또는 RAM 또는 PROM 칩들에서의 펌웨어 또는 마이크로코드와 같은 또는 응용 주문형 집적 회로(Application Specific Integrated Circuit: ASIC)와 같은 컴퓨터 판독가능한 명령들을 저장할 수 있는 임의의 다른 매체와 같은 컴퓨터 판독가능한 매체 상에 배치되거나 인코딩되는 소프트웨어, 코드 및/또는 다른 데이터(예를 들어, 데이터 구조)로서 제공될 수 있다. 소프트웨어 또는 펌웨어 또는 다른 그와 같은 구성들은 컴퓨터화된 디바이스가 본원에 설명된 기술들을 수행하게 하기 위해 컴퓨터화된 디바이스 상에 설치될 수 있다.

따라서, 본 개시물의 일 특정 실시예는 신호 프로세싱 동작들을 지원하기 위해 그 위에 저장되는 명령들을 갖는 컴퓨터-판독가능한 하드웨어 스토리지 매체를 포함하는 컴퓨터 프로그램 물건에 관한 것이다.

본원의 하나 또는 그 초과의 실시예들은 컴퓨터 판독가능한 스토리지 매체 및/또는 그 위에 저장되는 명령들을 갖는 시스템을 포함한다. 명령들은, 하나 또는 그 초과의 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 컴퓨터 프로세서 하드웨어로 하여금: 기준 이미지 정보를 수신하는 단계 ― 기준 이미지 정보는 정해진 해상도에서 다수의 엘리먼트들의 그리드를 정의함 ―; 보상된 이미지에서 이미지 엘리먼트에 대한 보상 정보를 수신하는 단계 ― 보상된 이미지에서의 디스플레이 엘리먼트들의 세팅들은 기준 이미지 정보로부터 적어도 부분적으로 도출됨 ―; 그리드에서의 이미지 엘리먼트의 대응하는 오프-그리드(off-grid) 로케이션을 표시하는 좌표들의 세트를 생산하기 위해 수신된 보상 정보를 프로세싱하는 단계; 그리드에서의 다수의 엘리먼트들의 그룹에 기초하여 이미지 엘리먼트의 대응하는 오프-그리드 로케이션에 대한 값을 계산하는 단계; 및 보상된 이미지에서의 이미지 엘리먼트에 값을 할당하는 단계의 동작들을 수행하게 한다.

본원의 하나 또는 그 초과의 실시예들은 컴퓨터 판독가능한 스토리지 매체 및/또는 그 위에 저장되는 명령들을 갖는 시스템을 포함한다. 명령들은, 하나 또는 그 초과의 컴퓨터 디바이스들의 컴퓨터 프로세서 하드웨어에 의해 실행될 때, 컴퓨터 프로세서 하드웨어로 하여금: 제 1 이미지에 대한 세팅들 정보를 수신하는 단계 ― 제 1 이미지는 다수의 디스플레이 엘리먼트들의 세트를 포함함 ―; 제 2 이미지에서 정해진 디스플레이 엘리먼트에 대한 모션 보상 정보를 수신하는 단계 ― 모션 보상 정보는 제 1 이미지에서의 특정 디스플레이 엘리먼트 내의 좌표 로케이션을 표시하며, 이 제 1 이미지에 대해 정해진 디스플레이 엘리먼트가 관련됨 ―; 제 1 이미지에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 좌표 로케이션을 활용하는 단계; 및 그룹핑에서의 다수의 디스플레이 엘리먼트들의 세팅들에 기초하여 제 2 이미지에서의 정해진 디스플레이 엘리먼트에 대한 세팅을 발생시키는 단계의 동작들을 수행하게 한다.

단계들의 순서는 명확성을 위해 추가되었다. 이들 단계들은 임의의 적합한 순서로 수행될 수 있다.

본 개시물의 다른 실시예들은 상기에 요약되며 이하에 상세하게 개시되는 방법 실시예 단계들 및 동작들을 수행하기 위해 소프트웨어 프로그램들, 펌웨어 및/또는 각각의 하드웨어를 포함한다.

또한, 본원에 논의된 바와 같은 시스템, 방법, 장치, 컴퓨터 판독가능한 스토리지 매체 상의 명령들 등은 엄격하게 소프트웨어 프로그램으로서, 소프트웨어, 펌웨어 및/또는 하드웨어의 하이브리드로서, 또는 프로세서 내에 또는 운영 시스템 내에 또는 소프트웨어 애플리케이션 내에 등과 같이 하드웨어 단독으로 구체화될 수 있음이 이해될 것이다. 상기에 논의된 바와 같이, 본원의 기술들은 신호들을 프로세싱하며 인코딩된 데이터의 비트스트림들을 생산하거나, 인코딩된 데이터의 비트스트림들을 프로세싱하며 신호들의 렌디션들(renditions)을 생산하는 소프트웨어, 펌웨어 및/또는 하드웨어 애플리케이션들에서의 이용을 위해 잘 맞는다. 그러나, 본원의 실시예들은 그와 같은 애플리케이션들에서의 이용에 제한되지 않으며 본원에 논의된 기술들은 또한 다른 애플리케이션들에 대해 잘 맞음이 주목되어야 한다.

추가로, 본원의 서로 다른 피처들, 기술들, 구성들 등의 각각이 본 개시물의 서로 다른 곳들에서 논의될 수 있더라도, 개념들의 각각은 서로 독립적으로 또는 서로 조합하여 실행될 수 있도록 의도됨을 주목한다. 따라서, 본원에 설명된 바와 같은 하나 또는 그 초과의 본 발명들, 실시예들 등은 많은 서로 다른 방식들로 구체화될 수 있으며 조망될 수 있다.

또한, 본원의 실시예들의 이러한 예비적인 논의는 모든 실시예 및/또는 본 개시물 또는 청구된 발명(들)의 개량하는 신규한 양상을 특정하지 않음을 주목한다. 대신에, 본 요약 설명은 단지 종래 기술들을 능가하는 신규성의 대응하는 포인트들 및 일반적인 실시예들을 제시한다. 발명(들)의 추가적인 상세들 및/또는 가능한 관점들(치환들)에 대해, 독자는 이하에 더 논의되는 본 개시물의 상세한 설명 섹션 및 대응하는 도면들을 참조한다.

본 발명의 전술한 그리고 다른 목적들, 피처들 및 장점들은 유사 참조 문자들이 서로 다른 뷰들 전반에서 동일한 부분들을 지칭하는 첨부하는 도면들에 예시된 바와 같이, 후속하는 본원의 바람직한 실시예들의 더 구체적인 설명으로부터 명백해질 것이다. 도면들은 실척될 필요가 없으며, 대신에 실시예들, 원리들, 개념들 등을 예시할 때 강조가 이루어진다.
도 1은 본원에 예시되는 비-제한 실시예들을 레버리징하는 모션 보상 시스템을 설명하는 예시도이다.
도 2는 본원에 예시되는 비-제한 실시예들에 따른 모션 보상 동작들을 설명하는 예시도이다.
도 3은 본원에 예시되는 비-제한 실시예에 의한 인코딩시에 발생되는 대응하는 정보와 함께, 모션 추정 및 보상의 객체인 2개의 샘플 이미지들을 도시한다.
도 4a는 본원에 예시되는 비-제한 실시예에 따른 기준 이미지에서의 기준 로케이션의 계산을 설명하는 예시도이다.
도 4b는 도 4a에 설명되는 계산들의 비-제한 예를 예시한다.
도 5는 본원에 예시되는 비-제한 실시예들에 따른 온-더-플라이 리샘플링 동작들을 설명하는 예시도이다.
도 6은 본원에 예시되는 비-제한 실시예들에 따른 모션 보상을 구현하는 블록도를 도시한다.
도 7은 본원에 설명된 발명에 따른 데이터 프로세싱을 제공하는 컴퓨터 시스템의 블록도를 도시한다.
도 8은 본원의 실시예들에 따른 신호의 디코딩을 예시하는 예시도이다.
도 9 및 10은 본원의 실시예들에 따른 예시 방법들을 예시하는 도면들이다.

본원에 예시되는 방법들은 제한없이, 사운드 신호들, 멀티채널 사운드 신호들, 픽처들, 2-차원 이미지들, 비디오 신호들, 멀티-뷰(multi-view) 비디오 신호들, 3D 비디오 신호들, 체적 신호들, 체적 비디오 신호들, 의료 이미징 신호들, 4 차원들 이상을 갖는 신호들 등을 포함하는, 임의의 타입의 다-차원 신호들에 대해 적합하다.

간략화를 위해, 설명에 따라 예시적인 실시예들은 대개 비디오 시퀀스들의 인코딩 및 디코딩을 위한 모션 보상 동작들의 문맥에서 이용되는 모션 존들의 이용 사례를 채택하는데, 즉 시간-기반된 신호들은 (비월된(interlaced) 비디오 신호들의 경우에 공통으로 "프레임들" 또는 "필드들"로 지칭되는) 2D 이미지들의 시퀀스로 이루어지며, (그와 같은 비-제한 예시 경우에 전형적으로 "픽셀"로 지칭되는) 각 엘리먼트는 적합한 컬러 공간에서의 컬러 세팅들의 세트(예를 들어, YUV, RGB, HSV 등)에 의해 특성화된다. U 및 V 평면들이 전형적으로 Y 평면에 대해 계산되는 모션 보상 정보를 레버리징하더라도, 서로 다른 컬러 평면들(예를 들어, 휘도-Y 평면 및 2개의 색차 - U 및 V - 평면들)이 종종 별개로 인코딩되며, 그리고(색차 정보에 대한 인간 눈의 더 낮은 민감도로 인해) 종종 서로 다른 해상도들을 갖는다.

본원에 예시되는 방법들 및 실시예들은 서로 함께 및/또는 다른 방법들과 함께 이용될 수 있다. 본원에 예시되는 바람직한 실시예들 중 다수는 압축을 달성하는, 즉 최소량의 비트들로 신호의 적합한 렌디션을 인코딩하는 목표를 갖는 기술들 및 알고리즘들을 설명한다. 이는 또한 비-제한 예이다: 다른 비-제한 실시예들은 견고하며 효율적인 필터링, 이미지 잡음제거(denoising), 신호 수퍼샘플링, 머신 비전(machine vision) 등과 같은 서로 다른 목적들을 달성한다.

도 1은 디코더로서 구성되는 신호 프로세서 내의 모션 보상 시스템을 설명하는 예시도이다. 시스템은 기준 이미지(100-1)의 모션 보상 및 잔여 데이터에 기초하여 타겟 이미지(100-2)를 재구성하도록 구성된다. 모션 보상 블록(120)은 기준 이미지(100-1) 및 모션 보상에 관한 정보(110)를 수신하며, 정보(110)는 타겟 이미지(100-2)에 대한 적합한 예측을 발생시키기 위해 기준 이미지(100-1)를 레버리징하는 방법을 특정한다.

기준 이미지(100-1) 및 정보(110)에 적어도 부분적으로 기초하여, 모션 보상 블록(120)은 목적지 이미지(130), 즉 타겟 이미지(100-2)에 대한 예측으로서 기능하는 모션-보상된 이미지를 발생시킨다.

콤바이너(combiner)(150)는 목적지 이미지(130)를 잔여 데이터(140)와 조합하여, 타겟 이미지(100-2)의 렌디션을 재구성한다.

본원에 설명되는 신규한 방법들은 모션 보상 블록(120)의 기능을 수행하기 위한 혁신적인 방식들을 예시한다.

도 2는 비-제한 실시예에 따른 모션 보상 동작들을 설명하는 예시도이다. 목적지 이미지(130)의 각 엘리먼트에 대해, 모션 보상기(205)는 도면에 예시된 단계들에 따라, 모션-보상된 세팅들(즉, 기준 이미지의 적합한 로케이션의 모션 보상에 기초하는 값들)을 발생시킨다.

우선, 새로운 좌표들 계산기(220)는 모션(210)에 관한 목적지 이미지 및 설명 정보에서의 정해진 엘리먼트의 좌표들 (x, y)(200)를 수신하며, 좌표들

(230)을 계산한다. 좌표들 은 목적지 이미지의 로케이션(x, y)에 대응하는 기준 이미지에서의 로케이션을 나타낸다. 본 발명에 따르면, 및 은, 본질적으로 기준 이미지의 실제 해상도(즉, 샘플링 그리드)에 관계없이, 기준 이미지의 임의선택적 로케이션을 표시하도록 허용하는, (예를 들어, 부동 소수점 숫자들 또는 고-정밀도 고정 소수점 숫자들에 의해) 연속적인 좌표들 시스템으로 표현된다.

는 (정수 좌표들에 의해 특성화되는) 기준 이미지의 엘리먼트를 식별할 필요가 없기 때문에, 모션 보상기(205)는 로케이션 에서 기준 이미지의 값을 직접 페칭할 수 없다. 설명된 비-제한 실시예에서, 온-더-플라이 리샘플링 방법이 이용되며, 리샘플러(260)는 레버리지를 위해 기준 이미지(100-1), 기준 이미지에 관한 메타데이터(245)(존재하는 경우에) 및 리샘플링 방법에 관한 정보(250)를 수신하여, 목적지 이미지의 좌표들 (x, y)에 대해 이용하기 위해 로케이션 에서의 기준 이미지의 값, 즉 특정 세팅들(270)을 발생시킨다.

리샘플러(260)는 연속적인 좌표들

를 갖는 특정된 임의선택적 로케이션을 둘러싸는 기준 이미지(100-1)의 엘리먼트들의 온-더-플라이 필터링(즉, 좌표들(230)을 수신한 후에)을 수행한다. 필터링은 리샘플링 방법(250)에 관한 정보에 기초하여, 란초스(Lanczos) 필터, 큐빅 필터 또는 선형 필터 중에서 선택함으로써 적합한 커널에 따라 수행된다(정보(250)의 부재시에, 리샘플러(260)는 디폴트 커널을 선택한다). 이러한 방식으로, 모션 보상기(205)로 모션 보상을 구현하는 디코더에 대해, 기준 이미지(100-1)의 수퍼샘플링된 렌디션을 컴퓨팅하고 저장하며, 그와 같은 수퍼샘플링된 렌디션의 유한 그리드로부터 샘플들을 선택할 필요가 없다. 디코더는 단지 정규 샘플 그리드(즉, 목적지 이미지에서와 동일한 해상도)를 갖는 기준 이미지를 저장하고 임의의 임의선택적 포지션을 선택할 수 있어, 임의선택적 포지션에 대해 기준 이미지에서의 대응하는 샘플 값을 온 더 플라이로 발생/보간한다. 일부 상황들에서 그와 같은 방법은 디코더에서의 메모리 요구들의 상당한 감소를 허용하며, 동시에 또한 (대응하는 압축 이점들을 갖는) 더 정밀한 모션 보상을 허용한다. 다른 상황들에서 방법은 또한 전력을 프로세싱하는 관점에서 절감들을 허용한다: 디코더는 단지 특정 포지션들에서 필요한 수퍼샘플링된 기준 샘플들을 생산하며, 이 특정 포지션들에서 기준 샘플들을 필요로 하지만, (전체 이미지 또는 이미지의 일부분들 어느 한 쪽에 대해) 전체 수퍼샘플링된 기준 그리드를 발생시킬(즉, 또한 결코 액세스되지 않고, 레버리징되지 않거나 디스플레이되지 않을 많은 샘플들을 계산할) 필요가 없다.

도 3은 본원에 예시되는 비-제한 실시예에 의한 인코딩에서 발생되는 대응하는 정보와 함께, 모션 추정 및 보상의 객체인 2개의 샘플 이미지들을 도시한다.

특히, 도면은 이미지들의 시퀀스에서 2개의 후속하는 이미지들(100-1 및 100-2)을 예시한다. 이미지들은 서로 간에 상당한 상관관계를 도시하며, 그와 같은 상관관계는 모션 보상에 의해 훨씬 더 강화될 수 있다: 배경은 약간 반시계 방향으로 회전하며, 이미지(100-1)에서의 객체(301-1)는 이미지(100-2)에서의 객체(301-2)로 되도록 이동한다(여기서 이동은 하부 우측을 향한 병진 운동 및 줌-해제(de-zoom) 둘다와 관련하는데, 즉 객체가 더 작아진다). 이미지(100-1)에서 보이지 않는 객체(302-2)는 이미지(100-2)에서 보여진다.

비-제한 실시예는 이미지들(100-1(기준 이미지) 및 100-2(타겟 이미지))로부터 시작함으로써, (예를 들어, 인접하거나 심지어 비-인접한) 임의선택적 형상들을 갖는 모션 존들을 이용하여 타겟 이미지를 인코딩/디코딩할 수 있으며, 여기서 형상들은 이미지들(100-1 및 100-2)에 기초하여 선택된다. 각 모션 존의 형상은 임의선택적일 수 있으며, 직사각형 블록들로 제한되지 않는다. 일부 상황들에서 이는 객체들의 경계들을 더 가깝게 뒤따르며(예를 들어, 이동하는 객체의 경계들에 근접한 엘리먼트들을 "드래그"하는 것을 회피함) 그리고 이미지의 각 정해진 엘리먼트에 대해 정확한 모션 정보를 더 효율적으로 전송하여, 모션 보상의 효율성 및 효과를 증가시키도록 허용할 수 있다.

더 구체적으로, 이미지들(100-1 및 100-2)을 프로세싱함으로써, 인코더는 (기준 이미지(100-1)의 엘리먼트들을 모션-보상함으로써 효율적으로 예측될 수 있는 이미지(100-2)의 배경의 일부분을 나타내는) 모션 존(311-2), (기준 이미지(100-1)의 객체(301-1)를 모션-보상함으로써 효율적으로 예측될 수 있는 이미지(100-2)의 객체(301-2)를 나타내는) 모션 존(312-2) 및 (이미지(100-1)에서 보이지 않으며, 그리고 결과적으로 이미지(100-1)의 엘리먼트들을 모션-보상함으로써 예측될 수 없는 이미지(100-2)의 엘리먼트들을 나타내는) 313-2, 314-2 및 315-2로 이루어지는 비-인접한 잔여 모션 존을 식별한다.

인코더(100)는 또한 모션 존들에 관련되는 설명 정보(320-2)를 발생시킨다. 비-제한 실시예에서, 그와 같은 정보는 각 모션 존에 대한 ZRO(Zoom, Rotation and Offset) 모션 매트릭스, 및 잔여 모션 존에 대한 디폴트 파라미터("N/A 모션", 잔여 모션 존의 엘리먼트들은 모션 보상을 통해 적합하게 예측될 수 없음을 의미함)를 포함한다.

모션 존들의 검출 및 모션 존들에 관련된 설명 정보의 발생은 본 출원에 설명되지 않는, 적합한 모션 존 검출 방법들에 따라 수행된다.

마지막으로, 인코더는 기준 이미지(100-1)의 모션-존-기반된 모션 보상에 의해 획득되는 타겟 이미지(100-2)의 예측을 조정하기 위해 잔여 데이터(330-2)를 발생시킨다. 모션 보상에 의해 획득된 예측과 조합되어, 잔여 데이터는 타겟 이미지(100-2)의 렌디션을 완전히 재구성하도록 허용한다.

상술한 인코딩 방법을 이용함으로써 인코딩되는 이미지들을 디코딩하기 위한 방법은 다음의 단계들을 포함한다:

a. 적어도 하나의 모션 존 및 모션에 관한 설명 정보의 일 세트를 수신하는 단계;

b. 제 1 (기준) 이미지를 수신하는 단계;

c. 단계 b 동안 수신된 제 1 이미지, 단계 a 동안 수신된 모션 존들 및 모션에 관한 설명 정보를 이용함으로써 제 2 (타겟) 이미지에 대한 모션-보상된 예측을 컴퓨팅하는 단계;

d. 잔여 데이터(존재한다면)를 수신하고 디코딩하는 단계;

e. 제 2 이미지에 대한 예측자를 잔여 데이터(존재한다면)와 조합하여, 제 2 이미지의 렌디션을 생산하는 단계를 포함한다.

엄격하게 순차적이지 않고서, 하나 또는 그 초과의 단계들이 동시에 발생할 수 있다.

도 4a는 새로운 좌표 계산기(220)의 비-제한 실시예를 예시하는, 기준 이미지에서의 기준 로케이션의 계산을 설명하는 예시도이다.

동종의 좌표 변환기(400)는 목적지 이미지에서의 엘리먼트의 좌표들 (x, y)를 수신하며 이 좌표들을 동종의 좌표들(x, y, 1)(405)로 변환한다. 매트릭스 계산기(410)는 모션에 관한 설명 정보(210)를 수신하며 그 정보를 모션 매트릭스 M(415)으로 변환한다. 곱셈기(420)는 동종의 좌표들(405) 및 모션 매트릭스(415)를 수신하며, 변환된 좌표들(425)을 계산한다. 모션 매트릭스 M(415)은 아핀 변환이라면, 변환된 좌표들(425)의 제 3 좌표는 이미 1과 동일할 것이며, 그렇지 않으면(예를 들어, 매트릭스 M이 투영 매트릭스인 경우에) 좌표들(425)을 정규화할 필요가 있다. 동종의 좌표들 변환기(430)는 그와 같은 정규화(필요한 경우)를 수행하여, 동종의 좌표들

을 발생시킨다. 마지막으로, 선택기(440)는 기준 이미지에서의 좌표들 을 발생시킨다.

목적지 이미지에서의 엘리먼트의 좌표들 (x, y)는 목적지 이미지의 샘플 그리드의 엘리먼트를 설명하는 한편(즉, 그 좌표들은 샘플 그리드의 정수 포지션들을 설명함), 좌표들

(분수들로 표현됨)은 (제한없이, 기준 이미지의 샘플 그리드의 경계들 밖의 로케이션들을 포함하는) 기준 이미지의 임의선택적 로케이션을 설명할 수 있다. 매트릭스 M(415)의 계수들은 분수들일 수 있으며, 새로운 좌표 계산기(220) 내에 수행된 계산들은 분수들로의 계산들(제한없이, 부동 소수점 연산들, 또는 고-정밀도 고정 소수점 숫자들로의 연산들)을 포함한다.

도 4b는 도 4a에 설명된 계산들의 비-제한 예시 실시예를 예시한다. 비-제한 예는 (x, y, 1)에 매트릭스 M의 곱셈이 이미 정규화되는 좌표들

의 세트를 발생시키도록, 모션 매트릭스 M(415)이 아핀 변환에 대응하는 경우를 도시한다.

비-제한 실시예에서, 엘리먼트(465) 및 매트릭스(415)의 좌표들(200)은 (예를 들어, 제한없이, 2개의 이웃하는 엘리먼트들 사이의 거리보다 많은 양만큼 기준 이미지의 샘플링 그리드 밖인) 임계값을 넘어선 기준 이미지의 밖에 있는 경우, 엘리먼트(465)는 디폴트 값(예를 들어, "N/A" 값)을 할당받는다.

도 5는 비-제한 실시예에 따른 온-더-플라이 리샘플링 동작들을 설명하는 예시도이다.

좌표들

을 갖는 포지션(455)은 기준 이미지(100-1)의 샘플 그리드의 임의의 엘리먼트에 의해 설명되지 않는다. 결과적으로, 목적지 이미지(130)의 대응하는 모션-보상된 엘리먼트에 대해 어떤 값도 용이하게 이용가능하지 않다. 그러나, 좌표들 에 근접한 적합한 엘리먼트들의 세트("예측자들")를 선택함으로써 그리고 적합한 가중치들(예를 들어, 적합한 필터링 커널)에 따라 그 값들의 가중된 평균을 수행함으로써, 온 더 플라이로 그와 같은 값을 계산할 수 있다. 도 5는 바이큐빅(bicubic) 필터 커널이 이용되는 비-제한 예를 예시하며, 결과적으로 포지션 에서의 기준 이미지(100-1)의 값이 16개의 예측자 엘리먼트들의 가중된 평균을 수행함으로써 계산된다.

리샘플링을 수행하기 위해, 리샘플러(260)는 가중된 평균(즉, 어디에 "필터를 포지션할지")에 대해 레버리지하기 위해 16개의 예측자들을 식별해야 하며 이용되는 특정 가중치들을 컴퓨팅해야 한다.

의 정수 성분은 필터를 포지션할 장소를 표시하며, 좌표들의 분수 성분은 필터에 이용할 계수들을 표시한다.

플로어 계산기(500)는 좌표들

(230)을 수신하여, 좌표들 의 정수 성분들(505)을 계산한다. 기준 이미지의 최상부 좌측에서의 원점에 기초한 좌표들의 비-제한 예에서, 정수 좌표들(505)은 좌표들 의 최상부 좌측에서의 샘플 그리드의 최근접 엘리먼트를 식별한다. 기준 이미지(240), 기준 이미지에 관한 메타데이터(245)(존재한다면) 및 리샘플링 방법(250)에 관한 정보(존재한다면)를 수신하는 예측자들(510)의 선택기는 블록의 최상부 좌측으로부터 대각선에서 제 2 엘리먼트로서 좌표들(505)을 갖는 엘리먼트를 갖는 기준 이미지의 엘리먼트들의 4x4 블록을 선택함으로써, 16개의 예측자들을 선택할 수 있다. 16개의 예측자들 중 일부는 "N/A"를 할당받으면(예를 들어, 이 예측자들은 기준 이미지의 경계들 밖에 있기 때문에, 이용가능하지 않은 값), 이 예측자들은 예측자들의 세트 밖으로 나오며, 값을 갖는 예측자들만이 유지된다.

가중치들의 계산기(520)는 좌표들

및 예측자들의 좌표들을 수신한다. 선택된 리샘플링 방법(예를 들어, 본 비-제한 예에서, 바이큐빅 필터링) 및 좌표들 의 분수 성분에 기초하여(즉, 포지션 와 정수 좌표들(505)을 갖는 엘리먼트 사이의 거리에 관하여) 가중치들의 계산기(520)는 캐시 예측자에 적용하기 위해 가중치들을 계산한다. 16개보다 작은 예측자들이 선택되면, 가중치들의 계산기(520)는 이상적인 4x4 커널에 대한 적합한 바이큐빅 가중치들을 발생시키며, 그 후에 선택된 예측자들에 대응하는 계수들만을 선택하며 그들의 합계가 1과 동일하도록 계수들을 정규화한다.

마지막으로, 곱셈기(530)는 각 예측자에 적용하기 위해 예측자들 및 가중치 둘 다를 수신하며, 결과적으로 포지션

에서의 기준 이미지의 리샘플링된 값, 즉 목적지 이미지에서의 좌표들 (x, y)에 대한 세팅들(270)을 계산한다.

비-제한 실시예에서, 특정

좌표들에 기초하여 필터의 정밀한 계수들을 실시간으로 발생시킬 필요성을 회피하기 위해, 가중치들의 계산기(520)를 구현하는 신호 프로세서는 정해진 수의 사전-계산된 계수들의 세트(예를 들어, 비-제한 예에서, 계수들의 128개의 세트들)를 갖는 적합한 룩업 테이블들을 액세스하도록, 그리고 그 후에 특정 좌표들의 분수 성분들에 최근접한 계수들의 2개의 세트의 계수들을 보간하도록 구성된다.

비-제한 실시예에서, 기준 이미지에 관한 메타데이터(245)는 모션 보상 전에 기준 이미지(100-1)에 적용하기 위한 수정들에 관한 정보(예를 들어, 제한 없이, 변경들을 명확히 설명하기 위해, 이미지의 값들에 적용하기 위한 스케일 파라미터)를 포함한다.

도 6은 모션 존들을 레버리징하는 비-제한 실시예에 따른 모션 보상을 구현하는 블록도를 도시한다. 특히, 모션 보상기(600)는 연속적인 좌표들로의 모션 보상에 의해 타겟 이미지의 예측을 발생시킨다.

블록(600)은 모션 존들 및 모션에 관한 설명 정보에 대해 제 1 입력 세트(610-0, ..., 610-n 및 620-0, ..., 620-n), 목적지 이미지에서의 엘리먼트 좌표들 (x, y)에 대한 (즉, 목적지 이미지의 샘플 그리드에 따라 예측하기 위해 특정 엘리먼트를 식별하는) 목적지 이미지에서의 엘리먼트 좌표들 (x, y)에 대한 제 2 입력(200), 기준 이미지에 대한 제 3 입력(240) 및 모션 보상된 엘리먼트(즉, 목적지 이미지에서의 좌표들 (x, y)에 대한 세팅들)에 할당하기 위한 값들에 대한 출력(270)을 포함하는 정보를 수신한다. 엘리먼트 좌표들(200)에 기초하여, 모션 보상기(600)는 엘리먼트가 속하는 모션 존(들)을 식별하며, 그리고 - 모션에 관한 대응하는 설명 정보 및 엘리먼트 좌표들(200)에 적어도 부분적으로 기초하여 - 목적지 이미지에서의 엘리먼트 좌표들(200)에 대응하는 (기준 이미지의 샘플 그리드에 독립적으로 그리고 기준 이미지에서의 임의의 임의선택적 로케이션에 대한 값을 페칭할 수 있음을 가정하여, 연속적인 좌표 시스템으로 특정된) 기준 이미지(240)에서의 로케이션

을 발생시킨다. 마지막으로, 기준 이미지(240) 및 발생된 로케이션 에 기초하여, 모션 보상기(600)는 목적지 이미지의 샘플 그리드의 포지션 에서의 특정 엘리먼트에 대해 모션-보상된 세팅들(270)(즉, 예측자)을 계산한다.

도 7은 본원의 실시예들에 따른 컴퓨터 프로세싱을 제공하는 컴퓨터 시스템(800)의 블록도이다.

컴퓨터 시스템(800)은 스위치, 라우터, 서버, 클라이언트 등으로서 동작하는, 퍼스널 컴퓨터, 프로세싱 회로, 텔레비전, 재생 디바이스, 인코딩 디바이스, 워크스테이션, 휴대용 컴퓨팅 디바이스, 이동 전화, 태블릿, 콘솔, 셋톱 박스, 네트워크 단말, 프로세싱 디바이스, 네트워크 디바이스와 같은 컴퓨터화된 디바이스일 수 있거나 적어도 그 디바이스를 포함할 수 있다.

다음의 논의는 이전에 논의된 바와 같은 신호 프로세서와 관련된 기능을 실행하는 방법을 표시하는 기본 실시예를 제공함을 주목한다. 그러나, 본원에 설명된 바와 같은 동작들을 실행하기 위한 실제 구성이 각각의 애플리케이션에 따라 변화할 수 있음이 주목되어야 한다.

도시된 바와 같이, 본 예의 컴퓨터 시스템(800)은 비-일시적 컴퓨터-판독가능한 스토리지 매체 등과 같은 컴퓨터 판독가능한 스토리지 매체(812)와의 통신을 제공하는 통신 버스(811)를 포함하며, 그 스토리지 저장 매체에서 디지털 정보가 저장될 수 있으며 리트리브(retrieved)될 수 있다.

컴퓨터 시스템(800)은 프로세서(813), I/O 인터페이스(814) 및 통신들 인터페이스(817)을 더 포함할 수 있다.

일 실시예에서, I/O 인터페이스(814)는 레포지토리(repository)(180), 그리고 존재한다면, 스크린 디스플레이, 오디오 스피커들, 키보드, 컴퓨터 마우스 등과 같은 주변 디바이스들(816)에 대한 접속성을 제공한다.

상기에 간략하게 언급된 바와 같이, 컴퓨터 판독가능한 스토리지 매체(812)는 메모리, 광학 스토리지, 고체 상태 스토리지, 하드 드라이브, 플로피 디스크 등과 같은 임의의 적합한 디바이스 및/또는 하드웨어일 수 있다. 일 실시예에서, 스토리지 매체(812)는 신호 프로세서 애플리케이션(840-1)과 관련된 명령들을 저장하도록 구성되는 비-일시적 스토리지 매체(즉, 비-캐리어 파 매체)이다. 명령들은 본원에 논의된 바와 같은 동작들 중 임의의 동작을 수행하기 위해 프로세서(813)와 같은 각각의 자원에 의해 실행된다.

통신들 인터페이스(817)는 컴퓨터 시스템(800)이 원격 소스들로부터 정보를 리트리브하고 다른 컴퓨터들, 스위치들, 클라이언트들, 서버들 등과 통신하기 위해 네트워크(190)를 통해 통신하게 할 수 있다. I/O 인터페이스(814)는 또한 프로세서(813)가 레포지토리(180)로부터의 저장된 정보를 리트리브하거나 그 정보의 리트리브를 시도하게 할 수 있다. 도시된 바와 같이, 컴퓨터 판독가능한 스토리지 매체(812)는 프로세스(840-2)로서 프로세서(813)에 의해 실행되는 신호 프로세서 애플리케이션(840-1)으로 인코딩될 수 있다.

컴퓨터 시스템(800)은 데이터 및/또는 로직 명령들을 저장하기 위한 컴퓨터 판독가능한 스토리지 매체(812)를 포함하기 위해 구체화될 수 있음을 주목한다.

신호 프로세서 애플리케이션(840-1)과 관련된 코드는 본원에 예시된 신호 프로세서들의 기능들 및/또는 본원에 논의된 발명을 구현하기 위해 필요한 다른 자원들을 구현할 수 있다.

일 실시예의 동작 동안, 프로세서(813)는 컴퓨터 판독가능한 스토리지 매체(812)에 저장된 신호 프로세서 애플리케이션(840-1)의 명령들을 론치, 실행(run), 실행(execute), 해석 또는 그렇지 않으면 수행하기 위해 통신 버스(811)를 통해 컴퓨터 판독가능한 스토리지 매체(812)를 액세스한다. 신호 프로세서 애플리케이션(840-1)의 실행은 프로세서(813)에서의 프로세싱 기능을 생산한다. 다시 말해, 프로세서(813)와 관련된 신호 프로세서 프로세스(840-2)는 컴퓨터 시스템(800)에서의 프로세서(813) 내에 또는 그 프로세서(813) 상에 신호 프로세서 애플리케이션(840-1)을 실행하는 하나 또는 그 초과의 양상들을 나타낸다.

도 8은 본원의 실시예들에 따른 보상된 이미지에서의 이미지 엘리먼트들에 대한 세팅들을 도출하기 위해 기준 이미지의 이용을 예시하는 예시도이다.

더 구체적으로, 도시된 바와 같이, 디코더와 같은 컴퓨터 프로세서 하드웨어는 (기준 이미지와 같은) 이미지의 렌디션(840)에서 디스플레이 엘리먼트들(810)(예를 들어, 디스플레이 엘리먼트들(810-1, 810-2, 810-3, ...)의 세팅들을 특정하는 세팅들 정보를 수신한다. 세팅들은 컬러, 색차, 휘도 등과 같은 임의의 적합한 파라미터를 표시할 수 있다. 이미지의 렌디션(840)에서의 디스플레이 엘리먼트들 중 하나 또는 그 초과는 기준 이미지에 나타나는 객체의 적어도 일부분을 나타낼 수 있다. 이미지의 렌디션(850)은 기준 이미지에서 캡처된 객체의 일부분을 포함하는 시퀀스에서의 다른 이미지를 나타낼 수 있다. 본원에 논의된 바와 같이, 기준 이미지(이미지의 렌디션(840))는 이미지의 렌디션(850)과 같은 다른 이미지를 재구성하기 위한 기반으로서 이용될 수 있다 .

이러한 비-제한 예시적 실시예에서, 모션 보상된 이미지와 같은 이미지의 렌디션(850)은 다수의 디스플레이 엘리먼트들(820)(예를 들어, 디스플레이 엘리먼트(820-1), 디스플레이 엘리먼트(820-2), 디스플레이 엘리먼트(820-3) 등)을 포함한다. 이전에 논의된 바와 같이, 이미지의 렌디션(850)은 기준 이미지에서의 객체의 렌디션에 기초하여 발생될 수 있다. 모션 벡터(860)는 디스플레이 엘리먼트(820-9)가 관계하는 이미지의 렌디션(840)에서의 정밀한 로케이션을 특정한다. 본원의 실시예들에 따르면, 종래의 방법들에서의 수퍼샘플링된(즉, 수퍼 고 해상도) 이미지로 이미지의 렌디션(840)을 업샘플링하는 것에 대한 대안으로서, 하나 또는 그 초과의 엘리먼트들에 대한 서브-엘리먼트 또는 단편 엘리먼트 모션 보상을 수용하기 위해, 본원의 실시예들은 비교적 낮은 품질 레벨 또는 낮은 해상도의 이미지의 렌디션(840)에 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅을 도출하는 것을 포함한다.

특정 예로서, 컴퓨터 프로세서 하드웨어는 이미지의 렌디션(850)에서의 디스플레이 엘리먼트(820-9)에 대한 재구성 데이터 또는 다른 메타데이터 및/또는 모션 보상 정보를 수신한다. 이미지의 렌디션(850)은 이미지의 렌디션(840)(기준 이미지)에서의 디스플레이 엘리먼트들의 세팅들에 적어도 부분적으로 기초하여 생성되는 이미지를 나타낸다. 수신된 모션 보상 정보는 디스플레이 엘리먼트(820-9)가 관련하는 이미지의 렌디션(840)에서 디스플레이 엘리먼트(810-11) 내의 좌표 로케이션을 표시한다. 디스플레이 엘리먼트(820-9)에 대한 세팅들을 재구성하기 위해 수신된 재구성 데이터는 디스플레이 엘리먼트에 대한 각각의 세팅을 재구성하기 위한 기반으로서 하나 또는 그 초과의 기준 이미지들 뿐 아니라 각 기준 이미지 내의 하나 또는 그 초과의 로케이션들 중 어느 것이 이용되어야 하는지를 특정할 수 있다. 간단한 예시적인 실시예에서, 모션 보상 정보는 디스플레이 엘리먼트(820-9)에 대한 세팅들을 결정하기 위한 기반으로서 이용하기 위해 단일 기준 이미지 내의 로케이션을 표시한다.

일 실시예에서, 컴퓨터 프로세서 하드웨어는 엘리먼트(820-9)가 관계하는 이미지의 렌디션(840)(그리드)에서의 오프-그리드 로케이션을 특정하는 (디스플레이 엘리먼트(820-9)에 할당되는) 모션 벡터(860)로 수신된 보상 정보를 변환한다. 디스플레이 엘리먼트(820-9)의 로케이션은 이미지의 렌디션(840)에서의 단일 디스플레이 엘리먼트만을 통해 직접 떨어지지 않기 때문에 이미지의 렌디션(840)에서의 오프-그리드이다. 본 예시적인 실시예에서, 모션 벡터(860)에 의해 특정된 바와 같은 이미지 엘리먼트(820-9)의 로케이션은 이미지의 렌디션(840)에서 다수의 디스플레이 엘리먼트들(810-6, 810-7, 810-10 및 810-11)을 적어도 부분적으로 중복한다.

컴퓨터 프로세서 하드웨어는 이미지의 렌디션(840)에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 모션 벡터(860)에 의해 특정된 바와 같은 좌표 로케이션을 활용한다. 예를 들어, 본 예시적인 실시예에서, 근접성 또는 다른 적합한 파라미터로 인해, 컴퓨터 프로세서 하드웨어는 디스플레이 엘리먼트(820-9)에 대한 하나 또는 그 초과의 세팅들을 발생시키기 위한 적합한 근처 엘리먼트들로서 디스플레이 엘리먼트들(810-6, 810-7, 810-10, 810-11, 810-12 및 810-15)을 선택하는 것으로 가정한다. 선택된 디스플레이 엘리먼트들(810-6, 810-7, 810-10, 810-11, 810-12 및 810-15)의 그와 같은 세팅들에 기초하여, 컴퓨터 프로세서 하드웨어는 디스플레이 엘리먼트(820-9)에 대한 세팅들을 발생시킨다.

일 실시예에서, 컴퓨터 프로세서 하드웨어는 디스플레이 엘리먼트(820-9)가 모션 벡터(860)에 의해 특정된 바와 같은 단편적인 오프셋 로케이션에 위치된 것처럼 이미지의 렌디션(840)에 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅 정보를 계산한다. 예를 들어, 모션 벡터(860)에 의해 특정된 바와 같은 디스플레이 엘리먼트(820-9)의 중심은 디스플레이 엘리먼트(810-11)의 중심 위에 정확하게 정렬하지 않는다. 본원의 실시예들은 선택된 그룹핑에서 다수의 디스플레이 엘리먼트들(810-6, 810-7, 810-10, 810-11, 810-12 및 810-15)의 세팅들에 기초하여 제 2 이미지에서의 디스플레이 엘리먼트(820-9)에 대한 세팅을 발생시키는 것을 포함한다.

다수의 알고리즘들 중 임의의 적합한 알고리즘이 디스플레이 엘리먼트들의 선택된 그룹핑에 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅을 도출하기 위해 이용될 수 있음을 주목한다. 예를 들어, 본 예에서 디스플레이 엘리먼트(820-9)와 관련된 수신된 재구성 정보는 상기에 언급된 바와 같은 디스플레이 엘리먼트들(810-6, 810-7, 810-10, 810-11, 810-12 및 810-15)을 포함하기 위해 그룹핑을 발생시키도록 특정 알고리즘을 이용하는 것을 컴퓨터 프로세서 하드웨어에 표시함을 가정한다.

특정된 알고리즘에 따르면, 컴퓨터 프로세서 하드웨어는 특정 디스플레이 엘리먼트(810-11)에서의 (모션 벡터(860)에 의해 특정된 바와 같은 디스플레이 엘리먼트(820-9)의 중심의) 좌표 로케이션에 관하여 그룹핑에서의 다수의 디스플레이 엘리먼트들의 거리들에 적어도 부분적으로 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅을 계산한다.

예를 들어, 라인 L1의 길이는 (디스플레이 엘리먼트(810-6)의 중심에서 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-6)의 중심(즉, 센터)과 (모션 벡터(860)에 의해 특정된 바와 같은 그리고 디스플레이 엘리먼트(820-9)에서 도트(dot)에 의해 도시된 바와 같은) 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다; 라인 L2의 길이는 (디스플레이 엘리먼트(810-7)의 센터에서의 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-7)의 중심과 (모션 벡터(860)에 의해 특정된 바와 같은 그리고 디스플레이 엘리먼트(820-9)에서 도트에 의해 도시된 바와 같은) 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다; 라인 L3의 길이는 (디스플레이 엘리먼트(810-12)의 센터에서의 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-12)의 중심과 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다; 라인 L4의 길이는 (디스플레이 엘리먼트(810-11)의 센터에서의 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-11)의 중심과 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다; 라인 L5의 길이는 (디스플레이 엘리먼트(810-15)의 센터에서의 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-15)의 중심과 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다; 라인 L6의 길이는 (디스플레이 엘리먼트(810-10)의 센터에서의 각 심볼 x에 의해 도시된 바와 같은) 디스플레이 엘리먼트(810-10)의 중심과 디스플레이 엘리먼트(820-9)의 중심 사이의 거리를 나타낸다

언급된 바와 같이, 컴퓨터 프로세서 하드웨어는 임의의 적합한 방식으로 디스플레이 세팅과 같은 값을 발생시키도록 구성될 수 있다. 예를 들어, 알고리즘은 근처의 디스플레이 엘리먼트들(810-6, 810-7, 810-10, 810-11, 810-12 및 810-15)과 관련된 세팅들의 평균을 계산하는데 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅을 발생시키도록 구성될 수 있다. 예를 들어, 디스플레이 엘리먼트(810-6)는 24의 값에 설정됨을 가정한다; 디스플레이 엘리먼트(810-7)는 60의 값에 설정된다; 디스플레이 엘리먼트(810-10)는 228의 값에 설정된다; 디스플레이 엘리먼트(810-11)는 -123의 값에 설정된다; 디스플레이 엘리먼트(810-12)는 -41의 값에 설정된다; 그리고 디스플레이 엘리먼트(810-15)는 2의 값에 설정된다. 이들 값들의 평균은 25이다. 따라서, 본 사례에서, 알고리즘은 디스플레이 엘리먼트(820-9)에 25의 값을 할당한다.

추가적인 실시예들에 따르면, 알고리즘은 선택된 그룹핑에서의 디스플레이 엘리먼트들의 각각에 대한 가중치들을 발생시키도록 구성될 수 있다. 예를 들어, 비-제한 실시예에서 디스플레이 엘리먼트(820-9)에 대한 세팅들을 발생시키기 위해 선택된 알고리즘은 라인들(L1, L2, L3, L4, L5 및 L6)의 각각의 길이를 계산하도록 그리고 라인의 길이에 따라 각각의 디스플레이 엘리먼트에 대한 대응하는 가중치를 발생시키도록 구성될 수 있다. 라인이 더 짧을수록, 각 가중치의 규모가 더 높아져서 디스플레이 엘리먼트(820-9)에 대해 계산된 세팅이 더 먼 엘리먼트들보다 더 가까운 엘리먼트들의 세팅에 기초하여 더 심하게 가중된다. 특정 예로서, 라인 L1의 길이는 7개의 유닛들일 수 있다; 라인 L2의 길이는 5개의 유닛들일 수 있다; 라인 L3의 길이는 6개의 유닛들일 수 있다; 라인 L4의 길이는 1개 유닛일 수 있다; 라인 L5의 길이는 6개의 유닛들일 수 있다; 라인 L7의 길이는 4개의 유닛들일 수 있다. 길이들에 기초하여, 알고리즘은 라인 L1에 대한 W1을 .053이 되도록 설정한다; 알고리즘은 라인 L2에 대한 W2를 .157이 되도록 설정한다; 알고리즘은 라인 L3에 대한 W3을 .105가 되도록 설정한다; 알고리즘은 라인 L4에 대한 W4를 .368이 되도록 설정한다; 알고리즘은 라인 L5에 대한 W5를 .105가 되도록 설정한다; 알고리즘은 라인 L6에 대한 W6를 .21이 되도록 설정한다. 가중치들의 합계는 1과 동일할 수 있다. 가중치들에 기초하여 디스플레이 엘리먼트(820-9)에 대한 세팅을 계산하기 위해, 알고리즘은 디스플레이 엘리먼트(820-9)의 값을 다음과 같이 발생시킨다:

값 =

여기서 S1 = 디스플레이 엘리먼트(810-6)의 세팅 = 24;

S2 = 디스플레이 엘리먼트(810-7)의 세팅 = 60;

S3 = 디스플레이 엘리먼트(810-10)의 세팅 = 228;

S4 = 디스플레이 엘리먼트(810-11)의 세팅 = -123;

S5 = 디스플레이 엘리먼트(810-12)의 세팅 = -41;

S6 = 디스플레이 엘리먼트(810-15)의 세팅 = 2.

값 =

본 예시적인 사례에서, 알고리즘은 디스플레이 엘리먼트(820-9)의 세팅을

의 값에 할당한다.

추가적인 비-제한 실시예들에 따르면, 알고리즘은 (쌍일차(bilinear) 커널, 바이큐빅 커널, 란초스 커널 등과 같은) 적합한 리샘플링 커널들에 따라 선택된 그룹핑에서의 디스플레이 엘리먼트들의 각각에 대한 가중치들을 발생시키도록 구성될 수 있다. 그와 같은 실시예들 중 하나에서, 신호 프로세서는 좌표 로케이션에 최근접한 기준 이미지에서 엘리먼트(810-11)를 식별하며, 그 후에 상기 엘리먼트를 포함하는 16개의 엘리먼트들의 그룹핑을 선택한다. 룩업 테이블은 엘리먼트(810-11)의 중심으로부터의 좌표 로케이션의 거리에 따라, 커널 가중치들의 여러 가능한 값들로 이용가능하다. 실시예에서, 신호 프로세서는 엘리먼트(810-11)의 중심으로부터의 좌표 로케이션의 실제 x-거리 및 y-거리에 가까운 로케이션들에 대응하는 룩업 테이블에서의 가중치들의 세트들을 보간함으로써 가중치들을 계산한다.

따라서, 본원의 실시예들은 모션 벡터(860)에 의해 특정된 바와 같은 정해진 디스플레이 엘리먼트의 중심과 기준 이미지에서의 그룹핑에서의 엘리먼트의 각 중심 사이의 각 거리에 따라 변화하는 가중된 값들을 생산하는 것; 및 디스플레이 엘리먼트(820-9)에 대한 세팅을 생산하기 위해 그룹핑에서의 디스플레이 엘리먼트의 세팅들에 가중된 값들을 적용하는 것을 포함할 수 있다.

따라서, 모션 벡터의 무제한 또는 실질적으로 높은 정밀도를 가정하면, 본원의 실시예들은 하나의 이미지 평면으로부터 다음으로의 객체들의 단편적 이동들에 기초하여 이미지들을 재구성할 수 있다. 다시 말해, 다수의 비디오 프레임들의 시퀀스에서의 기준 이미지는 객체의 표현을 포함할 수 있다. (정규 해상도에서의) 기준 이미지는 다음 프레임에서 이동하는 객체의 단편적으로 배치된 표현을 생산하기 위한 기반으로서 이용될 수 있다. 다시 말해, 후속하는 프레임은 풀 픽셀보다 작게 또는 서브-픽셀 레벨에서 일 프레임으로부터 다음 프레임으로 이동됨에 따라 기준 프레임에서의 이동 객체의 렌디션을 포함할 수 있다. 관련된 애플리케이션들에 설명된 다른 비-제한 실시예들에서, 기준 이미지는 이미지들의 시퀀스에서의 이전의 또는 후속하는 이미지가 아닐 수 있지만, 대신에 구체적으로 다수의 시간-상관된 이미지들의 재구성을 지원하기 위해 발생된 지원 이미지일 수 있다. 그와 같은 실시예들 중 일부에서, 기준 이미지는 모션-보상된 이미지의 해상도보다 낮은 공간 해상도로, 심지어 단계별 시간 계층으로 다운블렌딩된(downblended) 예측자일 수 있다.

상기에 논의된 바와 같이, 모션 벡터(860)는 이미지의 렌디션(840)에서의 디스플레이 엘리먼트(810-11)의 중심과 다른 좌표 로케이션을 특정할 수 있다. 모션 벡터(860)는 대응하는 디스플레이 엘리먼트(820-9)가 이미지의 렌디션(840) 내의 임의의 로케이션을 지칭하게 할 수 있는 임의의 적합한 해상도에 있을 수 있다. 따라서, 모션 벡터(860)는 기준 이미지와 같은 이미지의 렌디션(840)에서의 셀 또는 각 엘리먼트 내의 임의의 로케이션을 지시하는 벡터 또는 오프셋 값일 수 있다.

일 실시예에서, 모션 벡터(860)에 의해 특정된 바와 같은 이미지의 렌디션(840)에서의 (디스플레이 엘리먼트(820-9)의 중심의 로케이션과 같은) 특정 좌표 로케이션은 제로보다 크지만 1보다 작은 분수 값과 같은, 디스플레이 엘리먼트 또는 픽셀의 분수 값만큼 디스플레이 엘리먼트(810-11)의 중심에 관하여 오프셋될 수 있다. 언급된 바와 같이, 이미지의 렌디션(850)은 기준 이미지에서의 객체의 표현을 포함할 수 있지만, 기준 이미지에 관하여 풀 픽셀보다 작게 배치될 수 있다.

도시된 바와 같이, 기준 이미지와 같은 이미지의 렌디션(840)의 해상도는 이미지의 렌디션(850)의 해상도와 실질적으로 동일할 수 있다(예를 들어, 이미지는 기준 이미지에 적어도 부분적으로 기초하여 렌더링된다).

추가적인 실시예들에 따르면, 이미지의 렌디션(840)의 해상도는 이미지의 렌디션(850)의 해상도와 다를 수 있음을 주목한다. 예를 들어, 일 실시예에서, 제 1 이미지의 렌디션(840)의 해상도는 제 2 이미지의 렌디션(850)의 해상도와 실질적으로 다를 수 있다.

따라서, 모션 벡터(860)에 의해 특정된 바와 같은 좌표 로케이션은 이미지의 렌디션(840)과 같은 제 1 이미지에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 이용될 수 있다. 언급된 바와 같이, 컴퓨터 프로세서 하드웨어는 디스플레이 엘리먼트(810-11) 및 이미지의 렌디션(840)에서의 하나 또는 그 초과의 다른 디스플레이 엘리먼트들을 포함하기 위해 다수의 디스플레이 엘리먼트들의 그룹핑을 생성하도록 구성될 수 있으며, 하나 또는 그 초과의 다른 디스플레이 엘리먼트들은 특정 디스플레이 엘리먼트(810-11)의 근처에 위치된다.

하나의 비-제한적인 예시적인 실시예에서, 컴퓨터 프로세서 하드웨어는 i) 특정 디스플레이 엘리먼트(810-11)의 중심에 관하여 (모션 벡터(860)에 의해 특정된 바와 같은) 좌표 로케이션의 근접성, ii) 특정 디스플레이 엘리먼트(810-11)의 세팅, 및 iii) 특정 디스플레이 엘리먼트(810-11)의 근처에 위치되는 디스플레이 엘리먼트들의 세팅들에 적어도 부분적으로 기초하여 디스플레이 엘리먼트(820-9)의 세팅을 보간한다.

모션 보상의 프로세스는 이미지의 렌디션(840)에 기초하여 이미지의 렌디션(850)을 도출하기 위해 보상된 이미지에서의 다수의 엘리먼트들 각각에 적용될 수 있음을 주목한다. 예를 들어, 본원의 실시예들은 이미지의 렌디션(850)에서의 다수의 디스플레이 엘리먼트들의 각각에 대한 각 모션 벡터를 발생시키는 것을 포함한다. 이전에 논의된 방식으로, 이미지의 렌디션(850)을 재생성하는 컴퓨터 프로세서 하드웨어는 대응하는 디스플레이 엘리먼트가 관계하는 이미지의 렌디션(840)에서의 특정 로케이션을 식별하기 위해 이미지의 렌디션(850)에서의 대응하는 디스플레이 엘리먼트와 관련된 각각의 모션 벡터를 활용한다. 컴퓨터 프로세서 하드웨어는 그 후에 기준 이미지에서의 이웃하는 디스플레이 엘리먼트들을 식별하고 대응하는 디스플레이 엘리먼트에 대한 세팅을 발생시키기 위한 기반으로서 모션 벡터(860)에 의해 특정된 바와 같은 특정 로케이션을 이용한다.

서로 다른 자원들에 의해 지원되는 기능은 이제 도 9-10에서의 흐름도들을 통해 논의될 것이다. 이하의 흐름도들에서의 단계들은 임의의 적합한 순서로 실행될 수 있음을 주목한다.

도 9는 실시예들에 따른 예시 방법을 예시하는 흐름도(900)이다. 상기에 논의된 바와 같은 개념들에 관하여 일부 중복이 존재할 것임을 주목한다.

프로세싱 블록(910)에서, (디코더 프로세싱 하드웨어와 같은) 컴퓨터 프로세서 하드웨어는 기준 이미지 정보 또는 기준 이미지를 수신한다. 이미지의 렌디션(840)과 같은 기준 이미지 정보는 정해진 해상도에서 다수의 엘리먼트들의 그리드를 정의한다.

프로세싱 블록(920)에서, 컴퓨터 프로세서 하드웨어는 이미지의 렌디션(850)과 같은 보상된 이미지에서의 디스플레이 엘리먼트(820-9)와 같은 이미지 엘리먼트를 위한 보상 정보를 수신한다. 보상된 이미지에서의 디스플레이 엘리먼트들의 세팅들은 기준 이미지 정보로부터 적어도 부분적으로 도출된다.

프로세싱 블록(930)에서, 컴퓨터 프로세서 하드웨어는 그리드에서의 이미지 엘리먼트의 대응하는 오프-그리드 로케이션을 표시하는 모션 벡터(860)에 의해 특정된 대로의 로케이션과 같은 좌표들의 세트를 생산하기 위해 수신된 보상 정보를 프로세싱한다. 언급된 바와 같이, 디스플레이 엘리먼트(820-9)의 로케이션은 그리드 라인들 내에 떨어지지 않지만, 다수의 디스플레이 엘리먼트들 상에 적어도 부분적으로 오버레이된다(overlaid)

프로세싱 블록(940)에서, 컴퓨터 프로세서 하드웨어는 그리드에서의 다수의 엘리먼트들의 그룹에 기초하여 이미지 엘리먼트의 대응하는 오프-그리드 로케이션을 위한 값을 계산한다.

프로세싱 블록(950)에서, 컴퓨터 프로세서 하드웨어는 계산된 값을 보상된 이미지에서의 이미지 엘리먼트에 할당한다.

도 10은 실시예들에 따른 예시 방법을 예시하는 흐름도(1000)이다. 상기에 논의된 바와 같은 개념들에 관하여 일부 중복이 존재할 것임을 주목한다.

프로세싱 블록(1010)에서, 컴퓨터 프로세서 하드웨어는 기준 이미지와 같은 제 1 이미지에 대한 세팅들 정보를 수신한다. 제 1 이미지는 다수의 디스플레이 엘리먼트들의 세트를 포함한다.

프로세싱 블록(1020)에서, 컴퓨터 프로세서 하드웨어는 제 2 이미지에서의 정해진 디스플레이 엘리먼트에 대한 모션 보상 정보를 수신한다. 모션 보상 정보는 정해진 디스플레이 엘리먼트가 관계하는 제 1 이미지에서의 특정 디스플레이 엘리먼트 내의 좌표 로케이션을 표시한다.

프로세싱 블록(1030)에서, 컴퓨터 프로세서 하드웨어는 제 1 이미지에서의 다수의 디스플레이 엘리먼트들의 그룹핑을 선택하기 위한 기반으로서 좌표 로케이션을 활용한다.

프로세싱 블록(1040)에서, 컴퓨터 프로세서 하드웨어는 그룹핑에서의 다수의 디스플레이 엘리먼트들의 세팅들에 기초하여 제 2 이미지에서의 정해진 디스플레이 엘리먼트에 대한 세팅을 발생시킨다.

본원의 기술들은 계층적 시스템들에서의 인코딩 및 디코딩을 위해 잘 맞음을 다시 주목한다. 그러나, 본원의 실시예들은 그와 같은 애플리케이션들에서의 이용에 제한되지 않으며 본원에 논의된 기술들은 또한 다른 애플리케이션들에 대해 잘 맞음이 주목되어야 한다.

본원에 제시된 설명에 기초하여, 청구된 대상의 완전한 이해를 제공하기 위해 수많은 특정 상세들이 제시되었다. 그러나, 청구된 대상은 이들 특정 상세들 없이 실시될 수 있음이 당업자에 의해 이해될 것이다. 다른 사례들에서, 당업자에 의해 알려지는 방법들, 장치들, 시스템들 등은 청구된 대상을 모호하게 하지 않도록 상세하게 설명되지 않았다. 상세한 설명의 일부 부분들은 컴퓨터 메모리와 같은, 컴퓨팅 시스템 메모리 내에 저장된 이진 디지털 신호들 또는 데이터 비트들에 관한 동작들의 알고리즘들 또는 심볼 표현들의 관점에서 제시되었다. 이들 알고리즘 설명들 또는 표현들은 다른 당업자들에게 그들의 작업의 실체를 전달하기 위해 데이터 프로세싱 분야들에서의 당업자들에 의해 이용되는 기술들의 예들이다. 본원에 설명된 바와 같은 알고리즘은 일반적으로, 자기 부합적(self-consistent) 동작들의 시퀀스 또는 원하는 결과를 유도하는 유사한 프로세싱으로 고려된다. 이러한 문맥에서, 동작들 또는 프로세싱은 물리적 수량들의 물리적 조작과 관련한다. 전형적으로, 반드시는 아니더라도, 그와 같은 수량들은 저장, 전송, 조합, 비교 또는 그렇지 않으면 조작될 수 있는 전기 또는 자기 신호들의 형태를 취할 수 있다. 주로 공통 사용의 이유들로, 편의상 때때로 그와 같은 신호들을 비트들, 데이터, 값들, 엘리먼트들, 심볼들, 문자들, 용어들, 숫자들, 수치들 등으로 지칭하였다. 그러나, 이들 및 유사한 용어들 전부는 적절한 물리적 수량들과 관련되는 것이며 단지 편의적 라벨들임이 이해되어야 한다. 구체적으로 다르게 서술되지 않는다면, 다음의논의로부터 명백하게, "프로세싱", "컴퓨팅", "계산", "결정" 등과 같은 용어들을 활용하는 본 명세서 논의들 전반에서 컴퓨팅 플랫폼의 디스플레이 디바이스들, 메모리들, 레지스터들, 또는 다른 정보 스토리지 디바이스들, 전송 디바이스들 내의 물리적 전자 또는 자기 수량들로서 표현되는 데이터를 조작하거나 변환하는, 컴퓨터 또는 유사한 전자 컴퓨팅 디바이스와 같은 컴퓨팅 플랫폼의 프로세스들 또는 동작들을 지칭함이 인식된다.

서로 다른 실시예들에 따르면, 컴퓨터 시스템은 퍼스널 컴퓨터 시스템, 데스크탑 컴퓨터, 랩톱, 노트북, 넷북 컴퓨터, 메인프레임 컴퓨터 시스템, 핸드헬드 컴퓨터, 워크스테이션, 네트워크 컴퓨터, 애플리케이션 서버, 스토리지 디바이스, 카메라와 같은 소비자 전자 디바이스, 캠코더, 셋톱 박스, 이동 디바이스, 스마트폰, 태블릿, 비디오 게임 콘솔, 핸드헬드 비디오 게임 디바이스, 스위치, 모뎀, 라우터와 같은 주변 디바이스, 또는 일반적으로 임의의 타입의 컴퓨팅 또는 전자 디바이스를 포함하는(그러나 이들로 제한되지 않음) 다양한 타입들의 디바이스들 중 임의의 디바이스일 수 있음을 주목한다.

본원의 실시예들은 바람직한 실시예들을 참조하여 특히 도시되고 설명되었지만, 형태 및 상세들에서의 다양한 변경들이 첨부되는 청구범위에 의해 정의된 바와 같은 본 출원의 정신 및 범위로부터 이탈하지 않고서 그 내에서 이루어질 수 있음이 당업자에 의해 이해될 것이다. 그와 같은 변화들은 본 출원의 범위에 의해 포괄되도록 의도된다. 그와 같이, 본 출원의 실시예들의 전술한 설명은 제한하도록 의도되지 않는다. 오히려, 본 발명에 대한 임의의 제한들은 후속하는 청구범위들에 제시된다.