의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템{Method and Apparatus for processing medical image, Robotic surgery system using image guidance}

의료 영상을 처리하는 방법 및 장치에 관한 발명이다. 그리고, 영상 유도를 이용한 로봇 수술 시스템에 관한 발명이다.

로봇 수술은 개복 수술과 달리, 의사가 환자의 몸 속 수술 부위를 직접 눈으로 볼 수 없고 모니터에 표시된 화면만을 통해 수술 부위를 파악할 수 있다. 로봇 수술을 집도하는 의사는 수술 전 CT(computed tomography), MRI(magnetic resonance imaging), 초음파 영상 등을 통해 수술 부위를 파악하여 수술하였으나, 이는 의사의 경험에 많이 의존하게 된다는 한계가 있다. 또한, 수술 부위 영상을 획득하기 위해 복강경(laparoscope)을 환자 몸 속에 삽입하여 표시된 몸 속의 실제 영상을 보면서 로봇 수술을 진행하는 방법도 시도된 바 있다. 하지만, 수술 부위에 대하여 복강경과 같은 내시경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 수술 부위에 대한 정확한 위치, 형태 등을 정확하게 파악하기 어렵다.

본 발명의 적어도 하나의 실시예가 이루고자 하는 기술적 과제는 의료 영상을 처리하는 방법 및 장치를 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 있다. 나아가서, 처리된 의료 영상에 기초하여 영상 유도를 이용한 로봇 수술 시스템을 제공하는데 있다. 본 실시예가 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

일 측면에 따르면, 의료 영상 처리 방법은 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 단계; 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 단계; 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 단계; 및 상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 생성하는 단계를 포함한다.

다른 일 측면에 따르면, 상기 의료 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

또 다른 일 측면에 따르면, 의료 영상 처리 장치는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 소정 장기에 대한 의료 영상들을 획득하는 영상 획득부; 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하는 표면 정보 추출부; 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하는 영상 매핑부; 및 상기 매핑 결과에 기초하여, 상기 의료 영상들이 정합된 합성 영상을 합성 영상 생성부를 포함한다.

또 다른 일 측면에 따르면, 수술 부위에 대한 영상을 유도하여 수술용 로봇에 의한 로봇 수술을 수행하는 로봇 수술 시스템에 있어서, 피검체 내 소정 장기에 대해 의료 영상을 촬영하는 내시경 장치; 상기 소정 장기에 대해 의료 영상을 촬영하는, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상 (MRI) 장치 및 및 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 중 적어도 하나를 포함하는 비내시경 장치; 상기 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 상기 의료 영상들을 획득하고, 상기 획득된 의료 영상들 각각으로부터 상기 획득된 의료 영상들 각각에 포함된 상기 소정 장기의 표면 정보를 각각 추출하고, 상기 추출된 각각의 표면 정보들을 이용하여 상기 의료 영상들을 매핑하고, 상기 매핑 결과에 기초하여 상기 의료 영상들이 정합된 합성 영상을 생성하는 의료 영상 처리 장치; 상기 생성된 합성 영상을 표시하는 표시 장치; 및 사용자 입력에 따라 로봇 수술을 수행하는 수술용 로봇을 포함한다.

상기된 바에 따르면, 인공적인 마커(marker)를 사용하지 않고 의료 영상들에 포함된 정보들에만 기초하여 실시간으로 의료 영상들을 정합함으로써, 영상 정합시 마커의 사용에 의한 번거로움, 불편함 등을 줄일 수 있다. 특히, 로봇 수술에서 금속 성분의 마커와 수술용 로봇의 간섭에 의한 영상 정합의 정확도 감소를 줄일 수 있다.

그리고, 실시간으로 내시경 영상 및 비내시경 영상이 정합된 합성 영상을 생성함으로써, 의사에게 보다 정확한 환자의 진단 영상이 제공되거나, 로봇 수술 시스템에서 보다 정확한 영상 유도를 수행할 수 있다. 또한, 로봇 수술의 경우 이와 같이 수술 부위에 대한 정확한 의료 영상이 제공됨으로써 수술해야 할 부위와 보존해야 할 부위를 정확하게 파악할 수 있어 수술 성능이 향상될 수 있다. 나아가서, 추후에 로봇 수술이 자동화될 경우 로봇을 정확하게 제어할 수 있는 정보가 제공될 수 있다.

도 1a는 본 발명의 일 실시예예 따른 로봇 수술 시스템의 구성도이다.
도 1b는 본 발명의 일 실시예예 따른 로봇 수술 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 방광에 대한 내시경 장치와 초음파 장치의 상대적인 위치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치의 구성도이다.
도 4는 본 발명의 일 실시예예 따른 제 1 추출부에서 제 1 표면 모델이 생성된 후 제 1 표면 정보가 추출되는 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예예 따른 제 2 추출부에서 제 2 표면 모델이 생성된 후 제 2 표면 정보가 추출되는 과정을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 도 1b의 로봇 수술 시스템에서 내시경 장치와 초음파 장치의 배치만을 따로 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 합성 영상 생성부에서 합성 영상을 생성할 때 이용되는 3차원 초음파 영상에 포함된 정보의 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 합성 영상을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 의료 영상을 처리하는 방법의 흐름도이다.
도 10은 도 9의 의료 영상을 처리하는 방법의 상세 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 제 1 표면 정보를 추출하는 과정의 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 제 2 표면 정보를 추출하는 과정의 흐름도이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명하도록 하겠다.

도 1a는 본 발명의 일 실시예예 따른 로봇 수술 시스템(1)의 구성도이다. 도 1을 참고하면, 로봇 수술 시스템(1)은 제 1 의료 영상 촬영 장치(11), 제 2 의료 영상 촬영 장치(21), 의료 영상 처리 장치(30), 수술용 로봇(40) 및 표시 장치(50)로 구성된다. 도 1a에서는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예에 관련된 하드웨어 구성요소(hardware component)들만을 기술하기로 한다. 다만, 도 1a에 도시된 하드웨어 구성요소들 외에 다른 범용적인 하드웨어 구성요소들이 포함될 수 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 1a를 참고하면, 로봇 수술 시스템(1)은 제 1 및 2 의료 영상 촬영 장치(11, 21)만을 구비하는 것으로 도시되었으나, 이에 한정되지 않고 본 실시예는 이외에도 적어도 하나의 추가적인 의료 영상 촬영 장치를 구비할 수 있다.

의료 영상 촬영 장치의 종류에는, 내시경 장치, 초음파(ultrasound) 장치, 컴퓨터 단층촬영(computed tomography, CT) 장치, 자기공명영상 (magnetic resonance imaging, MRI) 장치, 양전자 방사 단층 촬영(positron emission tomography, PET) 장치 등 다양한 종류가 있다. 이하에서, 내시경 영상을 촬영하는 의료 영상 촬영 장치 외의, 의료 영상 촬영 장치는 비내시경(non-endoscopic) 장치라 하겠다. 즉, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상(MRI) 장치, 양전자 방사 단층 촬영(PET) 장치는 비내시경 장치이다.

이하에서는 설명의 편의를 위하여, 본 실시예에 따른 로봇 수술 시스템(1)의 제 1 의료 영상 촬영 장치(11)는 복강경(laparoscope) 장치와 같은 내시경 장치에 해당되고, 제 2 의료 영상 촬영 장치(21)는 직장 삽입형 초음파(TRUS, trans-rectal ultrasound) 장치와 같은 초음파 장치에 해당되는 것으로 설명하겠으나, 본 실시예는 이에 한정되지 않는다. 즉, 제 1 및 2 의료 영상 촬영 장치(11, 21) 각각은 상기 내시경 장치, 초음파 장치, 컴퓨터 단층촬영(CT) 장치, 자기공명영상(MRI) 장치, 양전자 방사 단층 촬영(PET) 장치 등과 같은 의료 영상 촬영 장치들 중 어느 것이라도 가능하다.

도 1b는 본 발명의 일 실시예예 따른 로봇 수술 시스템(100)의 구성도이다. 도 1b을 참고하면, 로봇 수술 시스템(100)은 앞서 설명한 바와 같이, 내시경 장치(10), 초음파 장치(20), 의료 영상 처리 장치(30), 수술용 로봇(40) 및 표시 장치(50)로 구성된다.

도 1b에서도 도 1a와 마찬가지로 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예에 관련된 하드웨어 구성요소(hardware component)들만을 기술하기로 한다.

로봇 수술 시스템(100)은 환자의 몸에 뚫린 작은 구멍들에 수술용 로봇(40)의 팔을 집어넣고, 환자의 몸 밖에서 의사가 수술용 로봇(40)의 움직임을 제어하여 환자를 수술하는 시스템이다.

최근에는, 미국의 인튜이티브 서지컬(intuitive surgical) 사의 다빈치 (da Vinci ^? )가 이와 같은 수술용 로봇(40)으로 일반적으로 많이 사용되고 있다. 보다 상세하게 설명하면, 다빈치(da Vinci ^? )는 환자의 몸 안에 직접 삽입되는 로봇으로써, 의사의 손처럼 움직일 수 있어 마치 의사가 직접 수술 부위에 수술하는 것과 같이 수술하는 로봇이다. 본 실시예에서는, 단지 설명의 편의를 위하여 수술용 로봇(40)으로 다빈치를 예로 들었을 뿐, 수술용 로봇(40)은 환자의 몸 속에서 로봇의 움직임을 통해 수술하는 다른 장치들에 해당될 수도 있다.

로봇 수술 시스템(100)에서 의사가 수술용 로봇(40)을 이용하여 수술하고자 할 때, 의사는 표시 장치(50)에 표시된 환자의 몸 속의 의료 영상을 참고하여 수술을 진행한다. 즉, 로봇 수술 시스템(100)에서 의사는 환자의 몸 속에 특수 렌즈를 삽입하여 육안으로 보이지 않는 신경, 혈관, 장기(organ)에 대한 영상을 통해 시야를 확보한 후 수술을 진행한다.

로봇 수술 시스템(100)에서는 개복 수술과 달리, 의사가 환자의 몸 속 수술 부위를 직접 눈으로 볼 수 없고 표시 장치(50)에 표시된 화면만을 통해 수술 부위를 파악할 수 있기 때문에, 수술 부위에 대한 정확한 영상이 요구된다.

특히, 로봇 수술은 수술 중 주변 신경과 혈관에 손상을 입힐 경우 심한 부작용과 합병증이 생길 수 있는 전립선암, 직장암, 식도암, 방광암 수술 등에 일반적으로 많이 사용되므로, 수술 부위에 대한 정교하고 세밀한 영상이 표시 장치(50)에 표시되는 것이 중요하다.

종래에는, 수술 전 CT(computed tomography), MRI(magnetic resonance imaging), 초음파(ultrasound), 양전자 방사 단층 촬영(PET) 영상 등을 의사에게 보여줌으로써, 진단 영상을 기억하는 의사의 두뇌에서 현재 수술해야할 부위를 떠올려 수술하는 방법을 사용하였다. 하지만, 이는 의사의 경험에 많이 의존하게 되므로, 정확한 수술이 어려웠다.

또한, 종래의 로봇 수술의 경우, 복강경(laparoscope)을 환자 몸 속에 삽입하여 표시된 몸 속의 실제 영상을 보면서 로봇 수술을 진행하기도 하였다. 하지만, 수술 부위에 대하여 복강경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이다. 그러므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 복강경으로 수술 부위에 대한 실제 영상을 획득하기 어려웠다. 특히, 전립선 수술의 경우가 그러하였다.

전립선 수술을 설명하면, 전립선은 수술 부위가 협소하고 요도와 연결되어 있다. 그리고, 전립선이 제거될 때 전립선 근처의 신경 혈관 다발(neurovascular bundle)은 보존되어야 한다. 왜냐하면, 이 신경 혈관 다발은 소변 기능, 성 기능 등에 중요한 역할을 하기 때문이다. 하지만, 복강경은 외부 표면의 조직에 대한 영상만을 제공하므로, 복강경만으로는 전립선의 위치, 형태 등을 정교하고 세밀하게 파악하는데 다소 어려움이 있다.

이러한 기존의 방법을 개선하기 위하여 종래에는, 직장 삽입형 초음파(TRUS, trans-rectal ultrasound) 장치를 이용하였으나, 수술 부위의 실제 영상이 아닌, 초음파 영상이라는 한계가 있었다.

또한, 종래에는, 광학 방식 혹은 자기장 방식의 마커(marker)를 이용하여 직장 삽입형 초음파 장치의 위치와 방향을 실시간으로 검출함으로써, 3차원 초음파 영상을 획득하고 이를 수술에 사용하였다. 그러나, 자기장 방식을 이용할 경우 수술 로봇과 같은 금속성 물질과 자기장 간섭으로 인해 마커의 위치 측정이 부정확해질 수 있었다. 그리고, 광학 방식을 이용할 경우에는, 위치 측정 시 수술용 로봇의 활동 범위와 겹쳐 수술용 로봇의 움직임에 제약을 주게 되었다.

나아가서, 종래에는 수술 로봇 이외의 탠덤(tandom) 로봇을 이용하여 직장 삽입형 초음파 장치를 회전시키고 이로부터 3D 전립선 영상을 획득하는 방법도 사용되었다. 하지만, 이 방법은 가외의 로봇을 사용해야 하므로, 탠덤 로봇에 의한 간섭 때문에 수술 로봇의 이동이 제한될 수 있었다. 그리고, 수술 로봇과 탠덤 로봇과의 위치를 보정해야 하므로, 실제 수술 시 초음파 영상을 온전히 이용할 수 없었다.

즉, 상기된 바와 같이, 로봇 수술을 수행할 때, 특히 전립선에 대한 로봇 수술 등과 같이 주변 신경과 혈관에 손상을 입히지 않아야 하는 로봇 수술을 수행할 때, 종래에는 수술 부위에 대한 정확한 영상을 얻기 어렵고, 환자의 안전에 문제가 있다는 한계가 있었다.

하지만, 본 실시예에 따른 로봇 수술 시스템(100)에서는 서로 다른 복수의 의료 영상 촬영 장치들로 촬영된 서로 다른 의료 영상들이 실시간으로 정합된 합성 영상을 이용함으로써, 장기에 가려진 수술 부위 또는 장기 내부에 위치한 수술 부위에 대해서도 정확한 영상이 제공될 수 있다. 따라서, 본 실시예에 따르면, 로봇 수술의 성능이나 환자의 안전을 보장할 수 있다.

다만, 본 실시예에서는 로봇 수술 시스템(100)하에서 로봇 수술을 수행하는 의사를 위한 의료 영상을 제공하는 것, 즉 의료 영상 유도(medical image guidance)에 대해 설명하겠으나, 본 실시예의 의료 영상 처리 장치(30)에서 생성된 합성 영상은 반드시 로봇 수술 시스템(100)에서만 제공되는 것으로 한정되지 않는다. 즉, 본 실시예에서 제공되는 의료 영상은 로봇 수술이 아닌, 환자를 단순히 진찰 또는 진단하기 위한 다른 시스템에서도 마찬가지로 제공될 수 있다.

이하에서는, 본 실시예에 따른 로봇 수술 시스템(100)에서 의료 영상을 처리하는 과정에 대해 상세히 설명하도록 하겠다.

여기서, 본 실시예에 따른 수술 부위는 설명의 편의를 위하여 전립선인 경우를 예로 들겠다. 그리고, 앞서 예로 든 바와 같이 수술 부위가 전립선인 경우, 본 실시예에 따른 의료 영상 처리 과정은 전립선 주변에 위치해 있는 특정 장기인 방광을 이용하는 것으로 설명하겠다. 즉, 이와 같은 특정 장기는 수술용 로봇(40)에 의해 치료될 수술 부위의 장기 또는 수술 부위 주변의 다른 장기일 수 있다.

나아가서, 당해 기술분야에서 통상의 지식을 가진 자라면 본 실시예는 수술 부위가 환자의 다른 부위이거나, 다른 장기를 이용하여 의료 영상 처리가 수행될 수 있음을 이해할 수 있다.

다시 도 1b를 참고하면, 로봇 수술 시스템(100)하에서 내시경 장치(10)는 환자의 장기, 예를 들어 방광에 대한 내시경 영상을 획득한다. 따라서, 내시경 영상에는 방광 및 그 주변에 대한 영상이 포함된다. 본 실시예에서 내시경 장치(10)는 복강경 장치에 해당될 수 있으나, 이에 한정되지 않는다.

그리고, 초음파 장치(20)는 환자의 방광 및 그 주변에 대한 초음파 영상을 획득한다. 따라서, 초음파 영상에는 방광 및 그 내외부 주변에 대한 영상이 포함된다. 즉, 초음파 영상에는 내시경 영상과 달리, 방광 내부의 조직에 관한 정보도 포함될 수 있다. 본 실시예에서 초음파 장치(20)는 직장 삽입형 초음파 장치에 해당될 수 있으나, 이에 한정되지 않는다.

도 1b에서, 내시경 장치(10)와 초음파 장치(20)는 서로 다른 위치들에서 의료 영상들을 촬영한다. 즉, 로봇 수술 시스템(100)에서는 내시경 장치(10)와 초음파 장치(20)의 움직임 및 위치가 각각 제어됨으로써 의료 영상들이 촬영된다. 이 때, 로봇 수술 시스템(100)은 제어 중인 내시경 장치(10)와 초음파 장치(20) 각각의 촬영 위치, 예를 들어 로봇 수술 테이블 상에서의 가상적 좌표 등을 로봇 수술 시스템(100)상의 저장부(미도시)에 계속하여 저장한다.

도 2는 본 발명의 일 실시예에 따른 방광에 대한 내시경 장치(10)와 초음파 장치(20)의 상대적인 위치를 도시한 도면이다. 도 2를 참고하면, 내시경 장치(10)가 복강경 장치인 경우, 방광을 기준으로 상대적으로 방광의 위쪽에서 내시경 영상을 획득한다. 그리고, 초음파 장치(20)가 직장 삽입형 초음파 장치인 경우, 방광을 기준으로 상대적으로 방광의 아래쪽에서 초음파 영상을 획득한다. 하지만, 이와 같은 내시경 장치(10) 및 초음파 장치(20) 각각의 위치는 예시적인 것으로써, 로봇 수술 환경에 따라 변경될 수 있다.

다시 도 1b을 참고하면, 의료 영상 처리 장치(30)는 내시경 장치(10) 및 초음파 장치(20)로부터 획득된 내시경 영상 및 초음파 영상을 정합함으로써, 합성 영상을 생성한다. 본 실시예에 따른 의료 영상 처리 장치(30)의 동작 및 기능에 대해 보다 상세하게 설명하면 다음과 같다.

도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치(30)의 구성도이다. 도 3을 참고하면, 의료 영상 처리 장치(30)는 검출부(31), 영상 획득부(32), 표면 정보 추출부(33), 영상 매핑부(34) 및 합성 영상 생성부(35)를 포함한다. 그리고, 영상 획득부(32)는 내시경 영상 획득부(321) 및 비내시경(non-endoscopic) 영상 획득부(322)를 포함하고, 표면 정보 추출부(33)는 제 1 추출부(331) 및 제 2 추출부(332)를 포함하고, 영상 매핑부(34)는 비교부(341) 및 위치 매핑부(342)를 포함한다.

이와 같은 의료 영상 처리 장치(30)는 프로세서에 해당될 수 있다. 이 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로프로세서와 이 마이크로프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

검출부(31)는 합성 영상을 생성하고자 할 때, 앞서 설명한 로봇 수술 시스템(100)상의 저장부(미도시)에 저장된 의료 영상 촬영 장치들 각각의 현재의 위치를 검출한다.

영상 획득부(32)는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 장기에 대한 의료 영상들, 즉 내시경 영상 및 비내시경 영상을 획득한다.

표면 정보 추출부(33)는 획득된 의료 영상들 각각으로부터 획득된 의료 영상들 각각에 포함된 장기의 표면 정보를 각각 추출한다. 특히, 표면 정보 추출부(33)는 획득된 의료 영상들 각각에서 소정 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 정보를 표면 정보로써 추출한다.

영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다. 특히, 표면 정보 추출부(33)는 추출된 각각의 표면 정보들을 이용하여 의료 영상 촬영 장치들 각각의 위치를 매칭시킴으로써 의료 영상들을 매핑한다.

보다 상세하게, 이하부터는 우선 내시경 영상을 처리하는 과정에 대해 설명하고, 다음으로 초음파 영상, CT(computed tomography) 영상, MR(magnetic resonance) 영상과 같은 비내시경 영상을 처리하는 과정에 대해 자세히 설명하도록 하겠다.

내시경 영상 획득부(321)는 내시경 장치(도 1b의 10)를 이용하여 촬영된 내시경 영상을 획득한다.

제 1 추출부(331)는 내시경 장치(도 1b의 10)에 의해 촬영된 내시경 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다. 즉, 본 실시예에서 제 1 추출부(331)는 내시경 영상에 나타난 방광에 대한 제 1 표면 정보를 추출한다.

그 방법으로써, 제 1 추출부(331)는 방광 및 주변의 외부 조직과 내시경 장치(도 1b의 10)와의 거리 정보를 획득함으로써 시차공간 영상(disparity space image)을 생성한다. 일 실시예에 따르면, 제 1 추출부(331)는 2개의 스테레오 카메라(stereoscopic camera)들이 구비된 내시경 장치(도 1b의 10)를 이용하여 시차공간 영상을 획득할 수 있다. 이 때, 다른 일 실시예에 따르면, 제 1 추출부(331)는 구조광 및 패턴광 중 적어도 하나를 조사하는 프로젝터(projector)를 더 구비한 내시경 장치(도 1b의 10)를 이용함으로써 시차공간 영상을 생성할 수 있다. 이 경우, 내시경 영상 획득부(321)는 방광 및 주변의 외부 조직으로부터 반사된 구조광 또는 패턴광에 관한 정보도 함께 획득할 수 있다. 즉, 제 1 추출부(331)는 획득된 구조광 또는 패턴광에 관한 정보를 이용하여 내시경 장치(도 1b의 10)로부터 방광 및 주변의 외부 조직까지의 거리를 계산할 수 있다. 이 때, 제 1 추출부(331)는 계산된 거리에 기초하여 시차공간 영상과 같은 거리 영상을 생성할 수 있다.

그 다음에 제 1 추출부(331)는 획득된 거리 정보, 즉 계산된 거리 또는 생성된 거리 영상을 이용함으로써 내시경 영상에 대응되는 3차원의 제 1 표면 모델을 생성한다.

마지막으로, 제 1 추출부(331)는 이와 같이 생성된 제 1 표면 모델로부터 방광의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다.

도 4는 본 발명의 일 실시예에 따른 제 1 추출부(도 3의 331)에서 제 1 표면 모델이 생성된 후 제 1 표면 정보가 추출되는 과정을 도시한 도면이다.

도 4의 401 영상은 내시경 장치(도 1b의 10)에서 획득된 내시경 영상으로써, 실제 방광 및 그 주변에 구조광 또는 패턴광을 조사한 영상이다.

도 4의 402 영상은 시차공간 영상(disparity space image)으로써 구조광(structured light) 및 패턴광(patterned light) 중 적어도 하나를 이용하여 생성된 일종의 거리 영상에 해당된다. 하지만, 앞서 설명한 바와 같이, 제 1 추출부(도 3의 331)는 구조광 및 패턴광을 이용하지 않고 시차공간 영상을 생성할 수도 있다.

도 4의 403 영상은 상기와 같은 과정을 통해 제 1 추출부(도 3의 331)에서 생성된 제 1 표면 모델이다. 제 1 추출부(도 3의 331)는 403 영상의 제 1 표면 모델로부터 방광 표면의 형태 및 위치에 관한 제 1 표면 정보(404)를 추출한다.

다시 도 3을 참고하면, 비내시경 영상 획득부(322)는 초음파 장치(도 1b의 20) 등과 같은 비내시경 장치를 이용하여 촬영된 비내시경 영상을 획득한다.

제 2 추출부(332)는 비내시경 장치에 의해 촬영된 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다. 즉, 본 실시예에서 제 2 추출부(332)는 비내시경 영상에 나타난 방광에 대한 제 2 표면 정보를 추출한다.

그 방법으로써, 우선 제 2 추출부(332)는 비내시경 장치에 의해 촬영된 비내시경 영상으로부터 방광의 표면을 나타내는 경계선에 대한 정보를 획득한다. 이 때, 경계선에 대한 정보는 비내시경 영상에 대해 라인 검출(line detection) 및 에지 검출(edge detection) 중 적어도 하나를 적용함으로써 획득한다.

비내시경 영상이 초음파 영상인 경우, 초음파 특성상 초음파가 장기의 표면 조직에 대해서 높은 에코발생도(high echogenicity)를 갖는 성질을 이용한다. 즉, 제 2 추출부(332)는 장기의 표면 조직이 초음파 영상에서 상대적으로 밝은 선으로 나타나는 성질을 이용함으로써 경계선에 대한 정보를 획득한다.

비내시경 영상이 MR 영상인 경우, 제 2 추출부(332)는 조직의 분자 구성비 차이에 의한 MR 영상에서의 영상 명도차가 발생되는 점에 기초하여 라인 검출(line detection) 또는 에지 검출(edge detection)을 이용함으로써 경계선에 대한 정보를 획득한다.

마찬가지로, 비내시경 영상이 CT 영상인 경우, 제 2 추출부(332)는 조직의 밀도 차이에 의한 CT 영상에서의 영상 명도차가 발생되는 점에 기초하여 라인 검출(line detection) 또는 에지 검출(edge detection)을 이용함으로써 경계선에 대한 정보를 획득한다.

이후에, 제 2 추출부(332)는 획득된 경계선 정보를 이용하여 장기(방광)의 표면에 대응되는 3차원의 제 2 표면 모델을 생성한다. 이 때, 제 2 추출부(332)는 획득된 경계선 정보들에 기초하여 경계선들을 3차원적으로 렌더링함으로써 3차원의 제 2 표면 모델을 생성할 수 있다.

마지막으로, 제 2 추출부(332)는 이와 같이 생성된 제 2 표면 모델로부터 방광의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다.

도 5는 본 발명의 일 실시예예 따른 제 2 추출부(도 3의 332)에서 제 2 표면 모델이 생성된 후 제 2 표면 정보가 추출되는 과정을 도시한 도면이다.

도 5를 참고하면, 초음파 영상(501)으로부터 제 2 표면 정보(505)가 추출되는 과정, MR 영상(502)으로부터 제 2 표면 정보(505)가 추출되는 과정 및 CT 영상(503)으로부터 제 2 표면 정보(505)가 추출되는 과정이 도시되어 있다. 로봇 수술 시스템(도 1b의 100)의 환경에서 어떤 의료 영상 촬영 장치를 이용하였는지에 따라 제 2 추출부(도 3의 332)는 각각의 과정 중 그에 대응되는 과정에 따라 제 2 표면 정보(505)를 추출한다.

초음파 영상(501)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 초음파 영상의 특성을 이용하여 방광의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)를 생성한다.

MR 영상(502)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 MR 영상의 특성을 이용하여 직장의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)를 생성한다.

CT 영상(503)인 경우, 제 2 추출부(도 3의 332)는 앞서 설명한 CT 영상의 특성을 이용하여 직장의 표면에 해당되는 경계선을 각각의 영상들로부터 추출한다. 그리고, 각각의 경계선들을 3차원적으로 렌더링함으로써 제 2 표면 모델(504)을 생성한다.

제 2 추출부(도 3의 332)는 제 2 표면 모델(504)에 나타난 경계선 정보에 기초하여 장기의 표면의 형태 및 위치 중 적어도 하나를 나타내는 제 2 표면 정보(505)를 추출한다.

즉, 로봇 수술 시스템(도 1b의 100)의 환경에서 어떤 의료 영상 촬영 장치를 이용하였는지에 따라 제 2 추출부(도 3의 332)는 초음파 영상(501), MR 영상(502) 및 CT 영상(503)에 대한 각각의 과정 중 해당되는 과정에 따라 제 2 표면 정보(505)를 추출한다.

다시 도 3을 참고하면, 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.

영상 매핑부(34)는 추출된 제 1 표면 정보 및 제 2 표면 정보를 이용하여 의료 영상 촬영 장치들 각각의 위치를 매칭(matching)시킴으로써 의료 영상들을 매핑한다. 앞서 살펴본 도 1b와 같이, 내시경 장치(도 1b의 10) 및 초음파 장치(도 1b의 20)를 이용하는 경우, 표면 정보들을 이용하여 내시경 장치(도 1b의 10)의 위치 및 초음파 장치(도 1b의 20)의 위치를 매칭시킴으로써 내시경 영상 및 초음파 영상을 매핑한다.

매핑 과정에 대해 보다 상세하게 설명하면, 영상 매핑부(34)는 앞서 설명한 바와 같이, 비교부(341) 및 위치 매칭부(342)를 포함한다.

비교부(341)는 추출된 각각의 표면 정보들을 비교한다. 즉, 비교부(341)는 제 1 표면 정보와 제 2 표면 정보를 비교한다. 그 이유는, 추출된 제 1 표면 정보 및 제 2 표면 정보는 장기(방광)의 동일한 부위의 표면에 대한 정보들이기 때문이다. 따라서, 비교부(341)는 추출된 제 1 표면 정보 및 제 2 표면 정보가 장기의 동일한 부위의 표면을 대해 어떻게 대응되는지를 비교한다. 이 때, 비교부(341)는 공지의 알고리즘인 ICP (Iterative Closest Point) 알고리즘 등을 이용하여 비교할 수 있다.

위치 매칭부(342)는 비교 결과에 기초하여 앞서 검출부(31)에서 검출된 의료 영상 장치들의 위치들을 매칭시킨다.

결국, 영상 매핑부(34)는 이와 같은 과정에 의한 매칭 결과에 기초하여 의료 영상들을 매핑한다.

도 6은 본 발명의 일 실시예에 따른 도 1b의 로봇 수술 시스템(도 1b의 100)에서 내시경 장치(10)와 초음파 장치(20)의 배치만을 따로 도시한 도면이다. 도 6을 참고하면, 내시경 장치(10)는 복강경 장치에 해당되고, 초음파 장치(20)는 직장 삽입형 초음파 장치에 해당된다.

로봇 수술 시스템(도 1b의 100)상에서 내시경 장치(10)의 가상적 위치는 X _camera 좌표계를 따른다. 그리고, 초음파 장치(20)의 가상적 위치는 X _US 좌표계를 따른다. 즉, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치는 서로 다른 좌표계를 이용하고 있으므로, 서로의 위치는 독립적이다.

하지만, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치는 동일한 기준에 의해 매칭(matching)될 수 있다. 이를 위하여, 본 실시예에 따르면, 영상 매핑부(34)는 기준으로써, 추출된 제 1 표면 정보 및 제 2 표면 정보를 이용한다. 보다 상세하게 설명하면, 제 1 표면 정보 및 제 2 표면 정보는 장기(방광)의 동일한 부위의 표면에 대한 정보들이다. 그러므로, 내시경 영상으로부터 추출된 제 1 표면 정보와 초음파 영상으로부터 추출된 제 2 표면 정보를 기준으로 X _camera 좌표계와 X _US 좌표계를 매칭시킬 수 있다. 그 결과, 내시경 장치(10)의 위치와 초음파 장치(20)의 위치 또한, 매칭될 수 있다.

다시 도 3을 참고하면, 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다. 생성된 합성 영상은 장기 및 그 주변에 관한 3차원 의료 영상일 수 있다. 보다 상세하게는, 생성된 합성 영상은 내시경 장치(도 1b의 10)에 의해 촬영된 영상에 포함된 장기 및 주변에 대한 외부 조직의 영상과, 비내시경 장치(도 1b의 20)에 의해 촬영된 영상에 포함된 장기 및 주변에 대한 내외부 조직의 영상이 3차원적으로 동시에 표현된 영상이다. 합성 영상은 일종의 증강 영상에 해당될 수 있다.

합성 영상 생성부(35)에서 생성된 합성 영상은 결국, 내시경 영상과 비내시경 영상 각각에서 나타난 장기의 위치가 동일하도록 합성되어 생성되는 것이다.

내시경 영상은 그 자체로 장기 및 그 주변의 실제의 3차원 영상에 해당된다. 그러나, 내시경 영상은 장기 내외부의 조직의 형태 및 위치 등의 정보를 알기 어렵다.

일반적으로, 이와 같은 비내시경 영상은 장기를 단면으로 촬영한 영상들의 집합에 해당될 수 있다. 하지만, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 장기 및 주변의 내외부의 조직의 형태 및 위치 등에 대한 일종의 투시 정보를 포함하고 있다. 따라서, 획득된 비내시경 영상에는 장기의 외부 조직뿐만 아니라, 내부 조직의 형태 및 위치 등에 대한 정보도 함께 포함되어 있다. 따라서, 내시경 영상과 비내시경 영상이 합성될 경우, 실제 장기 및 주변의 내외부에 있는 조직들에 대한 정보를 정확하게 알 수 있고, 이것이 의사에게 제공됨으로서 의사는 보다 정교하고 세밀한 수술을 진행할 수 있게 된다.

여기서, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 그 영상을 촬영하는 의료 영상 촬영 장치(도 1a의 11, 21)의 종류에 따라 2차원 영상일 수 있고, 또는 3차원 영상일 수 있다. 만약, 획득된 비내시경 영상이 도 5와 같이 복수의 2차원적인 비내시경 영상들인 경우, 합성 영상 생성부(35)는 볼륨 렌더링(volume rendering) 등의 이미 알려진 방법들을 통해 2차원 비내시경 영상들을 3차원 비내시경 영상으로 생성한 후 합성에 이용할 수 있다.

도 7은 본 발명의 일 실시예에 따라 합성 영상 생성부(35)에서 합성 영상을 생성할 때 이용되는 3차원 초음파 영상에 포함된 정보의 예를 도시한 도면이다. 도 7은 직장 삽입형 초음파 장치를 사용한 경우의 예시에 관한 도면이다. 도 7을 참고하면, 초음파 영상은 앞서 설명한 바와 같이, 방광과 같은 장기의 내외부의 조직의 형태 및 위치 등에 대한 일종의 투시 정보를 포함하고 있다. 따라서, 3차원 초음파 영상에는 방광 외부 표면(701)의 형태 및 위치, 방광 내부의 전립선(702)의 위치, 방광 주변의 신경 다발(703)의 위치가 3차원적으로 표현되어 있다. 여기서, 방광 외부 표면(701)의 형태 및 위치는 제 2 표면 정보에 포함된 정보이다. 비록, 도 7이 3차원 초음파 영상은 아니지만, 당업자라면 3차원 초음파 영상을 통해 이와 같은 정보들(701, 702, 703의 정보)이 포함되어 있다는 것을 알 수 있다.

다시 도 3을 참고하면, 합성 영상 생성부(35)는 이와 같은 내시경 영상 및 비내시경 영상을 정합함으로써 합성 영상을 생성한다.

다시 도 1a 및 1b을 참고하면, 표시 장치(50)는 합성 영상 생성부(35)에서 생성된 합성 영상을 표시한다. 로봇 수술 시스템(1 및 100)은 표시 장치(50)를 통해 로봇 수술을 진행하는 의사에게 이와 같은 합성 영상을 제공함으로써 영상 유도(image guadiance)를 한다. 표시 장치(50)는 사용자에게 정보를 보고하기 위하여 시각 정보를 표시하기 위한 장치, 예를 들어, 일반적인 모니터, LCD 화면, LED 화면, 눈금 표시 장치 등을 포함한다.

한편, 다시 도 3을 참고하면, 위치 매칭부(342)에서 제 1 표면 정보 및 제 2 표면 정보를 이용하여 내시경 장치(도 1b의 10)의 위치와 초음파 장치(도 1b의 20)의 위치가 실시간으로 계속하여 매칭되는 한, 서로 다른 위치의 서로 다른 장치에서 획득된, 동일한 장기에 대한 서로 다른 영상들은 계속적으로 매핑될 수 있다. 따라서, 합성 영상 생성부(35)는 내시경 영상과 초음파 영상을 계속적으로 정합하여 합성 영상을 연속적으로 생성함으로써, 표시 장치(50)는 내시경 장치(도 1b의 10) 및 초음파 장치(도 1b의 20)의 이동에 관계없이 실시간으로 합성 영상을 표시할 수 있다.

일 실시예에 따르면, 표시 장치(50)는 생성된 합성 영상 그대로 표시할 수 있으나, 로봇 수술 시스템(1 및 100)의 사용환경에 따라 합성 영상에 포함된 영상 정보 중 일부의 관심 영역만이 표시되도록 제어될 수 있다. 즉, 내시경 영상과 비내시경 영상이 합성된 경우, 표시 장치(50)에는 비내시경 영상에 포함된 일부 관심 영역인 전립선(801)의 위치, 신경 다발(802)의 위치만이 표시되도록 제어될 수 있다. 나아가서, 만약 전립선(801) 및 신경 다발(802)의 위치에 대한 정보가 전처리된 경우, 표시 장치(50)는 로봇 수술 시스템(1 및 100)의 사용환경에 따라 합성 영상에 특정 부위가 전립선(801) 및 신경 다발(802)에 해당된다는 정보를 함께 표시할 수 있다.

도 8은 본 발명의 일 실시예에 따른 합성 영상을 도시한 도면이다. 도 8을 참고하면, 합성 영상은 방광 및 주변의 내시경 영상에, 초음파 영상의 전립선 및 신경 다발과 같은 방광 내외부의 조직 위치에 대한 정보가 합성된 것을 도시한 도면이다. 즉, 합성 영상은 내시경 영상 전체와 초음파 영상 전체가 함께 합성될 수 있으나, 도 8에 도시된 바와 같이 내시경 영상 전체와 초음파 영상에 포함된 일부 정보, 예를 들어 전립선 및 신경 다발과 같은 방광 내외부의 조직 위치에 대한 정보만이 합성될 수 있다.

도 9는 본 발명의 일 실시예에 따른 의료 영상을 처리하는 방법의 흐름도이다. 도 9을 참고하면, 본 실시예에 따른 의료 영상 처리 방법은 도 1a, 1b 및 도 3에 도시된 로봇 수술 시스템(1 및 100), 의료 영상 처리 장치(30)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 상기 도면들에 관하여 기술된 내용은 본 실시예에 따른 의료 영상 처리 방법에도 적용된다.

901 단계에서 영상 획득부(32)는 서로 다른 복수의 의료 영상 촬영 장치들을 이용하여 촬영된 장기에 대한 의료 영상들을 획득한다.

902 단계에서 표면 정보 추출부(33)는 획득된 의료 영상들 각각으로부터 획득된 의료 영상들 각각에 포함된 장기의 표면 정보를 각각 추출한다.

903 단계에서 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.

904 단계에서 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다.

도 10은 도 9의 의료 영상을 처리하는 방법의 상세 흐름도이다. 마찬가지로, 이하 생략된 내용이라 하더라도 도 1a, 1b 및 도 3에 관하여 기술된 내용은 본 실시예에 따른 의료 영상 처리 방법에도 적용된다.

1001 단계에서 내시경 영상 획득부(321)는 내시경 장치(도 1b의 10)를 이용하여 촬영된 내시경 영상을 획득한다.

1002 단계에서 제 1 추출부(331)는 내시경 장치(도 1b의 10)에 의해 촬영된 내시경 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 1 표면 정보를 추출한다.

1003 단계에서 비내시경 영상 획득부(322)는 초음파 장치(도 1b의 20) 등과 같은 비내시경 장치를 이용하여 촬영된 비내시경 영상을 획득한다.

1004 단계에서 제 2 추출부(332)는 비내시경 장치에 의해 촬영된 영상으로부터 장기의 표면의 위치 및 형태 중 적어도 하나를 나타내는 제 2 표면 정보를 추출한다.

여기서, 1001 단계와 1003 단계의 시작은 동시에 병렬적으로 진행되거나, 또는 어느 하나의 단계가 먼저 시작되어 진행될 수 있다. 즉, 1001 단계 및 1002 단계의 진행과 1003 단계 및 1004 단계의 진행은 서로 영향이 없이 독립적으로 진행될 수 있다.

1005 단계에서 영상 매핑부(34)는 추출된 각각의 표면 정보들을 이용하여 의료 영상들을 매핑한다.

1006 단계에서 합성 영상 생성부(35)는 매핑 결과에 기초하여, 의료 영상들이 정합된 합성 영상을 생성한다.

도 11은 본 발명의 일 실시예에 따른 제 1 표면 정보를 추출하는 과정의 흐름도이다.

1101 단계에서 제 1 추출부(331)는 장기 및 주변에 대한 외부 조직과 내시경 장치(도 1b의 10)와의 거리 정보를 획득한다.

1102 단계에서 제 1 추출부(331)는 획득된 거리 정보를 이용하여 내시경 영상에 대응되는 3차원의 제 1 표면 모델을 생성한다.

1103 단계에서 제 1 추출부(331)는 생성된 제 1 표면 모델로부터 제 1 표면 정보를 추출한다.

도 12는 본 발명의 일 실시예에 따른 제 2 표면 정보를 추출하는 과정의 흐름도이다.

1201 단계에서 제 2 추출부(332)는 비내시경 장치(도 1b의 20)에 의해 촬영된 영상으로부터 장기의 표면을 나타내는 경계선에 대한 정보를 획득한다.

1202 단계에서 제 2 추출부(332)는 획득된 경계선 정보을 이용하여 장기의 표면에 대응되는 3차원의 제 2 표면 모델을 생성한다.

1203 단계에서 제 2 추출부(332)는 생성된 제 2 표면 모델로부터 제 2 표면 정보를 추출한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

1: 로봇 수술 시스템 11: 제 1 의료 영상 촬영 장치
21: 제 2 의료 영상 촬영 장치 30: 의료 영상 처리 장치
40: 수술용 로봇 50: 표시 장치
10: 내시경 장치 20: 초음파 장치
31: 검출부 32: 영상 획득부
33: 표면 정보 추출부 34: 영상 매핑부
35: 합성 영상 생성부 321: 내시경 영상 획득부
322: 비내시경 영상 획득부 331: 제 1 추출부
332: 제 2 추출부 341: 비교부
342: 위치 매핑부