细胞观察系统专利检索-全息图像光学专利检索查询-专利查询网

细胞观察系统

阅读：1019发布：2020-06-27

专利汇可以提供细胞观察系统专利检索，专利查询，专利分析的服务。并且本发明提供一种细胞观察系统。服务器 (5)的图像制作部(54)预先基于由测定用终端(1)收集到的全息图像数据来制作分辨率不同的多个相位图像。服务器(5)的图像发送处理部(55)根据与浏览用终端(3)中的观察范围的移动等的操作相应的图像发送请求，从适当的分辨率的图像中提取与移动后的观察范围对应的图像的数据并向浏览用终端(3)发送。在浏览用终端(3)中，将仅与想要显示的观察范围对应的高分辨率的相位图像覆盖到观察对象区域的低分辨率的相位图像上来形成显示图像。当进行观察范围的移动操作时，显示低分辨率图像直到获得移动目的地的高分辨率图像为止，当从服务器(5)获得高分辨率的图像数据时，立即将显示图像更新为高分辨率的图像。，下面是细胞观察系统专利的具体信息内容。

权利要求

1.一种细胞观察系统，其中，服务器与浏览用终端经由通信网络进行连接，该服务器能够基于由显微观察部针对观察对象物获得的数据来制作与该观察对象物有关的图像，该浏览用终端用于在显示部的画面上浏览由该服务器制作的图像，所述细胞观察系统的特征在于，
所述服务器具备：
a1)图像制作部，其预先基于由显微观察部获得的数据，来制作与该显微观察部的观察对象区域整体对应的、分辨率多级地不同的图像并保存于图像存储部；以及a2)图像发送处理部，其根据来自所述浏览用终端的图像发送请求，来提取所述图像存储部中保存的规定的分辨率的图像的全部范围的图像信息或者该图像的一部分范围的图像信息并发送到所述浏览用终端，
另一方面，所述浏览用终端具备：
b1)操作部，其用于用户进行使关于当前显示在所述显示部的画面上的观察对象物的显示范围移动或者放大/缩小的操作；
b2)图像发送请求部，其向所述服务器发送图像发送请求，使得该服务器发送与通过所述操作部的操作而移动后或者放大/缩小后的显示范围及分辨率相应的图像；以及b3)显示图像形成部，其包括存储部，该存储部预先存储与所述观察对象区域整体对应或者与该观察对象区域中的至少比关于在该时间点显示在所述显示部的画面上的观察对象物的显示范围大的范围对应的、分辨率相对低的低分辨率图像，该显示图像形成部具有通过将与关于在该时间点显示在所述显示部的画面上的观察对象物的显示范围对应的、分辨率相对高的高分辨率图像覆盖到所述低分辨率图像上来形成显示图像的功能，该显示图像形成部至少基于所述低分辨率图像形成显示图像，直到根据通过所述操作部的操作而移动后或者放大/缩小后的所述图像发送请求从所述服务器接收到图像信息为止，该显示图像形成部当根据该图像发送请求从所述服务器获得图像信息时，通过将基于该图像信息的新的高分辨率图像覆盖到所述低分辨率图像上来形成显示图像。
2.根据权利要求1所述的细胞观察系统，其特征在于，
所述显微观察部是全息显微镜，所述图像制作部基于由该全息显微镜获得的全息图像数据来制作与观察对象区域整体对应的相位图像、强度图像以及准相位图像中的至少一种图像。
3.根据权利要求2所述的细胞观察系统，其特征在于，
所述服务器制作相位图像、强度图像以及准相位图像中的两种以上的细胞观察图像，所述浏览用终端将与观察对象区域中的相同区域对应的多个种类的细胞观察图像同时显示在显示部的画面上，并且与当前显示的任一种细胞观察图像上的移动或者放大/缩小的操作相应地，使该细胞观察图像与当前显示的其它细胞观察图像联动地进行移动或者放大/缩小。
4.根据权利要求3所述的细胞观察系统，其特征在于，
所述图像发送处理部向所述浏览用终端发送与当前显示在所述浏览用终端的显示部的画面上的多种细胞观察图像各自的显示区域的大小及该显示部的画面分辨率对应的分辨率的图像信息。
5.根据权利要求1～4中的任一项所述的细胞观察系统，其特征在于，
所述显示图像形成部基于针对相同的观察对象物的相同区域在不同的日期时间获取到的图像信息分别形成图像，将多个该图像同时显示在显示部的画面上。

说明书全文

细胞观察系统

技术领域

[0001] 本发明涉及一种用于观察细胞的细胞观察系统，更为详细地说，涉及一种适于利用相位图像、由相差显微镜获得的相差显微图像等来观察生物体细胞的细胞观察装置，该相位图像是基于由数字全息显微镜获得的全息图像而制作的图像。

背景技术

[0002] 在再生医疗领域，近年来盛行利用iPS细胞、ES细胞等多能干细胞进行的研究。一般来说，生物体细胞是无色透明的，利用普通的光学显微镜难以进行观察。因此，在生物体细胞的观察中广泛利用相差显微镜(参照专利文献1等)。在相差显微镜的情况下，在照明光通过观察对象物时，能够基于被该对象物衍射的光路与照明的直射光的光路之差来制作带有明暗的对比度的二维的观察图像。该观察图像有时也被惯称为相差图像，但严格来讲，该观察图像不仅包含光的相位差信息，还包含一部分光强度(光的振幅)的信息，因此在本说明书中将该观察图像称为相差显微图像。

[0003] 另一方面，最近还开发出如下一种装置：利用全息技术获取光的相位信息、振幅信息，基于这些信息来制作观察对象物的相位图像、强度图像。该装置被称为全息显微镜或者数字全息显微镜(参照专利文献2等)。

[0004] 在全息显微镜中，获取物体光和参考光在图像传感器等的检测面上形成的干涉条纹(全息图像)，其中，该物体光是来自光源的光在观察对象物表面反射或者透过来的光，该参考光是从同一光源直接到达的光。然后，通过实施基于该全息图像的规定的运算处理，制作相位图像、强度图像、或与相差显微镜中的相差显微图像相当的准相位图像等来作为观察对象物的再生像。

[0005] 在使用如上述那样的显微镜中的任一显微镜的情况下都是，在观察培养中的细胞时，如果还需要观察一个细胞培养板整体或者多个细胞培养板整体，则还需要将一个细胞培养板内的细胞放大、也就是以高倍率仔细地进行观察。因此，在利用这样的显微镜的细胞观察系统中，一般来说，在获取作为观察对象的细胞的相差显微图像、全息图像时，以尽量高的分辨率对大的区域执行摄影，在制作显示图像时，进行与用户所要求的分辨率相应地适当降低分辨率的图像处理来制作显示图像(参照专利文献3)。

[0006] 如上所述，当例如关于使多个细胞培养板进入视野那样的大的观察对象区域整体以能够仔细地观察各个细胞的程度的高分辨率获取数据时，该数据的总量变得庞大。因此，为了预先保存关于多个样品获取到的数据，需要存储容量大的存储装置。另外，特别地，为了基于由全息显微镜获得的全息图像数据进行相位信息、强度信息的计算及其计算结果的图像化，需要大量的计算。因此，就普通的个人计算机(PC)中所使用的CPU的能力而言，计算会花费大量时间，难以进行有效的分析作业。因此，在这样的细胞观察的领域中，以往提出了利用如下的计算机系统的技术，在该计算机系统中，将与显微观察部连接的PC设为终端装置，将该终端装置与作为高性能的计算机的服务器经由因特网、内部网等通信网络进行连接(参照专利文献3、4等)。在这样的系统中，能够在终端装置侧仅实施数据的获取等负担比较小的作业，在高性能的服务器侧进行针对大量数据的运算处理、图像制作处理、或者大量数据的管理等负担大的作业。

[0007] 然而，在这种细胞观察系统中，存在如下问题。

[0008] 在经由通信网络而与服务器连接的浏览用终端(实体为PC)中，用户在进行细胞观察时经常进行以下观察：在将大的观察对象区域整体中的一小部分区域以高倍率放大后一边观察一边查找关注的部分，或者重复进行高倍率的观察和低倍率的观察。关于观察对象区域整体的高分辨率图像的数据量是庞大的，因此如果想要将这样的大量图像数据从服务器传输到浏览用终端，则数据的发送接收花费时间，浏览用终端中的图像显示的响应性降低。即，存在以下问题：即使进行使用户在显示画面上正观察的图像的显示范围移动或者放大或缩小的操作，更新显示图像也花费时间，操作性降低。

[0009] 另外，在如上述那样利用全息显微镜的细胞观察系统中，不仅获得相位图像，还获得强度图像、准相位图像等其它种类的图像，强烈期望同时观察这些多个种类的图像。然而，如果在浏览用终端中显示的图像的种类增加，则在服务器与浏览用终端之间发送和接收的数据的量也会相应地增加，因此数据传输进一步花费时间，图像显示的响应性进一步降低。

[0010] 专利文献1：日本特开2015-152650号公报

[0011] 专利文献2：国际专利公开第2016/084420号

[0012] 专利文献3：日本特开2005-117640号公报

[0013] 专利文献4：日本特开2014-13263号公报

发明内容

[0014] 发明要解决的问题

[0015] 本发明是为了解决上述问题而完成的，其主要目的在于，在经由通信网络将数据处理用的服务器与图像浏览用的终端连接的细胞观察系统中，在浏览用终端中观察高分辨率的相位图像等图像的情况下，能够提高针对显示图像的范围的移动、放大/缩小等操作的响应性也就是显示图像的更新速度来进行高效的观察。

[0016] 另外，本发明的其它目的在于提供如下一种细胞观察系统：即使在浏览用终端中同时显示多个种类的图像来进行观察的情况下，也能够提高图像显示的响应性。

[0017] 用于解决问题的方案

[0018] 为了解决上述问题而完成的本发明是一种细胞观察系统，其中，服务器与浏览用终端经由通信网络进行连接，该服务器能够基于由显微观察部针对观察对象物获得的数据来制作与该观察对象物有关的图像，该浏览用终端用于在显示部的画面上浏览由该服务器制作的图像，该细胞观察系统的特征在于，

[0019] 所述服务器具备：

[0020] a1)图像制作部，其预先基于由显微观察部获得的数据，来制作与该显微观察部的观察对象区域整体对应的、分辨率多级地不同的图像并保存于图像存储部；以及[0021] a2)图像发送处理部，其根据来自所述浏览用终端的图像发送请求，来提取所述图像存储部中保存的规定的分辨率的图像的全部范围的图像信息或者该图像的一部分范围的图像信息并发送到所述浏览用终端，

[0022] 另一方面，所述浏览用终端具备：

[0023] b1)操作部，其用于用户进行使关于当前显示在所述显示部的画面上的观察对象物的显示范围移动或者放大/缩小的操作；

[0024] b2)图像发送请求部，其向所述服务器发送图像发送请求，使得该服务器发送与通过所述操作部的操作而移动后或者放大/缩小后的显示范围及分辨率相应的图像；以及[0025] b3)显示图像形成部，其包括存储部，该存储部预先存储与所述观察对象区域整体对应或者与该观察对象区域中的至少比关于在该时间点显示在所述显示部的画面上的观察对象物的显示范围大的范围对应的、分辨率相对低的低分辨率图像，该显示图像形成部具有通过将与关于在该时间点显示在所述显示部的画面上的观察对象物的显示范围对应的、分辨率相对高的高分辨率图像覆盖到所述低分辨率图像上来形成显示图像的功能，该显示图像形成部至少基于所述低分辨率图像形成显示图像，直到根据通过所述操作部的操作而移动后或者放大/缩小后的所述图像发送请求从所述服务器接收到图像信息，该显示图像形成部当根据该图像发送请求从所述服务器获得图像信息时，通过将基于该图像信息的新的高分辨率图像覆盖到所述低分辨率图像上来形成显示图像。

[0026] 上述浏览用终端是个人计算机(PC)、平板型终端(平板型PC)、智能手机等计算机或者符合其标准的设备，能够通过安装于这样的设备的程序来实现各部的功能。另外，不仅可以对一个服务器连接一个浏览用终端，也可以经由通信网络对一个服务器连接多个浏览用终端。

[0027] 另外，典型的上述显微观察部是全息显微镜或者相差显微镜等。

[0028] 在上述显微观察部是全息显微镜的情况下，由显微观察部获得的数据是全息图像数据，图像制作部能够基于全息图像数据来制作与观察对象区域整体对应的相位图像、强度图像、准相位图像或者光路长度差图像等。

[0029] 另外，在上述显微观察部是相差显微镜的情况下，由显微观察部获得的数据是相位差值数据，图像制作部能够基于该数据来制作与观察对象区域整体对应的相差显微图像。

[0030] 在本发明所涉及的细胞观察系统中，例如直接连接于显微观察部的控制用PC与服务器经由通信网络进行连接，由显微观察部获得的数据通过通信网络从控制用PC被传输到服务器。该控制用PC也可以兼用作浏览用终端。但是，服务器收集由显微观察部获得的数据的方法并不限于此，例如也可以是，在显微观察部中将数据暂时记录于便携式的记录介质，在服务器侧从该介质读出数据。

[0031] 例如，在显微观察部是全息显微镜的情况下，在本发明所涉及的细胞观察系统的服务器中，图像制作部基于所获取到的全息图像数据来计算观察对象区域内的相位信息、强度信息等，基于这样的信息来制作与观察对象区域整体对应的分辨率不同的多个相位图像、强度图像。而且，将构成所制作的分辨率不同的多个图像的图像数据预先保存于图像存储部。预先与使用者假定的浏览用终端的显示部的画面分辨率(像素数)等相应地适当地决定图像制作部所制作的图像的分辨率即可，根据获取到的全息图像数据的空间分辨率按原理决定所制作的图像的最高分辨率。

[0032] 另一方面，在浏览用终端中，显示图像形成部例如对与观察对象区域整体对应的分辨率相对低的图像覆盖与关于在该时间点显示在该显示部的画面上的观察对象物的显示范围(观察对象区域整体或者比该观察对象区域整体小的范围)对应的分辨率相对高的图像，由此形成要显示在该显示部的画面上的显示图像。因而，例如在显示细胞培养板内的一部分细胞的放大图像时，在与细胞培养板整体等观察对象区域整体对应的低分辨率图像上覆盖观察者所关注的细胞的小范围的高分辨率图像，由此形成显示图像。由此，在显示部的画面上显示观察者所关注的细胞的小范围的高分辨率图像。

[0033] 当在该状态下观察者例如为了使观察的范围(在显示部的画面上显示的显示图像的范围)移动而利用浏览用终端的操作部进行规定的操作时，图像发送请求部向服务器发出图像发送请求，使得该服务器发送与该操作相应的显示范围以及与分辨率相应的图像。具体地说，例如将图像发送请求与观察对象区域整体中的移动目的地的位置信息或者移动量及移动方向的信息、以及能够根据需要进行与显示部的画面分辨率相应的显示的图像的像素数的信息一起发送。在服务器中，图像发送处理部根据发送来的图像发送请求，从图像存储部中保存的图像中选择具有与所指定的像素数信息相匹配的分辨率的观察对象区域整体的图像，并且提取与在该图像中指定的范围对应的部分图像，将用于形成该图像的图像数据发送到作为图像发送请求的发送源的浏览用终端。

[0034] 在观察者利用操作部使观察范围移动的中途、也就是移动目的地确定之前，在显示图像形成部的存储部中存储有与移动中的各时间点的观察范围对应的低分辨率图像，但不一定存储有与该范围对应的高分辨率图像。因此，显示图像形成部基于存储部中存储的低分辨率图像形成与移动中的各时间点的观察范围对应的显示图像并进行显示，直到从服务器接收到与图像发送请求相应的图像信息为止。然后，当根据图像发送请求从服务器接收到图像信息时，通过将基于所接收到的该图像信息的高分辨率图像覆盖到低分辨率图像上来形成显示图像。因而，在观察者利用操作部使观察范围移动的中途，持续显示与移动中的各时间点的观察范围对应的低分辨率图像，一旦移动目的地确定，立即显示与该移动目的地的观察范围对应的高分辨率图像。

[0035] 构成高倍率的高分辨率图像的图像数据的数据量多，但在需要提高显示图像的分辨率的情况下，其观察范围小，因此从服务器向浏览用终端发送的图像数据的量少。因此，图像数据的发送接收所花费的时间短，当观察范围的移动目的地决定时，能够迅速地显示与该范围对应的高分辨率图像。另外，在观察者使观察范围移动的操作中，始终显示与移动中的该观察范围对应的图像，但该图像的分辨率低。由此，观察者能够一边确认图像一边决定想要观察的范围。

[0036] 此外，在不使观察范围移动而进行放大/缩小的情况下，还存在放大/缩小后的图像的分辨率根据放大/缩小的程度发生变化的情况，但基本上通过与移动时相同的动作来进行放大/缩小的操作中、操作后的显示。

[0037] 另外，在本发明所涉及的细胞观察系统中，能够设为以下结构：在显微观察部是全息显微镜的情况下，所述服务器制作相位图像、强度图像以及准相位图像中的两种以上的细胞观察图像，

[0038] 所述显示图像形成部将与观察对象区域中的相同区域对应的多个种类的细胞观察图像同时显示在显示部的画面上，并且与当前显示的任一种细胞观察图像上的移动或者放大/缩小的操作相应地，使该细胞观察图像与当前显示的其它细胞观察图像联动地进行移动或者放大/缩小。

[0039] 例如，在相位图像和强度图像中获得的信息不同，但根据上述结构，能够始终同时确认相同的观察范围内的相位图像和强度图像。

[0040] 此外，在上述结构的细胞观察系统中，也可以是，所述图像发送处理部向所述浏览用终端发送与当前显示在所述浏览用终端的显示部的画面上的多种细胞观察图像各自的显示区域的大小及该显示部的画面分辨率对应的分辨率的图像信息。

[0041] 当然，如果在一个画面上显示的图像的数量变多，则对每个显示图像分配的像素数变少。因此，即使观察范围的大小相同，如果一个画面上显示的图像的数量多，则也能够降低图像的分辨率。因此，图像发送处理部向浏览用终端发送与当前显示在浏览用终端的显示部的画面上的多种细胞观察图像各自的显示区域的大小及该显示部的画面分辨率对应的分辨率的图像信息。由此，即使在例如同时显示相位图像和强度图像的情况下，也能够将从服务器向浏览用终端发送的图像数据的量抑制为与仅显示相位图像的情况相同的程度，能够确保显示的响应性高。

[0042] 另外，在本发明所涉及的细胞观察系统中，能够设为以下结构：除了将基于相同的全息图像数据制作的相位图像、强度图像等同时显示在显示部的画面上以外，也可以使互相关联的多个图像同时显示在显示部的画面上。具体地说，所述显示图像形成部基于针对相同的观察对象物的相同区域在不同的日期时间获取到的图像信息分别形成图像，将多个该图像同时显示在显示部的画面上。

[0043] 在该情况下也可以设为，当在当前显示的多个图像中的任一个图像中进行移动或者放大/缩小的操作时，不仅该图像进行移动或者放大/缩小，其它图像也相应于该操作联动地进行移动或者放大/缩小。

[0044] 在观察培养中的细胞的情况下，需要在某种程度的期间内每天持续观察相同的细胞培养板，并比较细胞的状态，但根据上述结构，能够容易且可靠地进行在不同的日期时间获得的图像的比较。

[0045] 发明的效果

[0046] 根据本发明所涉及的细胞观察系统，在观察者使在浏览用终端中以高分辨率显示的相位图像等的观察范围移动或者放大/缩小时，能够使操作后的高分辨率的该相位图像等迅速地显示在画面上。由此，例如能够在大的观察对象区域中迅速地发现观察者所关注的区域，能够有效地进行细胞观察。附图说明

[0047] 图1是本发明所涉及的细胞观察系统的一个实施例的整体结构图。

[0048] 图2是本实施例的细胞观察系统中的测定用终端的概要结构图。

[0049] 图3是本实施例的细胞观察系统中的浏览用终端的概要结构图。

[0050] 图4是表示在本实施例的细胞观察系统中的服务器侧制作的分辨率不同的图像的示意图。

[0051] 图5是本实施例的细胞观察系统的浏览用终端中的图像形成处理的概念图。

[0052] 图6是用于说明在本实施例的细胞观察系统中的浏览用终端中使观察范围移动时的图像处理的动作的概念图。

[0053] 图7是表示本实施例的细胞观察系统中的显示一个图像、分割显示两个图像以及分割显示四个图像的例子的图。

[0054] 附图标记说明

[0055] 1：测定用终端；10：显微观察部；11：光源部；12：图像传感器；13：细胞培养板；14：细胞；15：参考光；16：物体光；20：控制处理部；21：摄影控制部；22：数据存储部；23：数据发送接收部；24：输入部；25：显示部；3：浏览用终端；31：数据发送接收部；32：图像数据存储部；33：图像显示指示受理部；34：图像发送请求部；35：显示图像形成部；36：显示输出处理部；37：输入部；38：显示部；5：图像处理用服务器；51：数据发送接收部；52：测定数据存储部；53：运算处理部；54：图像制作部；55：图像发送处理部；56：图像数据存储部；7：通信网络。

具体实施方式

[0056] 下面，参照附图对本发明所涉及的细胞观察系统的一个实施例进行说明。

[0057] 图1是本实施例的细胞观察系统的整体结构图，图2是本实施例的细胞观察系统中的测定用终端的概要结构图，图3是本实施例的细胞观察系统中的浏览用终端的概要结构图。

[0058] 本实施例的细胞观察系统包括经由因特网、内部网等通信网络7进行连接的测定用终端1、浏览用终端3以及图像处理用服务器5。在图1中，将测定用终端1和浏览用终端3分别各记载有两台，但能够将它们分别设置适当的数量。

[0059] 图像处理用服务器5一般被称为工作站，是比个人计算机(PC)性能高的计算机。而且，如图1所示，作为由安装于该计算机的专用的软件具体实现的功能块，具备数据发送接收部51、测定数据存储部52、运算处理部53、图像制作部54、图像发送处理部55以及图像数据存储部56等。

[0060] 测定用终端1包括显微观察部10和控制处理部20。在本例中，显微观察部10是同轴全息显微镜(In-line Holographic Microscopy：IHM)，如图2所示，显微观察部10具备包括激光二极管等的光源部11以及图像传感器12，在光源部11与图像传感器12之间配置有包括作为观察对象物的细胞14的细胞培养板13。控制处理部20的实体是对显微观察部10的动作进行控制并且对由显微观察部10获取到的数据进行处理的个人计算机(PC)，作为由安装于该PC的专用的软件具体实现的功能块，具备摄影控制部21、数据存储部22以及数据发送接收部23。另外，控制处理部20与作为用户接口的输入部24及显示部25连接。

[0061] 与测定用终端1中的控制处理部20同样地，浏览用终端3的实体是普通的PC。而且，作为由安装于该PC的专用的软件具体实现的功能块，具备数据发送接收部31、图像数据存储部32、图像显示指示受理部33、图像发送请求部34、显示图像形成部35以及显示输出处理部36。另外，浏览用终端3与作为用户接口的输入部37及显示部38连接。

[0062] 此外，浏览用终端3也可以是平板型PC、智能手机等作为搭载有CPU、ROM、RAM等的实质的计算机的各种信息终端设备。

[0063] 另外，也能够使作为测定用终端1的控制处理部20发挥功能的PC具有浏览用终端3的功能。在该情况下，在测定用终端1的控制处理部20中也能够进行与浏览用终端3同样的后述的图像浏览。

[0064] 首先，说明本实施例的细胞观察系统中的针对作为观察对象的细胞进行数据收集时的动作。

[0065] 在图2中，操作者将包含作为观察对象的生物体细胞(多能细胞)14的细胞培养板13放置在规定位置，在从输入部24输入了用于确定该细胞培养板13的识别编号、测定日期时间等信息之后指示测定的执行。摄影控制部21接受该指示后控制显微观察部10如以下那样获取数据。

[0066] 即，在摄影控制部21的控制下，光源部11向细胞培养板13的规定的区域照射具有10°左右的微小角度的扩散的相干光。透过细胞培养板13和细胞14的光(物体光16)与透过细胞培养板13上接近细胞14的区域的光(参考光15)发生干扰并到达图像传感器12。物体光
16是透过细胞14时相位发生了变化的光，另一方面，参考光15是由于不透过细胞14而不会因该细胞14而发生相位变化的光。因而，在图像传感器12的检测面(像面)上形成由于细胞
14而相位发生了变化的物体光16与相位无变化的参考光15的干涉像(全息图像)。

[0067] 此外，细胞培养板13通过未图示的移动机构依次在X轴、Y轴这两个轴方向上(图2的垂直于纸面的面内)进行移动。由此，通过使从光源部11发出的相干光的照射区域(观察区域)在细胞培养板13上一步步地移动，能够重复地获取与大的观察区域内的各小区域对应的全息图像来收集关于该观察区域整体的全息图像数据。

[0068] 如上所述那样由显微观察部10获得的全息图像数据(在图像传感器12的检测面上形成的全息图像的二维的光强度分布数据)在控制处理部20中被暂时存储于数据存储部22。数据发送接收部23将数据存储部22中存储的全息图像数据与测定日期时间等属性信息一起经由通信网络7逐次传输到图像处理用服务器5。多个测定用终端1能够同时运转，由各测定用终端1收集到的全息图像数据经由通信网络7被汇集到一台图像处理用服务器5中。
此外，从各测定用终端1向服务器5发送原始的、也就是未加工的全息图像数据即可，但也可以根据需要向服务器5发送被实施了对各测定用终端1固有的误差因素进行校正那样的加工处理的全息图像数据。

[0069] 在图像处理用服务器5中，数据发送接收部51接受从各测定用终端1发送来的全息图像数据，并将全息图像数据与用于确定测定用终端1的识别信息、在摄影时输入的细胞培养板的识别信息、摄影日期时间等属性信息一起存储于测定数据存储部52。

[0070] 在通过这样收集数据之后，运算处理部53从测定数据存储部52适当读出全息图像数据并执行规定的运算处理，来分别计算观察对象区域整体的相位信息、强度信息、准相位信息等。准相位信息是与由相差显微镜获得的包含强度成分的相位差信息相当的信息。图像制作部54基于根据全息图像数据计算出的相位信息、强度信息以及准相位信息，来分别制作观察对象区域整体的相位图像、强度图像以及准相位图像。此外，在进行这样的相位信息的计算、相位图像的制作时，利用如专利文献2等中公开的已知的算法即可。

[0071] 在此，图像制作部54在制作关于观察对象区域整体的相位图像(以及其它种类的图像)时，不仅制作利用所获得的数据从原理上求出的最高分辨率的相位图像，还基于该最高分辨率的相位图像来制作通过合并处理等降低了分辨率的多个级别的分辨率(倍率)的相位图像。然后，将所制作的分辨率不同的多个图像存储于图像数据存储部56。通过这样，关于针对一个细胞培养板13获得的每个全息图像数据，分别将用于形成分辨率不同的观察对象区域整体的相位图像、强度图像以及准相位图像的图像数据预先保存于图像数据存储部56。

[0072] 图4是表示由图像制作部54制作的分辨率不同的图像的一例的示意图。(a)、(b)以及(c)是与相同的观察对象区域对应的低分辨率、中分辨率以及高分辨率的图像的例子，在图中以格子状划分出的一个矩形的区域与一个像素对应。在该例子中，低分辨率图像(参照图4的(a))的一个像素在中分辨率图像(参照图4的(b))中相当于四个像素，在高分辨率图像(参照图4的(c))中相当于十六个像素。在相位图像中，一个相位值与一个像素关联，因此分辨率越高则用于形成相位图像的数据量越多，这是不言而喻的。这一点在强度图像、准相位图像中也相同。

[0073] 接着，在如上所述那样在图像处理用服务器5的图像数据存储部56中准备了分辨率不同的多个图像中的图像数据的状况下，除了参照图1、图3～图4以外还参照图5、图6来说明在浏览用终端3中进行的细胞观察时的动作。图5是浏览用终端3中的图像形成处理的概念图，图6是用于说明在浏览用终端3中进行了移动观察范围的操作时的图像处理的动作的概念图。

[0074] 当从输入部37输入观察者想要观察的细胞培养板的识别编号、测定日期时间等图像特定信息并且指示想要观察的图像的种类(相位图像、强度图像等)来进行规定的操作时，图像显示指示受理部33受理该操作。例如，在指示了相位图像来作为图像的种类时，图像发送请求部34经由通信网络7向图像处理用服务器5发送图像发送请求，使得图像处理用服务器5传输由图像特定信息指示的相位图像。在该服务器5中接受该图像发送请求的图像发送处理部55从图像数据存储部56读出与所指定的图像特定信息对应的分辨率不同的多个相位图像中的、用于形成关于观察对象区域整体的分辨率最低的相位图像的图像数据。然后，数据发送接收部51向发出了图像发送请求的浏览用终端3发送该图像数据。在浏览用终端3中，数据发送接收部31将从图像处理用服务器5发送来的图像数据存储于图像数据存储部32。

[0075] 在浏览用终端3中，显示图像形成部35将关于观察对象区域整体的低分辨率的相位图像设为背景，对其覆盖分辨率比该相位图像的分辨率高的局部的(也就是比观察对象区域整体小的区域的)相位图像，由此形成显示图像。因此，显示图像形成部35在将从图像处理用服务器5发送来的用于形成关于观察对象区域整体的低分辨率的相位图像的图像数据存储于图像数据存储部32之后，立即基于该图像数据形成低分辨率的背景图像。在观察者指定了显示观察对象区域整体的情况下，不存在用于覆盖的高分辨率的图像，低分辨率的相位图像直接作为显示图像被显示在显示部25的画面上。

[0076] 在观察者指定了将观察对象区域中的一部分区域放大、也就是以高倍率进行显示的情况下，除了从服务器5发送关于观察对象区域整体的低分辨率图像以外，还从服务器5发送用于形成仅关于想要显示的区域的分辨率更高的相位图像的图像数据。如图5的(a)所示，显示图像形成部35在与观察对象区域整体对应的低分辨率的相位图像100上覆盖与观察者想要观察的小范围(观察范围)110对应的高分辨率的相位图像，如图5的(b)所示那样形成与观察范围对应的显示图像。该显示图像是在与观察范围110对应的低分辨率图像110A上覆盖高分辨率图像110B而得到的图像，但高分辨率图像110B的透过率低，实际上在显示部38的画面上的显示图像上仅出现高分辨率图像110B。

[0077] 在想要在观察对象区域整体中移动观察范围的情况下、也就是想要以与该时间点显示部38的画面上所显示的显示图像的区域的分辨率相同的分辨率(不改变倍率地)观察与该区域不同的区域的情况下，观察者在利用作为输入部37的一部分的指示设备点击了所显示的显示图像之后进行向适当的方向拖拽的操作。作为一例，如图6的(b)所示，显示部38的画面上所显示的显示图像为在低分辨率图像110A上覆盖了高分辨率图像110B的图像。设在该图像上向在图6的(b)中用空心箭头表示的方向(大致右下方向)进行了拖拽操作。从观察对象区域整体来看，该操作是如图6的(a)所示那样使观察范围从观察对象区域整体的低分辨率的相位图像100中的观察范围110如虚线所示那样移动的操作。

[0078] 形成观察对象区域整体的低分辨率的相位图像100的图像数据被保存于图像数据存储部32，与此相对地，仅将形成高分辨率图像的图像数据中的与移动前的观察范围110对应的图像数据保存于图像数据存储部32。因此，如图6的(a)的右侧所示，在显示图像形成部35通过上述拖拽操作等使观察范围移动的中途，在该观察范围111内的包含移动前的观察范围110的部分111b，持续显示在低分辨率图像上覆盖高分辨率图像而获得的图像，另一方面，在该观察范围111内的不包含移动前的观察范围110的部分111a，仅显示低分辨率图像。
由此，持续显示与移动中途的观察范围对应的所有图像，但在该部分111a中图像的分辨率降低。

[0079] 当由观察者进行的拖拽操作结束且确定了观察范围的移动目的地时(移动后观察范围120)，图像发送请求部34将图像发送请求与表示该移动目的地的观察范围的位置信息(或者移动量和移动方向的信息)一起发送到服务器5。此时，也可以一并发送由显示部38的画面像素数和在该画面上显示显示图像的区域的大小决定的该区域中的像素数的信息等。服务器5的图像发送处理部55接受图像发送请求，从图像数据存储部56读出与所指定的移动后的观察范围120对应的适当的分辨率的图像数据并将该图像数据发送到数据发送接收部51。在浏览用终端3中，将接收到的图像数据存储于图像数据存储部32，显示图像形成部
35将基于该图像数据的高分辨率图像120B覆盖到作为背景的低分辨率图像120A上，将显示图像更新为所覆盖的该图像。由此，在显示部38的画面上，与通过观察者的操作而移动后的观察范围对应的图像从低分辨率图像被切换为高分辨率图像(参照图6的(c)、(d)、(e))。

[0080] 在该一系列的观察范围的移动操作的过程中，从服务器5向浏览用终端3发送来的只是用于形成与移动后的观察范围120对应的图像数据、即与观察对象区域整体相比范围相当小的高分辨率图像的图像数据，不进行除此以外的图像数据的发送和接收。因此，图像数据的传输量少。另外，基于由显示图像形成部35接收到的图像数据形成与远远小于观察对象区域整体的范围相应的高分辨率图像并进行覆盖，由此获得显示图像，因此能够以高响应性显示高分辨率的相位图像，也就是能够在抑制相对于操作的时间延迟的同时显示高分辨率的相位图像。

[0081] 不仅在使观察范围移动时进行上述动作，在将观察范围放大或者缩小时也进行基本相同的动作。但是，在使观察范围移动的情况下，与移动前相比分辨率不变，但在将观察范围放大或者缩小的情况下，通常分辨率相对于放大或者缩小的操作之前发生变化。因而，服务器5的图像发送处理部55从与放大或者缩小的操作后的观察范围的大小相应的适当的分辨率的观察对象区域整体的图像截取出与观察范围对应的部分图像，获取与截取出的该图像对应的图像数据并进行发送。由此，在浏览用终端3中，在进行放大或者缩小操作时也能够以高响应性更新图像。

[0082] 另外，上述说明以在浏览用终端3中在显示部38的画面上仅显示例如相位图像等一个图像的情况(参照图7的(a))为前提，但在本实施例的细胞观察系统中，也能够在浏览用终端3的显示部38的画面上同时排列显示多个图像。

[0083] 图7的(b)是在图像显示窗口200内排列显示两个图像220A、220B的例子，图7的(c)是在图像显示窗口200内排列显示最多四个图像230A、230B、230C、230D的例子。

[0084] 能够从输入部37指定要显示的图像的种类，例如在图7的(b)所示的分割成两个图像进行显示的例子中，例如能够排列显示基于相同的全息图像数据制作的相位图像和强度图像、或者相位图像和准相位图像等。

[0085] 在该情况下也是，例如通过利用指示设备在所显示的相位图像或者强度图像上进行点击和拖拽操作，能够与上述说明同样地进行观察范围的移动、放大/缩小。此时，如果使针对两个图像的操作联动，则更为便利。例如，当观察者在图7的(b)中显示于左方的相位图像220A上进行观察范围的移动操作时，与之相应地，与相位图像220A向移动目的地的高分辨率的相位图像的更新联动地，显示于右方的强度图像220B也被更新为相同的移动目的地的高分辨率的强度图像即可。在图像处理用服务器5中，图像发送处理部55针对相位图像和强度图像这双方读出与移动目的地的观察范围对应的图像数据并将该图像数据发送到浏览用终端3，由此能够容易地进行应对。

[0086] 另外，也能够不排列显示基于全息图像数据制作的相位图像和强度图像这样的不同种类的图像，而是排列显示关于相同的细胞培养板13在不同的测定日期时间获取到的关于相同的观察范围的相位图像、强度图像。由此，例如能够容易地观察从开始培养多能细胞起的细胞每天的变化。

[0087] 即使在如图7的(b)、(c)所示那样同时显示两个图像或者四个图像并使关于这些图像的移动操作、放大/缩小操作联动的情况下，与如图7的(a)所示那样进行一个图像的移动操作、放大/缩小操作的情况相比，浏览用终端3与图像处理用服务器5之间的图像数据的传输量也几乎不变。这是由于，只要显示部38的画面上的图像显示窗口200的大小相同，无论图像显示窗口200中显示的图像的数量是多少，显示该一个或者多个显示图像的显示区域中包含的像素数都基本相同，该图像数据的总量也几乎相同。因而，即使同时显示多个种类的图像并使它们的移动、放大/缩小操作联动，与显示一种图像的情况相比，显示的响应性也几乎不变，能够维持高响应性。

[0088] 在上述实施例的细胞观察系统中，显微观察部10是同轴全息显微镜，但也能够将该显微观察部10更换为离轴型、相位偏移型等其它方式的全息显微镜。在该情况下，由运算处理部53实施的相位信息等的计算的算法也发生变更，这是不言而喻的。另外，在本发明所涉及的细胞观察系统中，也能够不使用全息显微镜而使用相差显微镜。在该情况下，在浏览用终端3中观察的图像是相差显微图像。另外，在本发明所涉及的细胞观察系统中，也能够使用能够观察细胞的其它种类的显微镜。

[0089] 另外，上述实施例只是本发明的一例，在本发明的主旨的范围内进行适当的变更、修改、追加也包含于本申请的权利要求书中，这是不言而喻的。

标题	发布/更新时间	阅读量
一种跳级式投影广告视窗	2020-12-19	0
一种全息投影智能互动装置	2020-06-27	0
生成3D图像的方法与设备	2021-09-10	3
全息投影无人机	2020-05-26	2
Hologram recording and reproducing device	2021-08-04	0
Preparation of novel physical transfer elements such as hot stamping foil and methods for using the same in producing chemically resistant bonds	2022-01-09	3
Holographic rangefinder sunglasses	2022-01-25	2
무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템	2020-09-10	3
SYSTEME D'ACQUISITION D'IMAGES PAR HOLOGRAPHIE NUMERIQUE HETERODYNE	2020-10-22	0
APPARATUS AND METHOD FOR MANUFACTURING A SECURITY PRODUCT	2021-08-04	1

细胞观察系统

细胞观察系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：