関連出願 本願は、2018年5月7日に出願した米国特許仮出願第15/972912号、2019年2月7日に出願した米国特許出願第16/269633号、及び2019年2月7日に出願した米国特許出願第16/269619号(参照として本明細書中にそれらの全体を援用される)の利益を主張する。

技術分野 本発明は、その一部の実施形態では、医用解剖学的画像に関し、さらに詳しくは、医用解剖学的画像の自動解析のためのシステムおよび方法に関するが、それに限定されない。

X線画像などの医用解剖学的画像の(例えば放射線科医による)手動視覚評価は、大量の情報を処理する必要があるため、困難で時間のかかる仕事である。放射線科医は、多数のあり得る特徴が考えられる場合、解剖学的画像の関連特徴を同定しようと試みる。例えば、各医用解剖学的画像は、骨、様々な臓器、および様々な結合組織など複数の解剖学的対象物を含み、それぞれが異なる所見を呈する。

第一態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのコンピュータ実装方法は、標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するステップと、二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク(CNN)に入力して、第一特徴ベクトルを出力するステップと、二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二CNNに入力して、第二特徴ベクトルを出力するステップと、第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層内に入力するステップと、全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するステップとを含み、統計的クラシファイアは、複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成される。

第二態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するための統計的クラシファイアを訓練する方法は、複数の標本個人の各々について、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するステップと、複数の標本個人の各々について、複数の文のうちの少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを形成するステップと、複数の標本個人の各々に対し、それぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の同定のために統計的クラシファイアを訓練するステップとを含む。

第三態様によれば、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つの所見の指標を同定するためのシステムは、少なくとも一つのハードウェアプロセッサによって実行されるコードが格納された非一時的メモリを含み、コードは、標的個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分の独自の向きで取り込まれた二つの解剖学的画像を提供するためのコードと、二つの解剖学的画像のうちの第一解剖学的画像を統計的クラシファイアの第一畳込みニューラルネットワーク(CNN)に入力して、第一特徴ベクトルを出力するためのコードと、二つの解剖学的画像のうちの第二解剖学的画像を統計的クラシファイアの第二CNNに入力して、第二特徴ベクトルを出力するためのコードと、第一特徴ベクトルおよび第二特徴ベクトルの連結を統計的クラシファイアの全結合層に入力するためのコードと、全結合層によって二つの解剖学的画像のうちの少なくとも一つに存在する複数の明確な視覚的所見のうちの少なくとも一つの所見の指標を計算するためのコードとを含み、統計的クラシファイアは、複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、二つの解剖学的画像に関連付けられたタグとを含む訓練データセットで訓練され、タグは、テキストベースの放射線医学レポートのそれぞれの個々の文を視覚的所見の複数の指標の一つにマッピングする解析に基づいて形成される。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、解剖学的画像における視覚的所見を自動的に同定することの技術的問題に対処する。解剖学的画像における視覚的所見の自動検出は、幾つかの理由で、例えば解剖学的画像で見つかる可能性のある多数のあり得る視覚的所見、解剖学的画像で見つかる可能性のある視覚的所見の多数のあり得る組合せ、特定の視覚的所見を同定する際の視覚的明瞭性の欠如(人間インタープリタの間でさえも)のため、困難な技術的課題である。例えば、一つの実装形態に関連して本明細書に記載するように、40のあり得る視覚的所見の任意の組合せが、訓練されたクラシファイアによって同定されることがあり得る。視覚的所見の幾つかの組合せは特定の医学的状況で共に現れることが注目される。例えば心臓肥大、肺門隆起、および肺水腫は、鬱血性心不全の状況で一緒に現れることがある。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、視覚的所見を同定するように解剖学的画像の自動解析の技術分野を改善する。一つの例示的改善は、本明細書に記載するように、(例えばPACSサーバおよび/またはEMRサーバに格納された)既存の解剖学的画像に関連付けられた既存の放射線医学レポートの使用に基づいており、それは、解剖学的画像の手動ラベリングを必要とすることなく、既存のデータを使用して超大規模訓練データセットを作成することを可能にする。本明細書に記載するように、ラベルは、解剖学的画像に関連付けられる予め作成されたテキストベースの放射線医学レポートに基づいて、自動的に生成される。超大規模データセットを使用できることは、訓練されたクラシファイアの精度を向上する。別の例示的な改善は、異なる向き角度で取り込まれた患者の二つ以上の解剖学的画像を使用することに基づく。クラシファイアで二つ以上の画像を処理することで、例えば特定の視覚的所見は特定の向きでよりよく検出され、かつ/または特定の視覚的所見は、両方(またはそれ以上)の画像が解析されたときに、よりよく検出されるので、分類の精度が向上する。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、二つ以上の解剖学的画像で視覚的所見を自動的に検出するためのクラシファイアを実装するコード命令を実行するコンピューティング装置の性能を改善する。性能の改善は、既存のコンピューティング資源(例えば、プロセッサ、および/またはデータ記憶装置)を使用して、視覚的所見を検出する精度を向上すること、および/または一セットのあり得る視覚的所見に対し任意の組合せの一つ以上の視覚的所見を検出できることに基づくことができる。例えば、訓練されたクラシファイアは、他の自動化方法と比較して、かつ/または人間の能力と比較して、向上した感度で視覚的所見を検出することができる。別の例では、コンピューティング装置の解剖学的画像に示された視覚的所見を正確に検出できる性能の向上は、例えば臨床的解釈および/または診断の検出のためにクラシファイアを訓練するのではなく、むしろ視覚的所見に従ってクラシファイアを訓練することに基づいている。クラシファイアは、より主観的になりがちな臨床的解釈および/または診断と比較して、より客観的な所見である、同定された視覚的所見をユーザに提供する。

第一、第二、および第三態様のさらなる実装形態では、二つの解剖学的画像は、解剖学的撮像センサからの患者の非平行な観察面を示す。

第一、第二、および第三態様のさらなる実装形態では、明確な視覚的所見の複数の指標の各々は、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文をクラスタ化することによって作成された複数のクラスタの一つに基づいている。

第一、第二、および第三態様のさらなる実装形態では、解剖学的撮像装置は、二次元解剖学的画像を取り込むX線装置を含む。

第一、第二、および第三態様のさらなる実装形態では、解剖学的撮像装置は、内外斜方向(MLO)像および頭尾方向(CC)像を含め、乳房当たり二つの像の二次元解剖学的画像を取り込むマンモグラフィ装置を含む。

第一、第二、および第三態様のさらなる実装形態では、第一解剖学的画像は、標的個人が解剖学的撮像装置に対して側方に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して前後方向(AP)または後前方向(PA)方向に向けられたときに、取り込まれる。

第一、第二、および第三態様のさらなる実装形態では、第一解剖学的画像は、標的個人が解剖学的撮像装置に対して仰臥位に向けられたときに取り込まれ、第二解剖学的画像は、標的個人が解剖学的撮像装置に対して立位に向けられたときに取り込まれる。

第一、第二、および第三態様のさらなる実装形態では、標的個人の身体部分は、標的個人の胸部、腹部、および四肢のうちの少なくとも一つを含む。

第一、第二、および第三態様のさらなる実装形態では、クラシファイアは、全結合層によって二つの解剖学的画像のうちの少なくとも一つにおける少なくとも二つの視覚的所見の指標を計算する。

第一、第二、および第三態様のさらなる実装形態では、複数の視覚的所見は、大動脈異常、大動脈石灰化、人工弁、無気肺、気管支壁肥厚、心臓ベースメーカ、心臓肥大、セントラルライン、硬化、向斜角鈍化、退行性変化、横隔膜上昇、骨折、肉芽腫、横隔膜ヘルニア、肺門隆起、過膨張、間質性マーキング、脊柱後弯、腫瘤、縦隔拡大、腸ガス過多、小結節、整形外科、骨減少症、胸水、胸膜肥厚、気胸、肺水腫、肋骨骨折、脊柱側弯症、軟組織石灰化、胸骨切開ワイヤ、目立つ止血鉗子、裂溝の肥厚化、気管偏位、移植片、チューブ、および椎骨高さ喪失から成る群から選択された少なくとも二つの構成要素を含む。

第一、第二、および第三態様のさらなる実装形態では、複数の視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕から成る群から選択された少なくとも二つの構成要素を含む。

第一、第二、および第三態様のさらなる実装形態では、方法および/またはシステムはさらに、統計的クラシファイアによって、二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の各々の存在の確率を示す信頼度スコアを計算することを含む。

第一、第二、および第三態様のさらなる実装形態では、方法および/またはシステムはさらに、複数の視覚的所見の各々について信頼度スコアに従ってヒートマップを計算すること、および二つの解剖学的画像のうちの少なくとも一つのオーバレイ層としてヒートマップを提示することを含む。

第一、第二、および第三態様のさらなる実装形態では、方法および/またはシステムはさらに、複数の標本個人のそれぞれのテキストベースの放射線医学レポートから複数の文を複数のクラスタにクラスタ化することを含み、明確な視覚的所見の複数の指標の各々は、複数のクラスタのうちの一つに基づいている。

第二態様のさらなる実装形態では、統計的クラシファイアは、二つの解剖学的画像のうちの入力された第一解剖学的画像に従って第一特徴ベクトルを計算する第一CNNと、二つの解剖学的画像のうちの入力された第二解剖学的画像に従って第二特徴ベクトルを出力するように設計された第二CNNと、第一特徴ベクトルおよび第二特徴ベクトルの連結に従って複数の視覚的所見のうちの少なくとも一つの所見の指標を出力する全結合層とを含む。

第一、第二、および第三態様のさらなる実装形態では、複数の標本個人の各個人の各テキストベースの放射線医学レポートについて、陽性所見を示すそれぞれのテキストベースの放射線医学レポートの複数の文のサブセットは、視覚的所見の複数の指標の一つにマッピングされ、陰性所見、中立データ、および不明瞭なデータのうちの少なくとも一つを示す複数の文の別のサブセットは、視覚的所見を示しておらず、視覚的所見の複数の指標の一つにマッピングされない。

第一、第二、および第三態様のさらなる実装形態では、方法および/またはシステムはさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、完全にカバーされた(fully−covered)訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の各々は、視覚的所見の複数の指標の一つ、陰性所見、および中立データのうちの一つにマッピングされ、クラシファイアは完全にカバーされた訓練データセットに従って訓練される。

第一、第二、および第三態様のさらなる実装形態では、方法および/またはシステムはさらに、複数の標本個人のテキストベースの放射線医学レポートのサブセットに従って、任意のヒット(any−hit)訓練データセットを作成することを含み、テキストベースの放射線医学レポートのサブセットの各々のそれぞれのテキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の少なくとも一つは、視覚的所見の複数の指標の一つにマッピングされ、クラシファイアは任意のヒット訓練データセットに従って訓練される。

第一、第二、および第三態様のさらなる実装形態では、統計的クラシファイアは、バイナリ交差エントロピ損失の平均に基づく主損失関数に従って訓練される。

第三態様のさらなる実装形態では、システムはさらに、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見の少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードを含み、コードは、複数の標本個人の各々に対し、それぞれの標本個人の身体部分の二つの解剖学的画像であって、各々が標的個人の少なくとも身体部分のそれぞれ独自の向きで取り込まれた二つの解剖学的画像と、複数の文を含むテキストベースの放射線医学レポートとを提供するためのコードと、複数の標本個人の各々に対し、複数の文の少なくとも一つを、それぞれの個人の二つの解剖学的画像のうちの少なくとも一つに存在する明確な視覚的所見の複数の指標のうちのそれぞれの特定の指標にマッピングする解析に従って、それぞれのタグを作成するためのコードと、複数の標本個人の各々についてそれぞれ二つの解剖学的画像とそれぞれのタグとを含む訓練データセットに従って、標的個人の身体部分の二つの解剖学的画像のうちの少なくとも一つにおける複数の視覚的所見のうちの少なくとも一つを同定するように統計的クラシファイアを訓練するためのコードとを含む。

別途定義されない限り、本明細書で使用されるすべての技術的用語および/または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および/または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。

本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。

図1は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するための方法のフローチャートである。

図2は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するための、かつ/または標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するようにクラシファイアを訓練するためのシステムの構成部品のブロック図である。

図3は、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するようにクラシファイアを訓練する方法のフローチャートである。

図4は、本発明の一部の実施形態に係る、解剖学的画像における視覚的所見の指標を計算するためのクラシファイアのアーキテクチャの略図である。

図5は、本発明の一部の実施形態に係る、訓練タグ(本明細書ではラベルともいう)を生成するためにテキストベースの放射線医学レポートの文を解析する例を示す略図である。

図6は、本発明の一部の実施形態に係る、解剖学的画像に示された一セットのあり得る例示的な視覚的所見である。

図7は、本発明の一部の実施形態に係る、実験に用いられた訓練画像に関連付けられた放射線医学レポートから同定された上位40の視覚的所見の表である。

図8は、本発明の一部の実施形態に係る、実験に用いられた評価セットの構成をまとめた表である。

図9は、本発明の一部の実施形態に係る、実験で用いられた評価セットの12の視覚的所見を含む陽性検査の百分率、およびラベル割当てが正しかった陽性検査の百分率をまとめた表である。

図10は、本発明の一部の実施形態に係る、実験で述べた胸部X線所見のうちの40の視覚的所見の各々に対する、訓練されたクラシファイアの複数のROCプロットを含む。

図11は、本発明の一部の実施形態に係る、実験の各検査のPA像だけで訓練された変形例と比較して、訓練されたクラシファイアによって達成されたROC曲線下面積(AUC)のグラフである。

図12は、本発明の一部の実施形態に係る、実験で用いられた二つの解剖学的画像により訓練された(すなわち、ベースと表記され、PA像および側面像を用いて訓練された)本明細書に記載するクラシファイアとの比較のために、一つの解剖学的画像(すなわちPA像)だけで訓練した本明細書に記載するクラシファイアの変形例の結果を提示する表である。

図13は、本発明の一部の実施形態に係る、実験で用いられたクラシファイアの結果に従って計算されたヒートマップの画像を含む。

図14は、本発明の一部の実施形態に係る、実験で用いられた放射線医学レポートのセットにおいて最も頻度の高い肯定的な文および対応する発生回数を提示する表である。

図15は、本発明の一部の実施形態に係る、特定の視覚的所見にマッピングされた文によって完全にカバーされている、実験に用いられた放射線医学レポートの数を、マッピングされた文の数の関数として表すグラフである。

図16は、実験に関連して記載するように、様々な視覚的所見に対する、割り当てられた手動放射線医学タガー(A〜Gと表記)の一致率を提示する表である。

本発明は、その一部の実施形態では、医用解剖学的画像に関し、さらに詳しくは、医用解剖学的画像の自動解析のためのシステムおよび方法に関するが、それに限定されない。

本明細書で使用する場合、二つの解剖学的画像という用語は例示であって、必ずしも限定ではない。二つの解剖学的画像は最も一般的な医療慣行、例えば二つの関連する解剖学的画像を表しており、それらのテキストベースの放射線医学レポートは、既存のPACSおよび/またはEMRに格納されてよい。本明細書に記載する教示に基づいて、より多くの解剖学的画像を実装してもよいことが注目される。例えばクラシファイアは、三種類の解剖学的画像の各々について訓練されたそれぞれのCNNを使用して、三つの解剖学的画像を解析するように訓練されてよい。そのようなクラシファイアは、異なる撮影方向の複数の解剖学的画像、例えばAP神経像、内旋、外旋、側面像、および関節窩像が得られる場合、例えば肩部を解析するために使用されてよい。

本明細書で使用する場合、患者の少なくとも身体部分の独自の向き、または独自の患者の向きという用語は、患者の身体部分および/または患者の全身の異なる向きで取り込まれる二つの解剖学的画像の各々を指すものであり、例えば、正面像および側面像、乳房の内外斜方向(MLO)像および頭尾方向像などの撮像センサに対する患者の回旋、横臥から起立への姿勢の変化、ならびに第一位置から第二位置への四肢の回旋、例えば脚もしくは腕の内旋または脚もしくは腕の外旋がある。解剖学的画像は、画像を取り込んだ解剖学的撮像センサ(本明細書では解剖学的撮像装置ともいう)と、標的個人の身体部分のそれぞれの向きとの間の独自のセンサ角度で取り込まれる。独自の観察角度は、例えば斜角、または直角、または他の非平行値を有してよい。二つの解剖学的画像は相互に平行な観察面を表さず、例えば二つの解剖学的画像は3D CTスキャンの平行なスライスではない。二つの解剖学的画像は、単に患者から撮像センサまでの距離を調整するのではなく、むしろ撮像センサに対する患者の旋回によって取り込まれてよい。代替的に、二つの解剖学的画像は、患者に対する撮像センサの回転および/または位置変更によって、例えば、単に撮像センサを患者に近づけるか患者から遠ざけるように平行移動するのではなく、むしろ撮像装置を患者の正面または側面に移動させることによって、取り込まれてよい。二つの解剖学的画像は、2Dスライスが非平行面である場合、3Dデータから2Dスライスとして抽出されてよく、例えば、MRI装置によって収集された撮像データから、相互に斜めのスライスまたは直角のスライスが抽出されることが注目される。それぞれ独自の患者の向きで取り込まれた二つの解剖学的画像の例として、胸部X線の前後方向(AP)像および側面像、胸部X線の後前方向(PA)像および側面像、腹部X線の腹部の二つの像、ならびに二つの像、例えば仰臥位像および直立像が挙げられる。別の例では、二つ以上の解剖学的画像は、片方または両方の乳房のマンモグラフィ画像、例えば乳房の内外斜方向(MLO)像および頭尾方向像が含まれてよい。二つ以上のマンモグラフィ像の例示的な視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕、ならびに放射線医学レポートで放射線科医によって一般的に記載される他の視覚的所見を含む。

本発明の一部の実施形態の態様は、二つの解剖学的画像のうちの少なくとも一つにおいて複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定するためのシステム、装置、方法、および/またはコード命令(すなわちデータ記憶装置によって格納され、一つ以上のハードウェアプロセッサによって実行可能なコード命令)に関する。二つの解剖学的画像の各々は、標的個人の少なくとも身体部分の独自の向きで取り込まれる。独自の向きの一つを示す解剖学的画像の一つは、統計的クラシファイアの畳込みニューラルネットワーク(CNN)に送り込まれる。CNNは、特定の独自の向きを示す解剖学的画像を処理するように設計される。独自の向きのうちのもう一方を示す他の解剖学的画像は、統計的クラシファイアの別のCNNに送り込まれる。この他方のCNNは、他方の独自の向きを示す解剖学的画像を処理するように設計される。各CNNはそれぞれの特徴ベクトルを出力する。出力された二つの特徴ベクトルは連結され、全結合層に入力される。全結合層は、解剖学的画像の一方または両方に存在する一つ以上の明確な視覚的所見の指標を出力する。指標は、解剖学的画像の一方または両方で見つかる可能性のある、一セットのあり得る明確な視覚的所見によるものである。

解剖学的画像は多くの所見を表し、各解剖学的画像は、視覚的所見を表さないか、一つの視覚的所見、または明確な視覚的所見の最大総数までの複数の視覚的所見を表すことがあり得る。本明細書に記載するクラシファイアは、例えばクラシファイアが解剖学的画像で単一の種類の特徴を検出するように訓練される他の方法とは対照的に、一セットのあり得る視覚的所見から一つ以上の視覚的所見を検出する。

本発明の一部の実施形態の態様は、標的個人の一セットの二つの解剖学的画像における複数のあり得る視覚的所見から一つ以上の視覚的所見を同定するように統計的クラシファイアを訓練するためのシステム、装置、方法、および/またはコード命令(すなわちデータ記憶装置に格納され、一つ以上のハードウェアプロセッサによって実行可能なコード命令)に関する。統計的クラシファイアは、複数の標本個人のうちの各標本個人に対して提供された二つの解剖学的画像に基づいて作成された、訓練データセットに従って訓練される。二つの解剖学的画像は、標的個人の少なくとも身体部分のそれぞれの独自の向きで取り込まれる。各セットの二つの解剖学的画像は、(例えば放射線科医が手動で画像を解釈することによって作成された)テキストベースの放射線医学レポートに関連付けられる。各テキストベースの放射線医学レポートは複数の文を含む。文の一つ以上は、それぞれの標本個人の解剖学的画像の一方または両方に存在するあり得る明確な視覚的所見の一つにマッピングされる。

あり得る明確な視覚的所見のセットは、グローバルなセットの指標を表す。異なる放射線医学レポートからの異なる文は、同一の視覚的所見にマッピングされることがあり得る。文の変形は放射線科医によって使用される個人化された言葉遣いから生じるものであり、事実上、文の全ての変形は実際には同じ種類の視覚的所見を指し示す。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、解剖学的画像における視覚的所見を自動的に同定することの技術的問題に対処する。解剖学的画像における視覚的所見の自動的検出は、幾つかの理由から、困難な技術的問題である。例えば、解剖学的画像で見つかる可能性のある多数のあり得る視覚的所見、解剖学的画像で見つかり得る視覚的所見の多数のあり得る組合せ、特定の視覚的所見の同定における視覚的明瞭性の欠如(人間インタープリタの間でさえも)。例えば、一つの実装形態に関連して本明細書に記載するように、40のあり得る視覚的所見のどの組合せも、訓練されたクラシファイアによって同定され得る。視覚的所見の幾つかの組合せは特定の医学的状況で共に現れることが注目される。例えば心臓肥大、肺門隆起、および肺水腫は、鬱血性心不全の状況で一緒に現れることがある。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも幾つかは、視覚的所見を同定するための解剖学的画像の自動解析の技術的分野を改善する。一つの例示的な改善は、本明細書に記載するように、(例えばPACSサーバおよび/またはEMRサーバに格納された)既存の解剖学的画像に関連付けられる既存の放射線医学レポートの使用に基づくものであり、それは、解剖学的画像の手動ラベリングを必要とすることなく、既存のデータを使用して超大規模訓練データセットを作成することを可能にする。本明細書に記載するように、ラベルは、解剖学的画像に関連付けられる予め作成されたテキストベースの放射線医学レポートに基づいて、自動的に生成される。超大規模データセットを使用できることで、訓練されたクラシファイアの精度が向上する。別の例示的な改善は、異なる向き角度で取り込まれた患者の二つ以上の解剖学的画像の使用に基づく。クラシファイアにより二つ以上の画像を処理することで、分類の精度は向上した。例えば、特定の視覚的所見は特定の向きの方がよりよく検出され、かつ/または特定の視覚的所見は、両方(またはそれ以上)の画像が解析される場合に、よりよく検出される。

別の例では、改善は、解剖学的画像を解釈する放射線科医によって作成された既存の放射線医学レポートの使用に基づいて達成される。既存の放射線医学レポートは、クラシファイアを訓練するために構造化されたラベルを提供するためではなく、むしろ、診療を目的として、検査を依頼した内科医に解釈を提供するために作成されたので、そのようなレポートの使用は技術的課題を提起する可能性がある。例えば、放射線科医は、簡潔性を優先して正常な構造について言及することを怠り、よって陰性ラベルを暗示することがあるので、そのようなレポートの使用は技術的課題を提起する。このバイアスは、軽度異常または老化による変化さえも除外される多くの検査に広がる。例えば同一CXRが、一人の放射線科医による「急性疾患なし」という一行のレポート、および別の放射線科医による心臓肥大および退行性変化という説明を生成することがある。実際、他の方法は、放射線医学レポートに依存してタグを作成するのではなく、むしろクラシファイアを訓練するための訓練データセットを作成するために、放射線医学レポートとは無関係に解剖学的画像に注釈が付けられる、しっかり構築されたラベリングシステムを使用する。放射線医学レポートに依存しない方法は、よく定義されたインデクシング方法(例えば、本明細書に詳述するように、MeSH)を使用するが、それとは対照的に、本明細書に記載するシステム、方法、装置、および/またはコード命令は、レポートの実際のテキストに基づいて陽性ラベルのセットを生成する。さらに、放射線科医が正常所見、軽度異常所見、X線検査を依頼するための臨床適応に無関係な所見、一般的集団にとっては異常所見であるが、患者の人口統計学的グループでは一般的にみられる所見(例えば高齢者集団で一般的にみられる退行性変化)の言及を怠り、かつ/または以前のX線写真で観察され、実質的に変化していない異常を言及し損なう怠慢バイアスは、特に重篤とは思われない所見に対し、より控えめな、完全にカバーされた訓練セットでさえも(完全にカバーされた訓練セットについては後でさらに詳述する)、ラベリングプロセスにノイズを導入するおそれがある。本明細書に、特に実施例の節に記載するように、発明者らは、放射線医学レポートを使用することによって導入されるそのような統計ノイズが、タグ付け(すなわち「手動タグ付け」)を行うように放射線科医を訓練することによって付加されるノイズより大きくはないことを発見した。したがって、本明細書に記載するように、クラシファイアの訓練用の大規模訓練データセットを作成するため、解剖学的画像用のラベルを自動生成するように既存の放射線医学レポートを使用することによって訓練されたクラシファイアは、各解剖学的画像に手動でタグ付けする場合と比較して、導入されるノイズによって統計学的に影響されない。

放射線科医によって実行される解剖学的画像の手動解釈は、見つかる可能性のある多数のあり得る所見のため、困難な仕事である。例えば、胸部X線撮影(CXR)は、多くの心疾患および肺疾患のスクリーニングおよび診断のために、非常に一般的に実行される放射線検査であり、米国だけで年間1億5000万を超える画像が得られている。CXRは、縦断的調査および急性期トリアージの基礎である。各CXRは、依頼された臨床適応のためだけではなく、多数のあり得る所見につながる他の異常を検出するためにも解釈される。人間の放射線科医は何らかの所見を容易に見落とすおそれがある。検査の偏在およびその明らかな技術的単純性にもかかわらず、胸部X線写真は、例えば、Robinson,P.J.、Wilson,D.、Coral,A.、Murphy,A.、Verow、P.:Variation between experienced observers in the interpretation of accident and emergency radiographs、The British journal of radiology 72(856)(4 1999)323‐30に関連して記載されるように、極めることが最も難しいものの一つであることが放射線科医の間で広く認識されている。さらに、放射線写真の迅速かつ正確な解釈を提供する能力のある内科医は、世界中で大幅に不足している。放射線科医の供給不足のため、放射線技師が予備的解釈を提供するように要請されることが、特に欧州およびアフリカで増えている。米国では、非放射線内科医がしばしばCXRの予備的または確定的な読影を提供し、診断精度という些細ではないコストを払って待機時間を減らしている。熟練した放射線科医の間でさえ、例えば、Robinson,P.J.、Wilson,D.、Coral,A.、Murphy,A.、Verow、P.:Variation between experienced observers in the interpretation of accident and emergency radiographs、The British journal of radiology 72(856)(4 1999)323‐30、およびBrady,A.、Laoide,R.、McCarthy,P.、McDermott,R.:Discrepancy and error in radiology:concepts,causes and consequences、The Ulster medical journal 81(1)(1 2012)3‐9に関連して記載されるように、検査の3〜6%で臨床的に実質的な誤りが起きており、例えばBruno,M.A.、Walker,E.A.、Abujudeh,H.H.:Understanding and Confronting Our Mistakes:The Epidemiology of Error in Radiology and Strategies for Error Reduction、RadioGraphics 35(6)(10 2015)1668‐1676に関連して記載されるように、30%に軽微な誤りがみられている。一部のエンティティの正確な診断は特に困難である。例えば、初期肺がんは症例の19〜54%で見落とされており、気胸および肋骨骨折の検出に対し、同様の感度数値が記載されている。主要な診断ミスの可能性は交代勤務時間の長さおよび解釈する検査の量の両方に直接相関し、例えばHanna,T.N.、Lamoureux,C.、Krupinski,E.A.、Weber,S.、Johnson,J.O.:Effect of Shift,Schedule、and Volume on Interpretive Accuracy:A Retrospective Analysis of 2.9 Million Radiologic Examinations、Radiology(11 2017)170555に関連して記載されるように、所与の放射線科医にとって、一日のうちでも異なる時間では診断精度が実質的に変動することに気付くことが重要である。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、二つ以上の解剖学的画像における視覚的所見を自動的に検出するためのクラシファイアを実装するコード命令を実行するコンピューティング装置の性能を改善する。性能の改善は、既存のコンピューティング資源(例えばプロセッサ、および/またはデータストレージ)を使用して、視覚的所見の検出精度を向上すること、および/または一セットのあり得る視覚的所見に対し一つ以上の視覚的所見の任意の組合せを検出する能力に基づく可能性がある。例えば、訓練されたクラシファイアは、他の自動化方法と比較して、かつ/または人間の能力と比較して、向上した感度により、視覚的所見を検出する可能性がある。別の例では、解剖学的画像に示された視覚的所見を正確に検出するコンピュータ装置の能力の性能の改善は、例えば臨床的解釈および/または診断の検出のためにクラシファイアを訓練することではなく、むしろ視覚的所見に従ってクラシファイアを訓練することに基づいている。例えば肺炎の検出のためにクラシファイアを訓練する場合に、臨床的所見は合意することが難しい(すなわち主観的である)が、肺炎を示している可能性のある硬化は、より客観的な視覚的所見である。クラシファイアは、より主観的である臨床的解釈および/または診断と比較して、より客観的な所見である、同定された視覚的所見をユーザに提供する。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、医用画像処理の技術分野で、特に二次元の解剖学的画像の自動解析の分野で一つ以上の視覚的所見を同定するために、基礎となる技術的プロセスを改善する。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、視覚的所見を同定するように統計的クラシファイアを訓練し、かつ訓練された統計的クラシファイアを適用して視覚的所見を同定するための、独自で独特かつ高度な技術を提供する。一部の実装形態では、独自で独特かつ高度な技術は、医用画像に関連付けられたテキストベースの放射線医学レポートの個々の文をマッピングして、解剖学的画像における視覚的所見を示すラベルを作成することに基づく。一部の実装形態では、独自で独特かつ高度な技術は、患者の二つ以上の解剖学的画像の訓練および/または解析に基づくものであり、各解剖学的画像は患者および/または検査される身体部分の特定の独自の向きを示す。

本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、他のシステムおよび/または方法では解決されない技術的問題に対し技術的解決策を提供し、かつ/または他のシステムおよび/または方法と比較して、自動的解剖学的画像解析の技術に改善をもたらす。

例えば、Demner‐Fushman,D.、Shooshan,S.E.、Rodriguez,L.、Antani,S.、Thoma,G.R.:Annotation of Chest Radiology Reports for Indexing and Retrieval(2015)99‐111に関連して記載されるように、例えば、Shin,H.C.、Roberts,K.、Lu,L.、Demner‐Fushman,D.、Yao,J.、Summers,R.M.:Learning to read chest x−rays:Recurrent neural cascade model for automated image annotation、Computer Vision and Pattern Recognition(CVPR)(June 2016)は、MeSHシステムを使用して公開データセットにおける3955のCXRレポートからラベルを抽出することに関係しているようである。対照的に、本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、既存のカテゴリおよび/またはMeSHなどのタグを使用するのではなく、むしろレポートの実際の文に基づくラベリングシステムを形成する。

Wang,X.、Peng,Y.、Lu,L.、Z.L.,O.C.V.、2017、u.:Chest ray8:Hospital−scale chest x−ray database and benchmarks on weakly−supervised classification and localization of common thorax diseases、Openaccess(dot)thecvf(dot)comに関連して記載されたChestX−ray14データセットは、NLPおよび手作りルールの組合せを使用して大まかにラベリングされた11万2千のPA画像を含む。Wangらは、患者の異なる向きの二つ以上の解剖学的画像を処理する本明細書に記載のシステム、方法、装置、および/またはコード命令とは対照的に、特定の一種類の解剖学的画像に関係するだけである。

Rajpurkar,P.、Irvin,J.、Zhu,K.、Yang,B.、Mehta,H.、Duan,T.、Ding,D.、Bagul,A.、Langlotz,C.、Shpanskaya,K.、Lungren,M.P.、Ng,A.Y.:CheXNet:Radiologist−Level Pneumonia Detection on Chest X−Rays with Deep Learning(11 2017)は、提供されたChestX−ray14ラベル一般との高度の不一致を報告した四名の放射線科医のチームに関係しているが、彼らは、DenseNet121CNNについて訓練した後、肺炎の存在について熟練者レベルの予測を達成する能力を実証している。対照的に、本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、人間の放射線科医との高い一致レベルを獲得し、かつ/または複数の異なる視覚的所見を正確に検出する能力を有する。

画像ラベルおよびレポートを備えた幾つかの公的データセットを利用して、Jing,B.、Xie,P.、Xing,E.:On the Automatic Generation of Medical Imaging Reports(11 2017)は、階層RNNを使用して自然のように見える放射線医学レポートを生成するシステムの構築に関係しているようである。高レベルRNNは、各文の単語を生み出す低レベルRNNにシードを与える文章埋込みを生成する。レポート生成の一部として、画像に存在する臨床的所見を表すタグが生み出された。しかし、これらのタグおよびレポートのテキストを用いて訓練されたモデルは、タグだけを使用して訓練されたモデルよりも正確にタグを予測しなかった。しかし、システムの最終的な精度は、臨床放射線医学的検証の欠如のため、明確にされないままである。対照的に、本明細書に記載するシステム、方法、装置、および/またはコード命令の少なくとも一部は、既存のカテゴリおよび/または予め定められたタグを使用するのではなく、むしろレポートの実際の文に基づくラベリングシステムを作成する。

したがって、本明細書に記載するシステム、方法、装置、および/またはコード命令は、解剖学的画像の処理および/または解析で発生する実際の技術的問題を克服するために、コンピュータ技術および/または物理的構成要素(例えば解剖学的撮像装置、プロセッサ、記憶装置)と密接に結び付いている。

本発明の少なくとも1つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および/または図面および/または実施例において例示される構成要素および/または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。

本発明は、システム、方法、および/またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を搭載したコンピュータ可読記憶媒体(または複数の媒体)を含んでよい。

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持しかつ格納することのできる有形の装置とすることができる。コンピュータ可読記憶媒体は、限定するわけではないが、例えば電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または前述のいずれかの適切な組合せであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読出し専用メモリ(ROM)、消去可能プログラム可能型読出し専用メモリ(EPROMまたはフラッシュメモリ)、スタティック・ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクト・ディスク読出し専用メモリ(CD ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、および前述のいずれかの適切な組合せを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体中を伝播する電磁波(例えば光ファイバケーブルを通過する光パルス)、またはワイヤを介して伝送される電気信号など、「一時的な信号」それ自体と解釈すべきではない。

本明細書に記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理装置にダウンロードするか、あるいはネットワークを介して、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、および/またはワイヤレスネットワークなどの外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを含んでよい。各コンピューティング/処理装置のネットワーク・アダプタ・カードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング/処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。

本発明の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または一つ以上のプログラミング言語の任意の組合せで書かれたソースコードもしくはオブジェクトコードのいずれかであってよく、そのようなプログラミング言語としては、Smalltalk、C++等などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語といった従来の手続き型プログラミング言語が挙げられる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されてよい。後者のシナリオでは、リモートコンピュータは、ローカル・エリア・ネットワーク(LAN)またはワイド・エリア・ネットワーク(WAN)をはじめ、任意の種類のネットワークを介して、ユーザのコンピュータに接続されてよく、あるいは(例えばインターネット・サービス・プロバイダを使用してインターネットを介して)外部コンピュータに接続を行ってもよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)、またはプログラマブル論理アレイ(PLA)をはじめとする電子回路が、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人用に設定することによって、コンピュータ可読プログラム命令を実行してよい。

本発明の態様は、本発明の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図に関連して、本明細書に記載されている。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。

これらのコンピュータ可読プログラム命令は、マシンを生成するように汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてよく、その結果、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令は、フローチャートおよび/またはブロック図の一つたは複数のブロックに指定された機能/動作を実装するための手段を形成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、および/または他の装置に特定の仕方で機能するように指示することのできるコンピュータ可読記憶媒体に格納されてよく、その結果、命令がその中に格納されたコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図の一つまたは複数のブロックに指定された機能/動作の態様を実装する命令を含んだ製品を含むことになる。

コンピュータ可読プログラム命令はまた、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他の装置上で実行させてコンピュータ実装プロセスを生み出すように、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードされてもよく、その結果、コンピュータ、他のプログラマブル装置、または他の装置で実行される命令は、フローチャートおよび/またはブロック図の一つまたは複数のブロックで指定された機能/動作を実装する。

図中のフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品のあり得る実装のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実装するための一つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことがある。一部の代替的実装形態では、ブロックに記された機能は、図に記された順序を外れて発生し得る。例えば連続して示される二つのブロックは、実際には略同時に実行されてよく、あるいはブロックは、関係する機能に応じて、時には逆の順序で実行されることがある。また、ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図のブロックの組合せは、指定された機能または動作を実行するかあるいは専用ハードウェアとコンピュータ命令の組合せを実行する、専用のハードウェアベースのシステムによって実装することができることも注目される。

次に図1を参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定する方法のフローチャートである。また、図2をも参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見を同定し、かつ/または標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見の同定のためにクラシファイアを訓練するためのシステム200の構成部品のブロック図である。また、図3をも参照すると、それは、本発明の一部の実施形態に係る、標的個人の二つの解剖学的画像のうちの少なくとも一つにおける複数のあり得る視覚的所見のうちの一つ以上の視覚的所見の同定のためにクラシファイアを訓練する方法のフローチャートである。システム200は、任意選択的に、メモリ206に格納されたコード命令を実行するコンピューティング装置204のハードウェアプロセッサ202によって、図1および/または図3に関連して記載した方法の動作を実装し得る。

コンピューティング装置204は、例えばクライアント端末、サーバ、仮想サーバ、放射線医学ワークステーション、仮想マシン、コンピューティングクラウド、モバイル装置、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネ型コンピュータ、および時計型コンピュータとして実装されてよい。コンピューティング装置204は、同定された視覚的所見の指標および/または他のコンピュータ支援検出を放射線科医に提示するために、時々放射線医学ワークステーションおよび/または他の装置に追加される高度可視化ワークステーションを含んでよい。

コンピューティング装置204は、図1および/または図3に関連して記載した動作の一つ以上を実行する、局所的に格納されたソフトウェアを含んでもよく、かつ/またはネットワーク210を介してサービス(例えば図1および/または図3に関連して記載した動作の一つ以上)を一つ以上のクライアント端末208(例えば遠隔配置された放射線医学ワークステーション、リモート画像保管通信システム(PACS)サーバ、リモート電子医療記録(EMR)サーバ)に提供する一つ以上のサーバ(例えばネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ)として働いてもよく、サーバは、例えばサービス型ソフトウェア(SaaS)をクライアント端末208に提供し、ローカルダウンロード用のアプリケーションをウェブブラウザへのアドオンとして、および/または医用イメージングビューアアプリケーションをクライアント端末208に提供し、かつ/またはウェブブラウザなどを介してリモート・アクセス・セッションを使用して機能をクライアント端末208に提供する。

クラシファイアの訓練、および訓練されたクラシファイアの解剖学的画像への適用による視覚的所見の同定は、同一のコンピューティング装置204によって、かつ/または異なるコンピューティング装置204によって実装されてよく、例えば一つのコンピューティング装置204はクラシファイアを訓練し、訓練されたクラシファイアをサーバ装置204に伝送することが注目される。

本明細書で使用する場合、用語「解剖学的撮像装置」および「解剖学的撮像センサ」は時には置き換え可能に使用されることがある。

コンピューティング装置204は、解剖学的撮像装置212、例えばX線装置、磁気共鳴撮像(MRI)装置、コンピュータ断層撮影(CT)装置、および/または超音波装置によって取り込まれた、2D画像、および/または一セットの2Dマンモグラフィ画像(乳房当たり二つ以上の像)、および/または2Dスライス(任意選択的に、相互に非平行である異なるスライス面で3D撮像データから抽出され、例えば3Dマンモグラフィスキャンから抽出される)を受信する。撮像装置212によって取り込まれた解剖学的画像は、画像リポジトリ214、例えばストレージサーバ、コンピューティングクラウド、仮想メモリ、およびハードディスクに格納されてよい。画像リポジトリ214によって格納された解剖学的画像は、任意選択的にテキストベースの放射線医学レポートに関連付けられた患者の画像を含んでよい。訓練画像216は、本明細書に記載するように、取り込まれた解剖学的画像およびテキストベースの放射線医学レポートに基づいて作成される。

訓練画像216は、本明細書に記載するように、クラシファイアを訓練するために使用される。訓練画像216は、例えば公開されている訓練データセット、および/または本明細書に記載するようにクラシファイアを訓練するために作成された、カスタマイズした訓練データセットなど、ネットワーク210を介してコンピューティング装置204でアクセス可能であるように、サーバ218によって格納されてよいことが注目される。

撮像装置212によって取り込まれた解剖学的画像は、標的患者の身体内の解剖学的特徴および/または解剖学的構造を示す。

コンピューティング装置204は、一つ以上の撮像インタフェース220、例えばワイヤ接続(例えば物理ポート)、ワイヤレス接続(例えばアンテナ)、ローカルバス、データ記憶装置の接続用ポート、ネットワーク・インタフェース・カード、他の物理インタフェース実装、および/または仮想インタフェース(例えばソフトウェアインタフェース、仮想プライベートネットワーク(VPN)接続、アプリケーション・プログラミング・インタフェース(API)、ソフトウェア開発キット(SDK))を使用して、撮像装置212および/または画像リポジトリ214から訓練画像216を受信してよい。

ハードウェアプロセッサ202は、例えば中央処理装置(CPU)、グラフィクス・プロセシング・ユニット(GPU)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、デジタル信号プロセッサ(DSP)、および特定用途向け集積回路(ASIC)として実装されてよい。プロセッサ202は一つ以上のプロセッサ(同種または異種)を含んでよく、それらは、並列処理用に、クラスタとして、かつ/または一つ以上のマルチコア処理装置として配設されてよい。

メモリ206(本明細書では、プログラム記憶素子および/またはデータ記憶装置ともいう)、例えばランダム・アクセス・メモリ(RAM)、読出し専用メモリ(ROM)、および/または記憶装置、例えば不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブル記憶装置、および光媒体(例えばDVD、CD ROM)は、ハードウェアプロセッサ202による実行のためのコード命令を格納する。例えばメモリ206は、図1に関連して記載した方法の一つ以上の動作および/または特徴を実装する画像処理コード206A、および/または図3に関連して記載した方法の一つ以上の動作および/または訓練されたクラシファイア222Aのコード命令を実行する訓練コード206Bを格納してよい。

コンピューティング装置204は、データ、例えば訓練されたクラシファイア222A(本明細書に記載するように)、訓練画像216、および/またはテキストベースの放射線医学レポートを格納するためのデータ記憶装置222を含んでよい。データ記憶装置222は、例えばメモリ、ローカル・ハード・ドライブ、リモート記憶装置、光ディスク、記憶装置、および/またはリモートサーバおよび/またはコンピューティングクラウド(例えばネットワーク210を介してアクセスされる)として実装されてよい。訓練されたクラシファイア222A、訓練画像216、および/またはテキストベースの放射線医学レポートはデータ記憶装置222に格納されてよく、実行部分はプロセッサ202による実行のためにメモリ206にロードされることが注目される。

コンピューティング装置204は、ネットワーク210に接続するために、データインタフェース224、任意選択的にネットワークインタフェース、例えばネットワーク・インタフェース・カード、ワイヤレスネットワークに接続するためのワイヤレスインタフェース、ネットワーク接続性のためケーブルに接続するための物理インタフェース、ソフトウェアで実装される仮想インタフェース、より高いレイヤのネットワーク接続性をもたらすネットワーク通信ソフトウェア、および/または他の実装のうちの一つ以上を含んでよい。コンピューティング装置204は、例えば更新された訓練画像216をダウンロードするため、かつ/または画像処理コード、訓練コード、および/または訓練されたクラシファイアの更新バージョンをダウンロードするために、ネットワーク210を使用して一つ以上のリモートサーバ218にアクセスしてよい。

コンピューティング装置204は、ネットワーク210または別の通信チャネルを使用して、例えば直接リンク(例えばケーブル、ワイヤレス)および/または間接リンク(例えばサーバなどの中間コンピューティング装置を経由し、かつ/または記憶装置を経由する)を介して、以下の一つ以上と通信してよい。 *例えば、コンピューティング装置204がサーバとして働き、遠隔的に得られた解剖学的画像を解析するため、画像解析サービス(例えばSaaS)をリモート放射線医学端末に提供する場合、クライアント端末208。 *例えば、放射線クリニックの撮像装置によって取り込まれた、例えば解析用の多数の解剖学的画像および/または放射線医学レポートを格納し得るPACSに関連して実装される、サーバ218。 *解剖学的画像を格納する解剖学的画像リポジトリ214、および/または解剖学的画像を出力する撮像装置212。

撮像インタフェース220およびデータインタフェース224は、二つの独立したインタフェース(例えば二つのネットワークポート)として、共通物理インタフェース上の二つの仮想インタフェース(例えば共通ネットワークポート上の仮想ネットワーク)として存在し、かつ/または単一のインタフェース(例えばネットワークインタフェース)に統合されてよいことが注目される。

コンピューティング装置204は、ユーザがデータ(例えば患者データ)を入力しかつ/または同定された視覚的所見の指標を表示するように設計された機構を含むユーザインタフェース226を含むか、あるいはそれと通信する。例示的なユーザインタフェース226は、例えばタッチスクリーン、ディスプレイ、キーボード、マウス、ならびにスピーカおよびマイクロフォンを使用する音声起動ソフトウェアのうちの一つ以上を含む。

次に再び図1を参照すると、102で統計的クラシファイアが提供され、かつ/または訓練される。

複数のクラシファイアが訓練されてよい。各クラシファイアは、特定の解剖学的撮像装置によって出力された特定のセットの解剖学的画像を処理するように訓練されてよい。例えば、特定のクラシファイアは、一つの解剖学的画像がAP方向の患者を示し、かつ別の画像が側面方向の患者を示している、胸部X線写真を解析するように訓練される。別の例では、別のクラシファイアは、一つの解剖学的画像が横臥した患者を示し、かつ別の画像が直立した患者(例えば座位、起立位)を示している、腹部X線写真を解析するように訓練される。別の例では、別のクラシファイアは、三つ以上の明確に異なる向きの肩のX線写真を解析するように訓練される。別の例では、別のクラシファイアは、一つの解剖学的画像が乳房のMLO像を示し、別の画像が同じ乳房のCC像を示している、乳房のマンモグラフィ画像を解析するように訓練される。乳房の他の像が実装されてもよいことが注目される。

クラシファイアは複数の利用可能なクラシファイアから選択されてよい。選択はユーザによって(例えばユーザインタフェースを介して、例えば利用可能なクラシファイアのメニュおよび/またはアイコンを表示して)手動で実行されてよい。選択は、例えば各画像および/または画像自体を解析するコードに関連付けられたメタデータの解析によって、画像における患者の向きおよび/または撮像モダリティを決定するコードによって、自動的に実行されてよい。

一つ以上のクラシファイアを訓練する例示的な方法について、図3に関連して説明する。

104で、標的個人の身体部分を示す二つ(またはそれ以上)の解剖学的画像が提供される。

二つ(またはそれ以上の)解剖学的画像の各々は、標的個人の少なくとも身体部分の独自の向き、例えば全身の向き(例えばAP、PA、側方)、および/または四肢の向き(内転、外転、内旋、外旋)、および/または体位(例えば着座位、起立位)を示す。

例えば、第一解剖学的画像は、例えば胸部X線写真の場合、標的個人が解剖学的撮像装置に対して側方に向けられたときに取り込まれ、かつ第二解剖学的画像は、標的個人が解剖学的撮像装置に対して前後方向(AP)または後前方向(PA)に向けられたときに取り込まれる。別の例では、第一解剖学的画像は、例えば腹部X線写真の場合、標的個人が解剖学的撮像装置に対して仰臥位に向けられたときに取り込まれ、かつ第二解剖学的画像は、標的個人が解剖学的撮像装置に対して直立に向けられたときに取り込まれる。

画像は、例えばPACSサーバ、EMRサーバ、解剖学的撮像装置、および/または記憶装置(例えばポータブル記憶媒体、ストレージサーバ)から取得されてよい。例えば解剖学的画像は、撮像モダリティによって取り込まれた後、かつ/またはいったん画像が格納された後、自動的に解析に送られる。

例示的な身体部分は、胸部、腹部、乳房、および四肢(例えば、肩部、臀部、手首、および肘など、四肢の関節および/または一部分)を含む。

例示的な解剖学的撮像装置は、二次元の解剖学的画像を取り込むX線装置を含む。

106で、(二つの解剖学的画像のうちの)特定の解剖学的画像は、統計的クラシファイアの特定の畳込みニューラルネットワーク(CNN)に送り込まれる。特定のCNNはそれぞれの特徴ベクトルを出力する。

特定のCNNは、標的個人の定義された向きを示す解剖学的画像、例えば標的個人が側方に向けられた胸部X線写真だけを処理するように設計される。

108で、二つの解剖学的画像のうちのもう一つの解剖学的画像が統計的クラシファイアのもう一つのCNNに送り込まれる。このもう一つのCNNはそれぞれの特徴ベクトルを出力する。

このもう一つのCNNは、標的個人の別の定義された向きを示す解剖学的画像、例えば標的個人がAP方向に向けられた胸部X線写真だけを処理するように設計される。

二つのCNNの事例は例示であって、必ずしも限定ではないことが注目される。各々が標的患者の独自の向きを示す三つ以上の解剖学的画像が利用可能である場合、例えば肩部のX線写真の場合、統計的クラシファイアは三つ以上のCNNを含むように設計されてよい。

各CNNは、例えば、Huang,G.、Liu,Z.、van der Maaten,L.、Weinberger,K.Q.:Densely connected convolutional networks In:Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(2017)に関連して記載された、各タイプの対応する解剖学的画像(すなわち異なる患者の向き、例えば胸部X線写真の場合、PA像および側面像)に従って別々に訓練される、DenseNet 121に基づいて実装されてよい。

110で、それぞれのCNNによって出力された特徴ベクトルは結合され、任意選択的に連結され、統計的クラシファイアの全結合層に送り込まれる。特徴ベクトルは、平均プーリング層の直後に抽出されてよい。全結合層はカスタマイズされる。

112で、全結合層は、二つの解剖学的画像の一方または両方に存在する(訓練されたクラシファイアによって検出され得る一セットのあり得る視覚的所見からの)一つ以上の明確な視覚的所見の指標を計算した。全結合層は、各々のあり得る視覚的所見に対し、それぞれの視覚的所見が一方または両方の画像内で同定されるか否かを示す所見を出力し得る。代替的に、一方または両方の画像内で同定された視覚的所見だけが出力される。代替的に、それぞれの各視覚的所見に対し、それぞれの各視覚的所見が一方または両方の画像内に映し出されている確率を示す確率スコアが出力される。

全結合層の出力は、シグモイド活性化関数を受けてそれぞれの視覚的所見が画像の一つ以上に存在する確立を出力し得る。

あり得る視覚的所見のセットは、本明細書に記載するように、訓練データセットの標本個人の解剖学的画像に関連付けられる放射線科医レポートの文の解析に従って決定されてよい。

胸部X線写真の例示的な視覚的所見は、大動脈異常、大動脈石灰化、人工弁、無気肺、気管支壁肥厚、心臓ベースメーカ、心臓肥大、セントラルライン、硬化、向斜角鈍化、退行性変化、横隔膜上昇、骨折、肉芽腫、横隔膜ヘルニア、肺門隆起、過膨張、間質性マーキング、脊柱後弯、腫瘤、縦隔拡大、腸ガス過多、小結節、整形外科、骨減少症、胸水、胸膜肥厚、気胸、肺水腫、肋骨骨折、脊柱側弯症、軟組織石灰化、胸骨切開ワイヤ、目立つ止血鉗子、裂溝の肥厚、気管偏位、移植片、チューブ、および椎骨高さ喪失を含む。マンモグラフィの例示的な視覚的所見は、腫瘤、石灰化、石灰化腫瘤、石灰化クラスタ、ねじれ、非対称性、密度、および瘢痕を含む。

任意選択的に、統計的クラシファイアは、二つ(またはそれ以上)の解剖学的画像のうちの少なくとも一つにそれぞれの各視覚的所見が存在する確率を示す信頼度スコアを計算する。代替的に、クラシファイアは、視覚的所見の存在、および任意選択的に他の視覚的所見の不在を示す絶対値を出力する。

全結合層の出力は配列および/またはベクトルであってよく、配列の各要素は、訓練されたクラシファイアによって同定される可能性のある、あり得る視覚的所見の一つに対応する。例えば第一要素は大動脈異常に対応し、第二要素は大動脈石灰化に対応する、などと続く。各要素内の値は、それぞれの視覚的所見の存在または不在を示すバイナリ値(例えば0または1、真または偽)であってよい。各要素内の値は、それぞれの視覚的所見が存在する確率を示す信頼度スコアであってもよい。

任意選択的に、ヒートマップが視覚的所見の各々に対する信頼度スコアに従って計算される。ヒートマップは画像毎に計算されてよい。ヒートマップはCNNの各々によって出力されるベクトルに従って計算されてよく、例えばヒートマップは、各解剖学的画像に対して計算された特徴マップ上に線形結合として生成される。特徴マップは、ネットワークの最後から三番目の層の出力から得られる(すなわち、最後から二番目の層で、各「特徴マップ」は、結果的に得られる特徴ベクトルの単一の数字に集約され、最後の層は各所見の出力確率を生成する全結合層である)。視覚的所見jのヒートマップを生成するときに特徴マップiに割り当てられる重みは、W_ijと表すことができ、ここでWはネットワークの最後の全結合層の重みのマトリクスを表す。ヒートマップは画像の一方または両方のオーバレイとして提示されてよい。例えば色および/または強度レベルは、画像の画素に対し、対応する画素における視覚的所見の確率に従って計算されてよい。

任意選択的に、クラシファイアは、同じ種類の複数の視覚的所見に対し単一の指標を出力する、例えば二つ以上の肋骨骨折が解剖学的画像に映し出された場合、クラシファイアは「肋骨骨折」の指標を出力する。同じ種類の複数の視覚的所見は、解剖学的画像内の異なる場所に、例えば患者の左側、患者の右側、頭部方向、および/または脚部方向に位置することがある。

次に再び図1を参照すると、114で、明確な視覚的所見の計算された指標が提供される。

任意選択的に、視覚的所見の指標は、データ記憶装置に(例えばメタデータタグなどの医用画像に関連して)格納され、かつ/または 患者のEMRおよび/またはPACSサーバに格納される。

代替的に、または追加的に、視覚的所見の指標は、例えばネットワークを介してリモートサーバおよび/またはクライアント端末および/またはモバイル装置に転送される。

代替的に、または追加的に、視覚的所見の指標はディスプレイ上に提示され、例えば、画像が提示されている間に、任意選択的に、視覚的所見の指標のリストはスクリーン上にポップアップウィンドウとして提示される。

次に再び図3を参照すると、302で、解剖学的画像のセットは、複数の標本個人の各々に対して提供される。解剖学的画像の各セットは、それぞれの標本個人の少なくとも身体部分のそれぞれ独自の向きを示す、それぞれの標本個人の身体部分の二つ以上の画像を含む。一つ以上の文を含むテキストベースの放射線医学レポートは、解剖学的画像に関連付けられる。テキストベースの放射線医学レポートは、例えば放射線科医によってタイプされ、あるいは放射線科医によって口述筆記された、画像の放射線医学読影の記載を含む。

解剖学的画像のセットおよび関連する放射線医学レポートは、例えばPACSサーバおよび/または標本個人のEMR記録から入手し得る。

304で、各標本個人の各セットの解剖学的画像に対し、それぞれのタグが作成される。各タグは画像の一方または両方に映し出された一つ以上の視覚的所見を含む。タグは、例えばメタデータタグ、電子ラベル、および/またはデータセットにおけるエントリ(例えば各要素が明確な視覚的所見を表す配列)へのポインタとして実装されてよい。

タグは、それぞれの各放射線医学レポートの個々の文を、それぞれの放射線医学レポートに関連する解剖学的画像に示された明確な視覚的所見の対応する指標にマッピングする解析に従って作成される。個々の文は明確な視覚的所見の一つにマッピングされる。

一セットの明確な視覚的所見は、画像の放射線医学レポートの文(任意選択的に全ての文)の解析に従って作成される。明確な視覚的所見の指標は、放射線科医によって同定された視覚的所見に基づいている。しかし、異なる放射線科医は、同一の視覚的所見に言及するために異なる文および/または異なる用語を使用することがあるので、複数の異なる文が同一の明確な視覚的所見にマッピングされてよい。

任意選択的に、標本個人の放射線医学レポートからの個々の文は、比較的少数の明確な視覚的所見、例えば約10の視覚的所見、または約20、または約25、または約30、または約40、または約50、または約100の視覚的所見にクラスタ化される。放射線医学レポートの数は、明確な文の数、例えば約500000または約100万の文と比較して小さい。各クラスタは明確な視覚的所見の一つを表す。それぞれのクラスタ内の全ての文は、それぞれ同一の明確な視覚的所見を示す。クラスタ化は、例えばユーザによって手動で、かつ/またはクラスタを作成するように設計された教師ありおよび/または教師なしの機械学習方法に基づいて、実行されてよい。

クラスタ化は次の一つ以上に従って実行されてよい。 クラスタ化は次のような多くの選択肢を有することができる。 1.より高い頻度の文の幾つかを手動で探索し、それらにタグ付けする(例えば実施例の節における実験で記載するように)。 2.アルゴリズムを使用してレポート内の文を自動的にパースし、それらを陽性所見(または陰性)に関連付ける。 3.(2)のアルゴリズムはルールに基づくことができる(例えば、各所見について、人間が式を書き、文がこの式を満たす場合、その文は所見の陽性指標にマッピングされる)。 4.((1)の場合のように)手動で注釈を付けた文の標本を前提として、(2)のアルゴリズムは式を自動的に学習することができる(すなわちMLアルゴリズム)。

306で、一つ以上のクラシファイアを訓練するために一つ以上の訓練データセットが作成される。各訓練データセットは、解剖学的画像のセットおよび関連するタグを含む。

訓練データセットは、訓練される標的クラシファイアに従って、例えば撮像される身体部分に従って、画像モダリティに従って、かつ/または画像に現れる患者の身体部分の向きに従って分類されてよい。

任意選択的に、訓練データセットは、陽性所見(すなわち異常である可能性のある視覚的所見)を示す標本個人のテキストベースの放射線医学レポートの文のサブセット(任意選択的に各レポートからの一つ以上の文)を、視覚的所見の指標の一つにマッピングすることによって作成される。陰性の文は、(実施例の節における実験で記載するように)無視されるか、あるいは文中に示された視覚的所見に対する陰性ラベルにマッピングされるかのいずれかである。中立文は、示唆的情報を伝えないので、単に無視される。曖昧な文は、関連する画像のセットを訓練セットから除去することにつながり得る。

別の例では、陰性所見(例えば正常所見、または異常所見無し)および/または中立データ(すなわち陽性または陰性所見を示さない)、および/または不明瞭なデータ(例えばデータが陽性または陰性所見を示しているかどうか不明瞭である)を示す別のサブセットの文は、視覚的所見が無いことを示す別のタグにマッピングされる。他のサブセットの文は視覚的所見の指標のいずれにもマッピングされない。クラシファイアは両方のサブセットの文および関連する解剖学的画像について訓練されてよく、一方のサブセットは視覚的所見を同定するようにクラシファイアを訓練し、他方のサブセットは、陰性所見を誤って視覚的所見と指定することによる擬陽性を回避するように、クラシファイアを訓練する。

中立所見を示す文は無視されてよい。

任意選択的に、完全にカバーされた訓練データセットは、標本個人のテキストベースの放射線医学レポートのサブセットに従って作成される(すなわち、幾つかのレポートは訓練データセットから除外される)。サブセットに含まれるそれぞれの各テキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の各々は、視覚的所見の指標の(すなわち、モデルによって支持される所見から陽性所見を表す)、陰性所見、および中立データのうちの一つにマッピングされる。クラシファイアは、完全にカバーされた訓練データセットおよび関連する解剖学的画像に従って訓練されてよい。

代替的に、任意のヒット訓練データセットが、標本個人のテキストベースの放射線医学レポートのサブセットに従って作成される(すなわち、幾つかのレポートは訓練データセットから除外される)。サブセットに含まれるそれぞれの各テキストベースの放射線医学レポートについて、それぞれのテキストベースの放射線医学レポートの文の少なくとも一つは、視覚的所見の指標の一つにマッピングされる。陰性所見および/または中立データにマッピングされた文は無視される。クラシファイアは、任意のヒット訓練データセットおよび関連する解剖学的画像に従って訓練されてよい。

308で、一つ以上の統計的クラシファイアは作成された訓練データセットに従って訓練される。

クラシファイアは、標的個人の身体部分の一方または両方の解剖学的画像であり得る視覚的所見から一つ以上の視覚的所見を同定するために訓練される。

任意選択的に、クラシファイアは、入力された第一解剖学的画像に従って第一特徴ベクトルを計算する第一CNN、二つの解剖学的画像のうちの入力された第二解剖学的画像に従って第二特徴ベクトルを出力するように設計された第二CNN、および第一特徴ベクトルおよび第二特徴ベクトルの連結に従って一つ以上の視覚的所見の指標を出力する全結合層を含む。

任意選択的に、統計的クラシファイアは、バイナリ交差エントロピ損失に基づく主損失関数、例えば

に従って訓練される。 式中: P_kはk番目の出力ユニットの値を表し、 y_kはk番目の所見に対するバイナリラベルを表す。

310で、訓練された統計的クラシファイアが提供される。訓練された統計的クラシファイアは、コンピューティング装置によって局所的に格納され、かつ/または訓練が別の装置によって実行されるときにコンピューティング装置に転送されてよい。

次に図4を参照すると、それは、本発明の一部の実施形態に係る、解剖学的画像における視覚的所見の指標を計算するためのアーキテクチャの略図である。正面像の胸部X線写真402はCNN404に入力され、CNN404は、任意選択的に1024の特徴を含みかつ/または1024のサイズを持つそれぞれの特徴ベクトルを出力する(例えば図1の動作106に関連して記載するように)。側面像の胸部X線写真406は別のCNN408に入力され、CNN408は、任意選択的に1024の特徴を含みかつ/または1024のサイズを持つそれぞれの特徴ベクトルを出力する(例えば図1の動作108に関連して記載するように)。CNN404およびCNN408によって出力される特徴ベクトルは、連結データ構造410に連結される(例えば図1の動作110に関連して記載するように)。連結データ構造410は全結合層412に入力され、結合層412は、一方または両方の画像402および406に示された視覚的に明確な所見の一つ以上、例えば40のあり得る視覚的所見のうちの一つ以上の指標を計算する(例えば図1の動作112に関連して記載するように)。代替的に、または追加的に、全結合層412は、画像402および406の一方または両方に示されている可能性を示す、40のあり得る視覚的所見の各々の確率スコアを計算する。

次に図5を参照すると、それは、本発明の一部の実施形態に係る、訓練タグ(本明細書ではラベルともいう)を生成するためのテキストベースの放射線医学レポート502の文の解析例を示す略図である。放射線医学レポート502は、X線画像における所見について記述した、放射線科医のそれぞれの表現方法に基づく複数の動詞文を含む。文504および506は陰性所見、視覚的所見が無いことを表す。陰性所見は正常所見を表すこともある。陰性所見の文には陰性ラベルが割り当てられる。文508はX線画像における視覚的所見を表す。視覚的所見を表す文は、あり得る視覚的所見の一つにマッピングされる。文510は、陽性の視覚的所見または陰性の/正常な視覚的所見を示さない中立所見を表す。中立所見を表す文は無視されてよい。

次の図6を参照すると、それは、例えば本明細書に記載するように、本発明の一部の実施形態に係る、解剖学的画像に示された一セットのあり得る視覚的所見602の例である。あり得る視覚的所見602は、標本個人のレポートの文のクラスタ化に基づいて同定されてよい。任意選択的に、配列604はクラシファイアによって(すなわち全結合層によって)出力され、0の値を含む各要素は、対応する視覚的所見(すなわち列602の対応する行)がこのセットの解剖学的画像では同定されないことを示す。1の値は、対応する視覚的所見(すなわち列602の対応する行)がこのセットの解剖学的画像に示されていると同定されることを示す。示された例では、椎骨高さ喪失、肺門、および肉芽腫がこのセットの解剖学的画像に対する視覚的所見として同定される。

本明細書中上記に描かれるような、および、下記の請求項の節において特許請求されるような本発明の様々な実施形態および態様のそれぞれは、実験的裏付けが下記の実施例において見出される。

次に、統計的クラシファイアの訓練、および訓練された統計的クラシファイアによる解剖学的画像の分析についての下記の実施例が参照されるが、下記の実施例は、上記の説明と一緒に、本明細書に記載するシステム、方法、装置および/またはコード命令を非限定様式で例示する。

発明者らは、図1、2、および3に関連して述べた特徴および/またはシステム構成要素に基づいて、本明細書に記載するシステムおよび/または方法および/または装置および/またはコード命令に従って計算評価を実行した。

訓練データセットを作成するために、HIP AA基準に従って取得の前に全ての患者健康情報(PHI)がデータから除去された。210万の胸部X線写真(CXR)とそれぞれのテキストベースの放射線医学診断レポート付きのデータセットが使用された。年齢18以上の個人の全ての後前(PA)方向のCXR画像が生成された。対応する側面像はCXR検査の85%に存在し、訓練データに含まれた。

全てのCXRレポートを一セットの明確な規範的ラベルに集約する標準化プロセスを採用した。文境界検出アルゴリズムをCXRに対応する2100万のレポートに適用し、82万7千のユニークな文が生み出された。三名の熟練放射線科医および二名の医学生が、最も多く発生する文をCXR画像に対するそれらの適切さに関して分類した。発明者らは、文を次の三つのカテゴリにクラスタ化し得ることを発見した。(1)例えば「心臓が肥大している」、または「正常な心臓の陰影」など、所見の有無を報告し、したがってラベルを生成するために使用される文。(2)例えば「84歳の男性、咳あり」、「肺小結節経過観察」、または「CT胸部と比較した」など、画像自体から導出されず、あるいは本質的に関係しない中立文。(3)例えば「昨日より胸部の外観に変化なし」など、画像に対するテキストの関係が曖昧であるため、検査を信頼できなくし得る文。

幾つかの手作りした正規表現を使用して中立文および陰性文を取り除いた後、わずか2万の最も広く用いられる陽性文だけを用いて、82万6千のレポートを完全にカバーすることが可能であった。同じ熟練放射線科医がこれらの文の各々を精査し、全ての陽性文ボリュームの99.99%をカバーする60の所見の初期オントロジにそれらをマッピングした。

クラシファイアを訓練するため最終オントロジを形成するために、臨床的解釈または診断ではなく、視覚的所見を選択した。幾つかのカテゴリは統合された。すなわち、骨粗しょう症は骨減少症に統合され、ねじれた非コイル状大動脈は異常大動脈に統合され、気管支マーキングは間質性マーキングに統合された。これらの所見を画像のみに基づいて弁別することは、往々にして不可能であるためである。視覚的に異なるが、全てのチューブおよび静脈ラインは二つのそれぞれのカテゴリに統一される。

次に図7を参照すると、それは、本発明の一部の実施形態に係る、訓練画像に関連する放射線医学レポートから同定された上位40の視覚的所見の表を含む。合計95万9千件の検査のうち59万6千件(62%)が所見を報告していなかったことが注目される。

文のラベリングの完了後に、適切な訓練セットを設計した。慎重な手法では、レポート文が完全にカバーされた検査だけが含まれることが注目される(完全にカバーされたセットは、本明細書に記載するように作成される)ことが注目される。すなわち、各検査における潜在的陽性文を全て手動で精査し、所見にマッピングした。より寛容な、任意のヒット手法では、そのレポート内に認識された陽性文がある全ての検査が含まれ、他の認識されない文は無視されるので、それらの中に異常を示すものがあっても、間違って陰性とラベル付けされるリスクがある。

完全にカバーされた手法は、59万6千件の正常検査(すなわち陽性所見が無い)、および23万件の異常検査(すなわち少なくとも一つの陽性所見)をもたらした。任意のヒット手法はノイズが多いが、合計36万3千件の検査に対し、58%多い異常検査を追加した。最終訓練セットには、完全にカバーされた手法では82万6千件の検査、任意のヒット手法では95万9千件の検査が含まれた。

発明者らは、完全にカバーされた手法および任意のヒット手法の両方を評価比較するために計算評価を実施した。より大きい任意のヒット訓練セットがベースラインとして設定された。訓練セットは、(匿名の)患者の身元に基づいて、訓練、検証、および試験に分割された(それぞれ80%/10%/10%)。検証と指定された検査の10%から、サイズ994の検証セットは各所見からの少なくとも25の陽性とコンパイルされた。検証損失が最も低いクラシファイアが選択された。

実験用に設計されたクラシファイアはサイズが299×299の二つの入力を受信した。側面像が入手できない場合、クラシファイアには代わりにランダムノイズが供給された。各X線画像(rawフォーマットで、最大3000×3000画素)は零点平均正規化され、330(1+a)×330(1+b)のサイズにスケール変更され、c度回転された。299×299のランダムパッチが入力として受け取られた。訓練増強のために、a、bは+/−0.09から、かつcは+/−9から均等に標本抽出され、各画像は無作為に水平方向にフリップされた。バランスのため、PA像は標本の5%でランダムノイズに置換された。試験のため、a=b=c=0、およびセントラルパッチが入力として、フリップせずに使用された。

クラシファイアは二つの1080Ti GPUで訓練され、クラシファイアの各CNNは異なるGPUで訓練された。Tensorow1.4上のDenseNet121の内蔵Keras2.1.3の実装が使用された。AdamオプチマイザとKerasデフォルトパラメータが使用され、バッチサイズは32であった。検査は正常および異常の二つの待ち行列に分類された。各バッチは平均して95%の異常検査で満たされた。一エポックは150バッチと定義された。開始時の学習率は0.001であり、検証損失が30エポック間改善されなかった場合、学習率は0.75倍にされた。クラシファイアは2000エポックにわたって訓練された。

40の視覚的所見カテゴリのうちの12カテゴリが選択された。試験区分からの検査を使用して、選択された12の視覚的所見に従って、評価セットが作成された。大部分のセットは、心臓肥大、肺門隆起、および肺水腫を除いて、単一の所見に集中した。これらの視覚的所見については、一般的に鬱血性心不全の状況でみられるので、ひとまとめに扱われた。各セットで、検査は二つのプールから導出された。pos‐poolと呼ばれる第一プールは、それぞれの視覚的所見について放射線医学レポートに陽性の指摘が含まれる検査を含んだ。pos‐poolに含まれた検査は、文のタグ付け操作とは関係なく、各所見を示す用語を手動でテキスト検索することによって得られた。neg‐poolと呼ばれる第二プールは、無作為に標本抽出された検査で、どの所見についても大部分が陰性であったものを含んだ。

次に図8を参照すると、それは、本発明の一部の実施形態に係る、評価セットの構成をまとめた表を含む。Textrayは本明細書に記載する訓練されたクラシファイアを表す。pos‐pool(すなわち放射線医学レポートにおける所見が陽性である)およびneg‐pool(すなわち無作為標本)から得られた検査の数は、各セットに割り当てられた三名の放射線科医(radsと表記されている)と放射線医学レポートとの平均一致率(AAR)と共に、表に提示されている。本明細書に記載するクラシファイアおよび放射線科医によって得られた結果間のAAR(すなわち、textrayの列によって表される)は、いずれかの放射線科医と他の放射線科医との間のAAR(avg radと表記される)と比較される。差(Δと表記される)に対する信頼区間が計算される。

各セットは三名の熟練放射線科医によって評価された。各セットで、放射線科医はシャッフルされた検査を精査し、デスクトップで操作されるウェブベースのソフトウェアを使用して、関連視覚的所見の有無を示した。放射線科医にはPA像および側面像の両方がそれらの元の解像度で示された。

放射線医学レポートは第四の熟練者の意見として考慮された。ラベル抽出プロセスの精度を測定するために、レポートの意見は訓練セットのラベルと相互参照された。訓練セットの陽性ラベルはレポートにおいて正確に示されていた。レポートに示された陽性所見は、任意のヒット訓練セットで予測されるように、頻繁に誤って陰性とラベル付けされていたが、これは完全にカバーされたセットでも、より低い程度ではあったが、観察された。

次に図9を参照すると、それは、本発明の一部の実施形態に係る、評価セットの12の視覚的所見を含む陽性検査の百分率およびラベルの割当てが正しかった陽性検査の百分率をまとめた表である。表は、本明細書に記載する二つの訓練におけるラベルノイズの推定を提示する。

完全にカバーされた訓練セットは、それぞれの放射線医学レポートの全ての潜在的陽性文がパースされ、かつそれぞれの所見にマッピングされる場合に、検査を含む。任意のヒット訓練セットは、少なくとも一つの文がパースされ、かつ所見にマッピングされる場合に、たとえ陽性文の残りがパースされず、それらの所見が不明である場合でも、検査を含む。任意のヒット訓練セットは、全ての所見に対してより多くの陽性検査を含む(左側の二列)が、これらの陽性所見のより多くの部分は誤って陰性としてラベル付けされている(右側の二列)。

発明者らがFlスコアの代わりに二人のタガー間の一致率(例えば精度)を使用したことを除いては、放射線科医の一致のペアワイズ解析は、Rajpurkar,P.、Irvin,J.、Zhu,K.、Yang,B.、Mehta,H、Duan,T、Ding,D.、Bagul,A.、Langlotz,C.、Shpanskaya,K.、Lungren,M.P.、Ng,A.Y.:CheXNet: Radiologist−Level Pneumonia Detection on Chest X−Rays with Deep Learning(11 2017)に関連して記載された手順に従って実行された。この調整は、(a)一致率は陰性についての一致をも測定するため、かつ(b)一致率は解釈がより容易であるため、発明者によって行われた。(一モデルについて)一放射線科医の平均一致率AARとは、他の二名(あるモデルでは三名)の放射線科医に対して達成された一致率の平均である。平均放射線科医一致率は三名の放射線科医のAARの平均である。ブートストラップ法(n=10000)を使用して、本明細書に記載したクラシファイアと平均放射線科医一致率との間の差に対し、95%の信頼区間を得た。各所見に対するクラシファイアの閾値として、検証セットでAARを最大化したものを使用した。

次に再び図8を参照すると、表は、本明細書に記載するクラシファイア(textrayと呼ばれる)が人間の放射線科医と、12件の所見のうち肋骨骨折および肺門隆起を除く10件で同レベル(95%の信頼区間内)であることを示している。一部の所見(横隔膜上昇、大動脈異常、および肺水腫)については、放射線科医らは相互の間より、本書に記載するクラシファイアの出力との一致率の方がかなり高いことが注目される。図8の表はまた、放射線科医とレポートとの平均一致率をも示す。この場合にも、一致率は往々にして放射線科医自身の間の平均一致率より高い。これらの結果は、レポートをラベルとして使用することにより加わるノイズが、タグ付けを行うように放射線科医を訓練することにより加わるノイズより大きくはないことの証拠を提供する。

テキストベースのラベルをグラウンドトゥルース(ground−truth)として使用して、本明細書に記載する訓練されたクラシファイアの性能を40の視覚的所見カテゴリ全部について試験した。試験セットを作成するために、5000件の検査の無作為標本を試験区分から選択した。各所見が少なくとも100件の陽性症例を含むまで、試験区分からさらに検査を追加し、合計して7030件の検査が選択された。

次に図10を参照すると、それは、本発明の一部の実施形態に係る、実験で述べた胸部X線所見のうちの40の視覚的所見の各々に対する、訓練されたクラシファイアの複数のROCプロットを含む。各ROCプロットの表題は、7030件の検査のテキストセットにおける陽性の数を示す。感度=特異度である場合のAUCおよび精度が各プロットに示される。40の視覚的所見に対するAUCは0.7から1.0の範囲である(平均0.892)。図表の頂部では人工物(すなわちペースメーカ、ライン、チューブ、ワイヤ、および移植片)のAUCが1.0に接近していることが検出されており、全ての疾患よりずっと良い結果であることが注目される。

次に図11を参照すると、それは、本発明の一部の実施形態に係る、各検査のPA像だけを用いて訓練された変形例(すなわちRajpurkar,P.、Irvin,J.、Zhu,K.、Yang,B.、Mehta,H.、Duan,T.、Ding,D.、Bagul,A.、Langlotz,C.、Shpanskaya,K.、Lungren,M.P.、Ng,A.Y.:CheXNet:Radiologist−Level Pneumonia Detection on Chest X−Rays with Deep Learning.(11 2017)およびWang,X.、Peng,Y.、Lu,L.、Z.L..o.C.V.,2017、u.:Chestx−ray8:Hospital−scale chest x−ray database and benchmarks on weakly−supervised classification and localization of common thorax diseases.openaccess.thecvf.comに関連して記載された手法)と比較して、訓練されたクラシファイアによって達成されたROC曲線下面積(AUC)のグラフである。グラフに示される標識された点の数字は、図7に関連して記載した表に提示されたあり得る視覚的所見の番号に対応する。椎骨高さ喪失、硬化、肋骨骨折、および脊柱後弯の場合、PA像に加えて、本明細書に記載する訓練されたクラシファイアによって処理された側面像は、PA像単独の場合と比較して、結果的に検出率が向上したことが注目される。グラフによって示される結果は、各々が患者の独自の向きを示す二つ以上の解剖学的画像に従ってここで訓練されたクラシファイアが、一つの患者の向きを示す単一の解剖学的画像に基づく方法と比較して、検出精度の向上を達成することを示している。

次に図12を参照すると、それは、実験に関連して記載するように、二つの解剖学的画像を用いて訓練された(すなわちベースと表記され、PA像および側面像を用いて訓練された)本明細書に記載するクラシファイアと比較するために、一つの解剖学的画像(すなわちPA像)だけを使用して訓練された本明細書に記載するクラシファイアの変形例の結果を提示する表である。標識FCは、完全にカバーされた訓練セットで訓練されたクラシファイアの変形例を表す。AUCで測定した変形例の性能は、40の視覚的所見の各々について示される。しかし、変形例はほとんど全ての視覚的所見でかなり低い結果をもたらし、より高いラベルノイズの相殺を超える、任意のヒットセットにおける追加の異常検査を示唆している。

次に図13を参照すると、それは、本発明の一部の実施形態に係る、結果に従って計算されたヒートマップの画像を含む。図13に提示するヒートマップは、Wang,X.、Peng,Y.、Lu,L.、Z.L..o.C.V.、2017、u.:Chestx‐ray8:Hospital−scale chest x−ray database and benchmarks on weakly supervised classification and localization of common thorax diseases.openaccess.thecvf.comに関連して記載された手順に基づいて計算された。ヒートマップは、実験に関連して記載した陽性所見のうちの12件に対して提示される。ヒートマップは、選択された側面画像およびPA画像上に提示される。一つのヒートマップ1302がマークされており、ヒートマップ1302はPA像胸部X線写真1304上の心臓ベースメーカを表している。

次に図14を参照すると、それは、本発明の一部の実施形態に係る、実験に使用された放射線医学レポートのセットにおいて、最も頻繁に現れる陽性文および対応する発生回数を提示する表である。

次に図15を参照すると、それは、本発明の一部の実施形態に係る、特定の視覚的所見にマッピングされた文によって完全にカバーされた実験に使用された放射線医学レポートの数を、マッピングされた文の数の関数として示すグラフである。グラフは、最も一般的な文がマップされるという前提に基づいて生成される。

次に図16を参照すると、それは、実験に関連して記載するように、様々な視覚的所見について、割り当てられた手動放射線医学タガー(A〜Gと表記)の一致率を提示する表である。タガーA〜Gはそれぞれ40年、6年、5年、5年、2年、2年、および2年の経験を有する担当放射線科医である。数字は、各放射線科医対セットにおける他の二名の放射線科医の平均一致率(AAR)を示す。

本発明の様々な実施形態の記載は、説明の目的のために与えられたものであり、開示された実施形態に限定したものであることや網羅したものであることを意図しない。多くの修正及び変形が、記載された実施形態の範囲及び精神から逸脱せずに当業者に明らかであるだろう。本明細書に使用される用語法は、実施形態の原理、市場で見出される技術に対する技術改良もしくは実際の適応を最良に説明するため、又は本明細書に開示された実施形態を他の当業者に理解させるために選択される。

本出願から成熟する特許の存続期間の期間中には、多くの関連する解剖学的画像が開発されることが予想され、解剖学的画像の用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

本明細書中で使用される用語「約」は、±10%を示す。

用語「含む/備える(comprises、comprising、includes、including)」、「有する(having)」、およびそれらの同根語は、「含むが、それらに限定されない(including but not limited to)」ことを意味する。この用語は、「からなる(consisting of)」および「から本質的になる(consisting essentially of)」を包含する。

表現「から本質的になる」は、さらなる成分および/または工程が、特許請求される組成物または方法の基本的かつ新規な特徴を実質的に変化させない場合にだけ、組成物または方法がさらなる成分および/または工程を含み得ることを意味する。

本明細書中で使用される場合、単数形態(「a」、「an」および「the」)は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「化合物(a compound)」または用語「少なくとも1つの化合物」は、その混合物を含めて、複数の化合物を包含し得る。

用語「例示的」は、本明細書では「例(example,instance又はillustration)として作用する」ことを意味するために使用される。「例示的」として記載されたいかなる実施形態も必ずしも他の実施形態に対して好ましいもしくは有利なものとして解釈されたりかつ/または他の実施形態からの特徴の組み入れを除外するものではない。

用語「任意選択的」は、本明細書では、「一部の実施形態に与えられるが、他の実施形態には与えられない」ことを意味するために使用される。本発明のいかなる特定の実施形態も対立しない限り複数の「任意選択的」な特徴を含むことができる。

本開示を通して、本発明の様々な態様が範囲形式で提示され得る。範囲形式での記載は単に便宜上および簡潔化のためであり、本発明の範囲に対する柔軟性のない限定として解釈すべきでないことを理解しなければならない。従って、範囲の記載は、具体的に開示された可能なすべての部分範囲、ならびに、その範囲に含まれる個々の数値を有すると見なさなければならない。例えば、1〜6などの範囲の記載は、具体的に開示された部分範囲(例えば、1〜3、1〜4、1〜5、2〜4、2〜6、3〜6など)、ならびに、その範囲に含まれる個々の数値(例えば、1、2、3、4、5および6)を有すると見なさなければならない。このことは、範囲の広さにかかわらず、適用される。

数値範囲が本明細書中で示される場合には常に、示された範囲に含まれる任意の言及された数字(分数または整数)を含むことが意味される。第1の示された数字および第2の示された数字「の範囲である/の間の範囲」という表現、および、第1の示された数字「から」第2の示された数「まで及ぶ/までの範囲」という表現は、交換可能に使用され、第1の示された数字と、第2の示された数字と、その間のすべての分数および整数とを含むことが意味される。

明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。

本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。

本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。 それに加えて、本願のいかなる優先権書類も、その全体を参照によってここに組み入れられる。