背景技术
[0001] 具有多个计算设备的计算系统可以出于各种原因在计算设备之间传送数据。例如，具有多个计算设备的计算系统可以在计算设备之间传送数据以用于数据复制或数据镜像。在这样的示例中，可以执行数据镜像以帮助为计算系统提供高可用性和可靠性。
附图说明
[0002] 本公开的非限制性示例在以下描述中被描述、参考在此所附附图进行阅读并且不限制
权利要求的范围。在附图中，出现在多于一幅附图中的相同和相似的结构、元件或其部分通常在其出现的附图中用相同或相似的附图标号进行标记。图中所图示的组件和特征的尺寸主要是为了方便和清晰的呈现而被选择，并且不一定是按比例绘制。参照附图：图1是包括用于确认一系列数据、接收提交数据的请求以及提交已确认的数据的计算
电路的示例计算系统的
框图；
图2是包括用于确认一系列数据、接收提交数据的请求以及提交已确认的数据的计算电路的示例计算系统的框图；
图3是具有用以确认和提交一系列数据的计算电路的多个实例的示例计算系统的框图；和
图4是包括确认和提交一系列数据的计算系统的示例方法的
流程图。
具体实施方式
[0003] 在下面的详细描述中，对形成其一部分的附图进行参考，并且其中通过说明描绘了其中可以实践本公开的具体示例。应该理解，在不脱离本公开的范围的情况下，可以利用其他示例并且可以进行结构或逻辑上的改变。
[0004] 如上所指出，具有多个计算设备的计算系统可以出于各种原因在计算设备之间传送数据。例如，具有多个计算设备的计算系统可以在计算设备之间传送数据以用于数据复制或数据镜像。在这样的示例中，可以执行数据镜像以帮助为计算系统提供高可用性和可靠性。这种数据传送可以包括来自接收计算设备的针对确认的请求和对接收计算设备上的处理器可
访问的
存储器的提交。在一些示例中，针对所有数据传送请求确认，并且计算设备可以在数据已被提交给处理器可访问的存储器之后发送确认。虽然等待这样的确认可以提高可靠性，但是它也可以在数据传送过程中引入等待时间。
[0005] 为了解决这些问题，本文所描述的示例可以利用计算电路来在完全地接收到一系列数据并且在传送结束（EOT）消息中请求确认的指示时，将确认返回给一系列数据的发送器——即使当该系列数据还没有被提交给与处理资源相关联的存储器时。这样的示例可以提供快速且有效的方法来确认数据传送。一旦接收到提交数据的请求，计算电路可以将已确认且未提交的系列数据提交给与处理资源相关联的存储器，随后是中断，该中断向处理资源指示已确认的系列数据已经被提交给与处理资源相关联的存储器。这样的示例可以提供使已确认的数据被提交给与处理资源相关联的存储器的能
力。这样的示例还可以将提交数据的请求限制到发生计算设备失败时，从而限制了对某些情况的提交并允许了有效的计算系统。
[0006] 例如，计算设备可以包括计算电路。计算电路可以包括可执行来接收一系列数据和传送结束（EOT）消息的逻辑。 EOT消息可以与该系列数据相关联。计算电路可以确定EOT消息是否包括请求确认的指示。响应于请求确认的指示，计算电路可以在完全接收到系列数据时向该系列数据的发送器发送确认。计算电路可以在将系列数据提交给与处理资源相关联的存储器之前发送确认，存储器和处理资源与计算电路分离。计算电路可以包括可执行来接收提交接收到的数据的请求的逻辑。响应于提交数据的请求，计算电路可以将任何已确认且未提交的数据提交给与处理资源相关联的存储器，并且然后将中断提交给存储器。中断向处理资源指示已确认的系列数据被提交给存储器。
[0007] 图1是包括用于确认一系列数据170的计算电路110的示例计算系统101的框图。在图1中，计算系统101可以包括计算设备100，该计算设备100包括计算电路110、存储器192和诸如中央处理单元（CPU）的至少一个处理资源191。计算设备100中的存储器192与处理资源191相关联。在图1中，为了说明的目的，系列数据170被示出为一系列数据
块或写入。在图1的示例中，数据块170A是系列数据170中的第一数据块，并且随后是后续数据块170B、
170C、...、170D，系列数据170可以包括数据块170C和170D之间的零个或多个数据块。尽管在图1的示例中，系列数据170包括四个或更多数据块，但是在其他示例中，系列数据170可以在不同示例中包括更多、更少或不同的数据块。在一些示例中，可以与计算设备100相同或者类似地构造发送器150，并且计算设备100可以向其他相同或类似构造的计算设备100发送数据以及接收数据。
[0008] 如本文所使用的，“计算设备”可以是储存阵列、储存设备、储存箱、
服务器、台式或膝上型计算机、交换机、路由器、计算机集群、
节点、分区、
虚拟机或任何其他包括
控制器、处理资源等的设备或装备。在本文所描述的示例中，“处理资源”可以包括例如包括在单个计算设备中的或分布在多个计算设备上的一个处理器或多个处理器。如本文所使用的，“处理器”可以是以下中的至少一个：中央处理单元（CPU）、基于
半导体的
微处理器、
图形处理单元（GPU）、用于检索并执行指令的现场可编程
门阵列（FPGA）、适用于存储在机器可读储存介质上的检索和执行指令的其他
电子电路或其组合。
[0009] 在本文所描述的示例中，计算电路110可以是用于发送确认和提交数据的任何合适的
硬件或硬件和编程的组合，如本文所述。在一些示例中，计算资源102可以包括计算电路110。在本文所描述的示例中，计算资源102可以是计算设备100或者是可以作为计算设备100的组件而被包括的资源。例如，本文中的计算资源102可以包括包含计算电路110的
专用集成电路（ASIC）。在其他示例中，计算资源102可以包括实现计算电路110的
现场可编程门阵列（FPGA）。在其他示例中，计算资源102可以包括计算电路110的任何其他合适的实现。在一些示例中，本文中关于逻辑111所描述的功能性可以由一个或多个引擎来实现，该引擎可以是硬件和编程的任何组合以实现（一个或多个）引擎的功能性。
[0010] 在本文所描述的示例中，计算电路110可以执行逻辑111，所述逻辑用于执行本文中关于计算电路110所描述的功能性。在一些示例中，可以以硬件（例如，在ASIC的电路中）来实现逻辑111。在这样的示例中，逻辑111可以由硬件执行以执行本文中关于计算电路110所描述的功能性。在这样的示例中，计算电路110可以包括逻辑111（例如，用于实现逻辑111的硬件）。
[0011] 在其他示例中，可以以硬件和编程（例如，在ASIC的电路中）的任何合适的组合来实现计算电路110。在本文所描述的示例中，硬件和编程的这种组合可以以许多不同的方式来实现。例如，用于计算电路110的编程可以是存储在至少一个非暂时性机器可读储存介质上的处理器可执行指令，并且用于计算电路110的硬件可以包括（一个或多个）处理资源或其他
电子电路以执行那些指令。在一些示例中，硬件还可以包括其他电子电路以至少部分地实现计算电路110。在一些示例中，至少一个机器可读储存介质可以存储指令，所述指令在由至少一个处理资源191执行时，至少部分地实现逻辑111中的一些或全部。在这样的示例中，实现计算电路110的计算资源102可以包括存储指令的至少一个机器可读储存介质以及用于执行指令的（一个或多个）处理资源或其他电子电路。在一些示例中，如上所述，计算电路110可以包括用于执行逻辑111的硬件，而逻辑111被存储为与计算电路110的硬件是分离的但是对其是可访问的。
[0012] 如本文所使用的，“机器可读储存介质”可以是用于包含或存储诸如可执行指令、数据等的信息的任何电、磁、光学或其他物理储存设备。例如，本文所描述的任何机器可读储存介质可以是
随机存取存储器（RAM）、易失性存储器、
非易失性存储器、闪速存储器、储存
驱动器（例如
硬盘驱动器）、固态驱动器、任何类型的储存盘（例如光盘、DVD等）等的任意或其组合。本文所描述的任何机器可读储存介质可以是非暂时性的。
[0013] 如本文所使用的，“与处理资源相关联的存储器”可以是处理资源将用作主存储器的存储器，诸如例如易失性工作存储器，处理资源将在存储在存储器上并从存储器检索以供执行的指令的执行期间使用所述易失性工作存储器用于数据储存和检索。在一些示例中，与处理资源相关联的存储器可以是处理资源可直接访问的存储器。在一些示例中，与处理资源相关联的存储器可以是处理资源从其中直接检索并且执行当前正由处理资源执行的
操作系统、程序、应用等的指令的易失性存储器。在一些示例中，与处理资源相关联的存储器可以是易失性存储器，由处理资源执行的任何指令从其中被检索以供执行（在引导过程之后）。例如，存储器可以是易失性存储器，诸如随机存取存储器（RAM）。在一些示例中，与处理资源相关联的存储器可以被处理资源直接访问，并且不可被任何其他处理资源直接访问。在一些示例中，与处理资源相关联的存储器可以直接耦合到处理资源，并且不直接耦合到任何其他处理资源。在一些示例中，与处理资源相关联的存储器可以包括其上实现处理资源的CPU管芯上的高速缓存。
[0014] 在图1的示例中，如上所述，逻辑111可以包括全部可由计算电路110执行的逻辑120、130和135。在其他示例中，逻辑111可以包括逻辑120、130和135中的至少一个或其组合。在图1中，逻辑111可由计算电路110执行以接收一系列数据170和EOT消息160。在一个示例中，系列数据170可以包括一系列写入。例如，如上所述，图1将系列数据170图示为一系列数据块170A-170D。在图1的示例中，计算电路110的逻辑120可以从发送器150接收系列数据
170和EOT消息160。在一个示例中，发送器150可以与计算设备100是分离的。在另一个示例中，发送器150可以包括与计算设备100相似或相同的计算设备或者是其一部分，如本文所述。
[0015] 在图1中，计算电路110可以包括逻辑130，其可执行来响应于确定EOT消息160是否指示对确认162的请求并且在计算电路110完全接收到系列数据170时，将确认180发送到系列数据170的发送器150。在计算电路110的逻辑120接收到EOT消息160之后，逻辑130可以确定EOT消息160是否指示发送器150请求确认。在一些示例中，当EOT消息160指示针对确认162的请求时逻辑130可以生成并发送对EOT消息160的确认180，并且否则不生成和发送确认180。如上所指出，EOT消息160可以通过EOT消息160中的一个或多个预定义比特或以任何其他合适的方式来指示对确认162的请求。在这样的示例中，如果（一个或多个）适当的比特被设置为指示请求确认并且系列数据170被完全接收，那么逻辑130可以生成确认180并将确认180发送给发送器150。在这样的示例中，当被请求时（而不是当它们未被请求时）提供确认180的逻辑130可以减少由逻辑130生成和发送的消息的数量，这相对于始终发送确认
180的示例而言可以改善计算电路110的操作性能。在其他示例中，逻辑130可以为所有输入系列数据（例如，系列数据170）提供确认180。在这样的示例中，无论EOT消息160是否指示对确认的请求，逻辑130都可以响应于接收到与（在EOT消息160之前接收的）一系列数据相关联的EOT消息160来生成并发送相应的确认180。在这样的示例中，逻辑130可以响应于EOT消息160的接收而发送确认180，而不管任何其他因素。这样的示例可以简化计算电路110的操作。
[0016] 在图1中，逻辑135可由计算电路110执行以接收提交所接收的数据的请求182。响应于提交数据的请求182，逻辑135可以将中断190附加到已确认的系列数据170（即，通过发送确认180向发送器150确认的）。在逻辑135将中断190附加到系列数据170之后，逻辑135可以发起提交过程。在一个示例中，对存储器192的提交是将已确认的系列数据170写入到存储器192中的物理
位置。逻辑135可以将已确认的系列数据170写入存储器192。在一个示例中，逻辑135可以以该系列数据170被接收的连续顺序对已确认的系列数据170进行写入（例如，逻辑135对数据块170A进行写入，接着是数据块170B等等）。在逻辑135将系列数据170提交给存储器192之后，逻辑135可以提交中断190给处理资源191。
[0017] 在另一个示例中，计算电路110可以包括可执行来生成提交所接收的数据的请求182的逻辑。在一个示例中，处理资源191可以执行存储在机器可读储存介质中的机器可读指令。所执行的机器可读指令可以提示计算电路110的逻辑111生成提交请求182。在另一个示例中，所执行的机器可读指令可以提示逻辑在任何时间生成提交数据的请求182。在另一个示例中，计算电路110可以包括可执行来确定系列数据170的发送器150失败的逻辑。响应于发送器150失败，逻辑111可以对逻辑120进行禁用，并且然后生成提交数据的请求182。在一个示例中，当执行对逻辑120进行禁用的逻辑时，计算设备100可以不接收来自发送器150的数据。响应于提交数据的请求182，计算电路110可以处理提交数据的请求182，如上所述。
计算电路110可以首先发送对于接收到的最近系列数据170的确认180，直到接收到提交数据的请求182的点为止。在一个示例中，计算电路110可以不提交在接收到提交数据的请求
182的时间点之后接收到的数据。
[0018] 如上所述，从发送器150发送一系列数据170，并且计算设备100接收该系列数据170。在一个示例中，发送器150可以发送镜像数据。在另一个示例中，按连续顺序发送每一系列数据。在另一个示例中，该系列数据是一系列快速外围计算机互连（PCIe）事务层分组（TLP）。发送器150可以将数据分解成系列数据（例如，一系列PCIe TLP）。
[0019] 如上所述，逻辑135可以将中断190提交给存储器192。在一个示例中，逻辑135可以基于提交数据的请求182从中断表中选择中断190。计算电路110可以包括中断表。在另一个示例中，中断190是消息系统中断-x（MSI-X），并且中断表是MSI-X向量表。如上所述，响应于提交数据的请求182，逻辑135提交来自中断表的特定中断190。
[0020] 在另一个示例中，EOT消息160可以包含其他参数或数据。在一个示例中，EOT消息160中的预定义比特可以包括指向发送器150中的控制块队列的
指针。发送器150可以包括发送器150正在处理的当前XOR控制块的指针。XOR控制块可以指向发送器150存储器中的系列数据170。一接收到确认180时，发送器150可以存储确认180返回的指针。发送器150可以继续处理XOR控制块，而不管发送器150是否接收到确认180。响应于提示，发送器150可以将所存储的一个或多个指针传送到发送器150存储器。一个或多个指针可以向发送器150指示一系列发送数据（以及在该系列数据之前发送的数据）被确认。
[0021] 图2是包括计算电路110的示例计算系统201的框图，该计算电路110用于确认一系列数据、接收提交数据的请求182、并提交已确认的数据。图2图示出了包括CPU 240、与CPU 240相关联的存储器192和计算电路110的计算系统201。图2图示出了系列数据210A和系列数据210B。在其他示例中，可以从发送器传送更多、更少或不同系列的数据。在一个示例中，每一系列数据210与EOT消息220相关联，EOT消息220跟随在该系列数据210之后。在一个示例中，每个EOT消息220可以指示对确认221的请求。在一个示例中，当计算设备200接收到一系列数据210时，逻辑120可以将该系列数据210存储在
缓冲器230中。响应于对确认221该系列数据210的请求，逻辑120可以在每一系列数据被接收之后发送确认（例如，在接收到系列数据210A时发送确认250A，并且在接收到系列数据210B时发送确认250B）。确认250不指示在计算设备200中该系列数据210位于何处。确认250指示该系列数据210至少位于缓冲器
230中。在确认180被发送的时刻处，该系列数据210可以位于计算设备200中的任何地方。确认180向发送器150指示计算电路110接收到系列数据210。响应于提交数据182的请求，逻辑
135从缓冲器230或者从系列数据210在那个时间点所处的地方将系列数据210传送到存储器192。在紧接着系列数据210之后，中断190被写入到存储器192。中断190向CPU 240指示存储器192包含已确认的系列数据210。
[0022] 图3是具有用于确认和提交一系列数据的计算电路110的多个实例的示例计算系统的框图。图3图示出了包括与其他计算设备360进行通信的计算设备300的计算系统301。在该示例中，ASIC 370包括计算电路110的多个实例。每个计算电路110实例可以与每个其他计算电路110实例相同或相似。在一个示例中，链路
接口350和远程控制器340实现用于接收一系列数据和EOT消息的逻辑120。链路接口350连接到其他计算设备360。在一个示例中，五个计算设备300、360被包括在计算系统301中。计算系统301可以包括更多、更少或不同的计算设备300、360。尽管示出了到计算设备300的连接，但是除了计算设备300以外的每个计算设备360可以耦合到每个其他计算设备360。在另一个示例中，计算设备300、360可以是在储存服务器集群中紧密耦合的节点。每个节点耦合到其他节点以创建网状网络。计算设备
360可以将一系列数据和EOT消息传送到计算设备300。链路接口350接收该系列数据和EOT消息。链路接口350将该系列数据和EOT消息传送给远程控制器340。在一个示例中，链路接口350是PCIe连接，并且该系列数据是一系列PCIe TLP。按连续顺序发送PCIe TLP，并且每一系列PCIe TLP包括EOT消息。
[0023] 在图3中，远程控制器340实现用于向一系列数据的发送器（例如，计算设备360之一）发送确认的逻辑。在一个示例中，远程控制器340可以检查EOT消息中的预定义比特或一系列比特。响应于被设置的一个或多个预定义比特，远程控制器340可以在远程控制器340完全接收到该系列数据时生成确认消息。在一个示例中，远程控制器340可以——一旦生成确认——就将EOT消息的内容复制到确认消息。发送器（例如，计算设备360之一）可以存储确认的内容，该确认包含EOT消息的数据的副本。在这样的示例中，EOT消息可以包含来自发送器的指针。在另一个示例中，并且响应于该确认，发送器（例如，计算设备360之一）可以将下一系列数据发送给计算设备300。在另一个示例中，发送器（例如，计算设备360之一）可以发送下一系列数据到计算设备300，而不管发送器是否接收到确认。在另一个示例中，远程控制器340可以在接收到EOT消息时确定该系列数据被完全接收。远程控制器340然后可以将确认发送给发送器（例如，计算设备360之一）。
[0024] 在图3中，远程控制器340也可以实现用于生成提交数据的请求的逻辑。在一个示例中，在另一个计算设备360失败时生成提交数据的请求。在另一个示例中，远程控制器340可以按需生成提交数据的请求。在另一个示例中，CPU 240可以执行存储在机器可读储存介质中的机器可读指令。在这样的示例中，所执行的机器可读指令可以提示远程控制器340生成提交数据的请求。在另一个示例中，所执行的机器可读指令可以在寄存器中设置一个比特以指示远程控制器340生成提交数据的请求。在这样的示例中，计算电路110可以包括上述的寄存器。远程控制器340可以检查寄存器，并且响应于在寄存器中设置的一个或多个比特，远程控制器340可以生成提交数据的请求。远程控制器340可以将中断请求附加到最近已确认且未提交的系列数据的末尾。远程控制器340可以向所述本地控制器330发送所有已确认（在远程控制器生成提交数据的请求的时间点处）且未提交的系列数据以及所附的中断请求。在一些示例中，一些数据可以是在生成提交数据的请求之前被发送到本地控制器330。在另一个示例中，在系列数据和中断请求被发送到本地控制器330之后，远程控制器
340可以清除寄存器（上述由所执行的机器可读指令设置的寄存器）。
[0025] 在图3中，本地控制器330也可以实现用于接收提交数据的请求的逻辑135。如上所述，本地控制器330从远程控制器340接收已确认且未提交的系列数据和中断请求。响应于和基于中断请求，本地控制器330可以在中断表中查找中断。本地控制器330可以包括中断表。本地控制器330可以将该中断附加到该系列数据。本地控制器330可以按照计算设备300接收该系列数据的连续顺序将具有附加中断的系列数据写入到存储器192。
[0026] 图4是包括确认并提交一系列数据的计算系统的示例方法400的流程图。尽管下面参考图1的计算系统101来描述方法400的执行，但是可以利用其他合适的用于执行方法400的系统（例如，图2的计算系统201）。另外，方法400的实现不限于这样的示例。
[0027] 在图4的示例中，在方法400的410处，计算电路110可以从发送器150接收一系列数据170。在一个示例中，计算电路110可以以连续顺序接收系列数据170。在420处，计算电路110可以接收EOT消息190，该EOT消息190与该系列数据170相关联。
[0028] 在块430处，计算电路110可以确定EOT消息190指示对确认162的请求。EOT消息190可以用预定义比特或一系列比特指示对确认162的请求。虽然在图1中表示了一个系列数据170，但是可以接收多个系列数据，每个系列数据与EOT消息相关联。
[0029] 在块440处，响应于确定EOT消息190指示了对确认162的请求，计算电路110在完全接收到系列数据170时向发送器150发送确认180。计算电路110可以确定在接收到EOT消息190时系列数据170被完全接收。在另一个示例中，计算电路110可以包括缓冲器，并且当缓冲器接收到完全的系列数据170时可以指示该系列数据170的完全接收。在另一个示例中，计算电路110可以发送确认180，而不管EOT消息190是否指示对确认180的请求。
[0030] 在块450处，计算电路110可以生成提交数据的请求。在一个示例中，计算电路110可以在发送器150失败时生成提交数据的请求。在另一个示例中，计算电路110可以在任何时间生成请求。在块460处，响应于提交数据的请求的生成，计算电路110可以将已确认的系列数据170写入到存储器192，该存储器192与处理资源191相关联并且存储器192和处理资源191与计算电路110相分离。在一个示例中，计算电路110可以按照系列数据170被接收的相同连续顺序来写入已确认的系列数据170。
[0031] 在块470处，计算电路110可以将中断190写入到存储器192。在一个示例中，计算电路110可以在计算电路110将已确认的系列数据170写入到存储器192之后立即将中断190写入到存储器192。
[0032] 尽管图4的流程图示出了执行的特定顺序，但是执行顺序可以与所描绘出的顺序不同。例如，两个或更多块或箭头的执行顺序可以相对于所示的顺序而被扰乱。此外，连续示出的两个或更多块可以同时被执行或者部分同时执行。所有这些变化都在本公开的范围内。
[0033] 本公开已经使用其示例的非限制性详细描述来进行了描述，并且不旨在限制本公开的范围。应当理解，关于一个示例所描述的特征和/或操作可以与其他示例一起使用，并且并非本公开的所有示例都具有在特定附图中图示出的或者关于示例之一描述的全部特征和/或操作。本领域的技术人员将想到所描述的示例的变型。此外，当在本公开和/或权利要求书中被使用时，术语“包含”、“包括”、“具有”及其同源词将意指“包括但一定不限于”。
[0034] 应该注意，上面描述的示例中的一些示例可以包括旨在作为示例的并且对于本公开可能不是必要的结构、动作或者结构和动作的细节。如本领域已知的那样，本文所描述的结构和动作也可由执行相同功能的等同物所替代——即使结构或动作是不同的。因此，本公开的范围仅由权利要求中使用的元素和限制来进行限制。
