一种基于FPGA+GPU异构计算平台的波前处理控制方法专利检索-驱动器机器人机器人技术人工智能专利检索查询-专利查询网

一种基于FPGA+GPU异构计算平台的波前处理控制方法

阅读：1031发布：2020-05-23

专利汇可以提供一种基于FPGA+GPU异构计算平台的波前处理控制方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于FPGA+GPU异构计算平台的波前处理控制方法，其处理过程为camera link full高速相机通过开窗口达到上千帧的采集速度，图像送入FPGA进行采集和斜率计算两个部分，再将数据通过PCIE协议送入GPU上进行波前复原运算，然后将数据送回到FPGA的控制运算单元得到控制信号，最后通过D/A通信卡，得到驱动信号送入到高压放大器中，完成波前处理控制；本发明在于挖掘GPU、FPGA并行计算的潜力，充分利用FPGA资源配置来进行时序逻辑，采用流水线设计及子任务并行处理的方式，缩短了延迟时间，提升了系统校正能力。，下面是一种基于FPGA+GPU异构计算平台的波前处理控制方法专利的具体信息内容。

权利要求

1.一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：包括：
步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和缓存单元，通信协议为camera link协议和PCIE协议；
步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；
步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；
步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A)输出到高压放大器中。
2.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(1)中，传感器为CCD相机或者CMOS相机，均支持camera link协议；
所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信，Camera link协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号，1对LVDS负责相机和图像采集卡之间的异步串行通信；
所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA Xilinx Virtex-7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1G GTs、
16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。
3.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(2)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成；
所述步骤(2)中缓存单元为DDR3 SDRAM；
所述步骤(2)中斜率计算单元与波前复原单元之间使用PCIE协议进行通。
4.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIA Jetson TX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口；
所述步骤(3)中波前复原与控制运算单元之间使用PCIE协议进行通信。
5.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(2)中的斜率计算为：在Shack-Hartman传感器组成的自适应光学系统里，先用平行光照射透镜阵列进行子孔径光斑质心标定，再测量畸变波前入射后子孔径质心的漂移量，根据公式：
得到子孔径斜率数据后，进行波前复原计算；
其中，f为微透镜焦距，Ii为像素i收到的信号，Xi，Yi是第i个像素的坐标，S为子孔径面积，λ为中心波长，(Gx，Gy)为波前平均斜率，(Xc，Yc)为光斑质心坐标。
6.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中的波前复原计算采用国内最常采用的直接斜率波前复原算法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压，其公式为：
G＝RxyV
其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。
7.根据权利要求1的一种基于FPGA+GPU异构计算平台的波前处理控制方法，其特征在于：所述步骤(3)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法，采用的比例-积分传函控制器公式为：
其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。

说明书全文

一种基于FPGA+GPU异构计算平台的波前处理控制方法

技术领域

[0001] 本发明属于波前处理控制技术领域，涉及一种基于FPGA+GPU异构计算平台的波前处理控制方法，适用于自适应光学系统波前处理。

背景技术

[0002] 自适应光学以光学波前为控制对象，进行实时测量、控制和校正，以相位共轭补偿技术为基本原理，补偿受动态扰动所造成的波前畸变，使光学系统具有自动适应外界条件变化从而保持最佳工作状态的能力。波前处理机作为自适应光学系统的核心，将波前传感器传来的波前畸变信息转化为波前校正器所需的控制信号，以完成系统的闭环控制。当系统受到的扰动频率较高时，相应的控制带宽也较高。而在采样频率一定的情况下，要提高系统控制带宽，就需要提高波前处理机的计算速度，减小系统时延。为此，波前处理机的硬件架构和计算流程成为研究重点。

[0003] 1978年，John W.Hardy首次利用模拟网络实现自适应光学的实时校正(参见Hardy J W.Active optics:A new technology for the control of light[J].Proceedings of the IEEE,2005, 66(6):651-697.)。1996年，美国SOR部门使用1024片DSP完成941单元的自适应光学系统的实时处理。(参见LEE D J,ELLERBROEK B L,CHRISTOU J C.First results of the Starfire Optical Range 3.5-m telescope adaptive optics system:point spread functions and tracking performance[J].Astronomical Telescopes and Instrumentation,1998.)2010年，Keck望远镜系统使用多核CPU+GPU+FPGA的异构计算平台实现延迟小于600s的波前处理。(参见Marc Reinig,Donald Gavel,et.Al.“, Real-time control for Keck Observatory next- generation adaptive optics”[J],Proc.SPIE,2010,Vol.7736,77363J:pp.1-12)2010年，欧洲南方天文台在SPARTA系统使用CPU+DSP+FPGA的异构计算平台去应用在不同的天文系统中。(参见FEDRIGO E,DONALDSON R,SOENKE C,et al.SPARTA:the ESO standard platform for adaptive optics real time applications[J].Proc Spie,2006,627210--10.)2018年，董玉磊使用CPU+GPU+FPGA进行了349单元变形镜闭环校正实验，延迟小于235s。(参见基于GPU的自适应光学系统波前处理算法实时性研究[D]；中国科学院大学(中国科学院长春光学精密机械与物理研究所),
2018.)异构计算台逐渐成为波前处理机的主流设计。但目前主流的波前处理机都以CPU为主，通常采用CPU+各种协处理器，对FPGA+GPU的异构计算平台研究较少。

[0004] 因此，本发明提出基于一种基于FPGA+GPU异构计算平台的波前处理控制方法。

发明内容

[0005] 本发明要解决的技术问题是：为面对超大规模望远镜中配置几万到十万的驱动器单元数而导致的波前处理机计算量巨大，而波前处理机又必须尽可能快地完成波前处理控制的情形，同时也为探索适应未来2000单元以上的自适应光学系统，本发明提供一种基于FPGA+GPU 异构计算平台的波前处理控制方法，利用FPGA和GPU在并行计算方面的优势来满足未来 AO系统大单元数的计算需求。此外，此方法还有运算效率高、功耗低、体积小的优势。

[0006] 本发明采用的技术方案是：一种基于FPGA+GPU异构计算平台的波前处理控制方法，其步骤如下：

[0007] 步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD 相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和DDR3 SDRAM，通信协议为camera link协议和PCIE协议；

[0008] 步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；

[0009] 步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；

[0010] 步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A) 输出到高压放大器中。

[0011] 进一步地，所述步骤(1)中传感器为CCD相机或者CMOS相机，均支持camera link 协议。

[0012] 进一步地，所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信。 Camera link协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号，1对LVDS负责相机和图像采集卡之间的异步串行通信。

[0013] 进一步地，所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA Xilinx Virtex-7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1G GTs、 16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。

[0014] 进一步地，所述步骤(1)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成。

[0015] 进一步地，所述步骤(1)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIA Jetson TX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口。

[0016] 进一步地，所述步骤(3)中斜率计算单元与波前复原单元之间使用PCIE协议进行通信；波前复原与控制运算单元之间使用PCIE协议进行通信。

[0017] 本发明与现有技术相比有如下优点：

[0018] (1)充分发挥FPGA的I/O处理能力和GPU并行计算优势，利于搭建2000单元自适应光学系统实时处理架构，并大大减少系统计算时间；

[0019] (2)将图像采集卡充分利用起来，在图像采集后即在FPGA上进行斜率计算，减少传输延迟；

[0020] (3)使用PCIE协议进行FPGA与GPU的通信，克服了FPGA与GPU之间无法进行直接内存访问的问题；

[0021] (4)FPGA功耗低，而采用的NVIDIA Jetson TX2功耗仅为7.5瓦，能效是当今最先进的桌面级CPU的25倍以上，该异构计算平台降低了系统功耗；

[0022] (5)FPGA可以通过TX2的PCIE插槽集成到TX2上，而TX2载板尺寸为50毫米x87 毫米，相较现有系统，该异构计算平台极大提升了系统集成度。附图说明

[0023] 图1为本发明的自适应光学系统示意图。

具体实施方式

[0024] 为使本发明的技术方案和优点更加清楚明白，以下结合具体实施例子，参照附图对本发明进一步详细说明。

[0025] 实例系统1中由图像传感器、图像采集单元、斜率计算单元、波前复原单元、控制运算单元和通信卡。

[0026] 在Shack-Hartman传感器组成的自适应光学系统里，对系统上电并配置完毕参数后，先用平行光照射透镜阵列进行子孔径光斑质心标定，将数据缓存至FPGA上的高速缓存单元 DDR3 SDRAM。

[0027] 图像传感器通过开窗达到系统要求的帧频后采集图像，图像数据通过camera link协议逐像素点地读入到FPGA上的图像采集单元。FPGA通过自身流水线设计，设置提前量，在整理像素的同时调整时钟，利用像素数据计算波前斜率。计算中间数据放入高速缓存单元 DDR3 SDRAM，需要时再取出。然后图像和计算结果按照一定的格式打包通过PCIE端口点对点送入GPU里进行波前复原。接着GPU完成计算后又通过PCIE传入到控制运算单元。最后数据通过数字模拟信号转换通信卡(D/A)输出到高压放大器中。

[0028] 一种基于FPGA+GPU异构计算平台的波前处理控制方法，其步骤如下：

[0029] 步骤(1)：波前传感器采集到图像信息后发送给异构计算平台，其中波前传感器为CCD 相机或者CMOS相机，异构计算平台包括图像采集单元、斜率计算单元、波前复原单元、控制运算单元和DDR3 SDRAM，通信协议为camera link协议和PCIE协议；

[0030] 所述步骤(1)中传感器为CCD相机或者CMOS相机，均支持camera link协议。

[0031] 所述步骤(1)中传感器与图像采集单元使用camera link协议进行通信。Camera link协议使用低压差分信号(LVDS)进行数据的传输和通信，其中4对LVDS负责相机控制信号， 1对LVDS负责相机和图像采集卡之间的异步串行通信。

[0032] 所述步骤(1)中图像采集单元、斜率计算单元、控制运算单元均使用FPGA Xilinx Virtex- 7系列——高达2M逻辑单元，实现2.8Tb/s总串行带宽，支持96x13.1G GTs、16x28.05G GTs、5,335G MACs、68Mb BRAM、DDR3-1866。

[0033] 所述步骤(1)中斜率计算单元可以集成到图像采集单元的FPGA卡一并完成。

[0034] 所述步骤(1)中波前复原单元使用GPU NVIDIA Jetson TX2系列——NVIDIA Jetson TX2采用NVIDIA PascalTMGPU、高达8GB内存、59.7GB/s内存带宽，提供丰富的标准硬件接口。

[0035] 步骤(2)：异构计算平台采集到波前传感器的图像数据后开始进行斜率计算，并将数据送入缓存单元；

[0036] 所述步骤(2)中的斜率计算方式为：

[0037] 在Shack-Hartman传感器组成的自适应光学系统里，先用平行光照射透镜阵列进行子孔径光斑质心标定，再测量畸变波前入射后子孔径质心的漂移量。

[0038] 根据公式：

[0039]

[0040]

[0041] 得到子孔径斜率数据后，进行波前复原计算；

[0042] 其中，f为微透镜焦距，Ii为像素i收到的信号，Xi，Yi是第i个像素的坐标，S为子孔径面积，λ为中心波长，(Gx，Gy)为波前平均斜率，(Xc，Yc)为光斑质心坐标。

[0043] 步骤(3)：通过斜率计算得到的波前平均斜率送入异构计算平台的波前复原和控制运算进行处理；

[0044] 所述步骤(3)中斜率计算单元与波前复原单元之间使用PCIE协议进行通信。

[0045] 所述步骤(3)中波前复原与控制运算单元之间使用PCIE协议进行通信。

[0046] 所述步骤(3)中的波前复原计算采用国内最常采用的直接斜率波前复原算法，不需要知道波前相位的具体值，只需要得到波前校正器各个驱动器需要的控制电压，其公式为：

[0047] G＝RxyV

[0048] 其中，Rxy为变形镜到哈特曼传感器的斜率响应矩阵，可随时由传感器测量得到，G是需要校正的波前像差斜率测量值。

[0049] 所述步骤(3)中的控制运算把复原出的残余电压经过控制算法，得到驱动器控制电压，通常采用PID控制算法。采用的比例-积分传函控制器公式为：

[0050]

[0051] 其中，C(S)为控制器的拉普拉斯变换，Kc是控制系数。

[0052] 步骤(4)：通过异构计算平台处理后的控制信号通过数字模拟信号转换通信卡(D/A) 输出到高压放大器中。

[0053] 本发明并不局限于上述的具体实施方式，上述的实施方式仅仅是示意性的，而不是限制性的。本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。本发明未详细阐述部分属于本领域技术人员的公知技术。

标题	发布/更新时间	阅读量
用于家具的盖的保持元件和家具	2020-05-08	410
集成电路（IC）芯片装置	2020-05-08	200
一种高效低噪轴流风扇转子及其在远程射雾器上应用	2020-05-08	452
领尖撑包装设备	2020-05-11	647
一种自动传感器防护装置及水体监测方法	2020-05-08	778
用于使用震荡式抓持器形成在一侧敞开的包装体的方法和装置	2020-05-08	541
数据写入方法、装置及存储服务器和计算机可读存储介质	2020-05-08	304
电机控制方法、装置、控制器、变频驱动装置及存储介质	2020-05-08	480
一种机器人的传动结构	2020-05-11	85
一种测井装置	2020-05-11	49

一种基于FPGA+GPU异构计算平台的波前处理控制方法

一种基于FPGA+GPU异构计算平台的波前处理控制方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：