Title 

题目

Deep Learning Based Joint PET Image Reconstruction and Motion Estimation

基于深度学习的PET图像重建与运动估计

01

文献速递介绍

正电子发射断层扫描（PET）成像是一种非侵入性成像技术，通过使用放射性示踪剂在活体内可视化生物化学过程。它被广泛应用于许多临床成像应用，包括肿瘤学、心脏病学和神经学。

该手稿于2021年8月5日收到，于2021年11月14日修订，于2021年12月15日接受。出版日期为2021年12月20日；当前版本日期为2022年5月2日。本工作部分得到了国家卫生研究院的支持，部分得到了国家卫生研究院生物医学成像与生物工程研究所（NIBIB）的资助，资助号分别为R01 EB000194和U01EB029811。（通讯作者：Jinyi Qi。）

Tiantian Li、Mengxi Zhang和Jinyi Qi就职于加利福尼亚大学戴维斯分校生物医学工程系，邮编95616，美国（电子邮件：ttlli@ucdavis.edu；qi@ucdavis.edu）。

Wenyuan Qi和Evren Asma就职于佳能医疗研究美国公司，邮编60061，伊利诺伊州弗农山市，美国（电子邮件：wenyuanq@gmail.com；easma@mru.medical.canon）。

数字对象标识符为10.1109/TMI.2021.3136553。

使用大约3毫米大小的探测器晶体的最新全身PET扫描仪，PET扫描仪的内在空间分辨率已经大幅提高。因此，生理运动，例如心跳和呼吸运动，已成为临床实践中PET空间分辨率的限制因素。例如，Lu等人报道，在10个患者扫描的323个感兴趣区域（ROI）中，呼吸运动导致平均位移为6.1毫米。因此，对呼吸运动的校正对于获得高分辨率的PET图像至关重要。一种运动校正方法是基于列表模式数据处理的逐事件校正。运动是使用特殊的运动检测硬件（例如POLARIS或Anzai AZ-733V系统）或使用数据驱动方法测量的。事件驱动的运动补偿通过将事件测量的直线响应（LOR）转换到如果物体没有移动时应该测量的位置来执行。然而，事件驱动方法有两个局限性。首先，由于运动，通常检测到的事件可能会退出视野范围，导致事件丢失。其次，由于LOR变换，通常未检测到的事件可能会被检测到。因此，在校正运动后，一些检测到的事件可能对应于不存在实际探测器对。这些问题可能导致图像伪影和信噪比（SNR）降低。

另一种运动校正方法是基于图像的方法。在这种方法中，使用呼吸门控将PET数据分为几个门控，根据从PET数据中获得的呼吸运动信号或外部估算的信号。每个门控内的运动被认为是可以忽略的。由于门控PET图像由于低计数统计而可能非常嘈杂，因此提高门控PET性能的一种方法是从4D门控PET图像中估算运动信息，然后执行运动补偿图像重建以利用所有门控数据。然而，基于配准一对图像的传统运动估计方法对噪声敏感，并且对于准确估计需要较高的SNR。更好的选择是通过联合估计框架从门控数据中同时估计PET活动图像和患者运动。这样的框架使用所有测量的PET数据进行图像重建，并能够更准确地对运动估计中的噪声建模。在联合估计方法中，目标函数包括描述图像活动分布的一组参数以及描述固定帧与一个或多个移动帧之间运动的一组变形参数。这两组参数同时估计。联合估计方法的挑战在于得到的目标函数是非凸的，优化问题难以解决。一些算法需要进行线搜索以保证收敛，这可能因为牵涉到前向投影操作而导致计算密集型。Wang等人提出了一种基于图像空间的算法，基于优化转移（OT）的思想。该算法使用期望最大化（EM）替代函数，并且在估计运动参数时不需要前向投影操作。然而，成本函数在基于强度的非刚性图像配准问题中仍然是非凸的，因此OT算法可能会陷入局部最优解，并且解决方案极大地受到图像中的噪声的影响。Burger等人提出了一个联合运动估计和图像重建的变分模型，并且Chen等人进一步将该方法扩展到模拟断层成像图像。

Abstract

摘要

Respiratory motion is one of the main sourcesof motion artifacts in positron emission tomography (PET)imaging. The emission image and patient motion can be estimated simultaneously from respiratory gated data througha joint estimation framework. However, conventional motionestimation methods based on registration of a pair ofimages are sensitive to noise. The goal of this study is todevelop a robust joint estimation method that incorporatesa deep learning (DL)-based image registration approach formotion estimation. We propose a joint estimation frameworkby incorporating a learned image registration network into aregularized PET image reconstruction. The joint estimationwas formulated as a constrained optimization problem withmoving gated images related to a fixed image via the deepneural network. The constrained optimization problem issolved by the alternating direction method of multipliers(ADMM) algorithm. The effectiveness of the algorithm wasdemonstrated using simulated and real data. We comparedthe proposed DL-ADMM joint estimation algorithm with amonotonic iterative joint estimation. Motion compensatedreconstructions using pre-calculated deformation fields byDL-based (DL-MC recon) and iterative (iterative-MC recon)image registration were also included for comparison. Oursimulation study shows that the proposed DL-ADMM jointestimation method reduces bias compared to the ungatedimage without increasing noise and outperforms the competing methods. In the real data study, our proposed methodalso generated higher lesion contrast and sharper liverboundaries compared to the ungated image and had lowernoise than the reference gated image.

呼吸运动是正电子发射断层扫描（PET）成像中运动伪影的主要来源之一。通过呼吸门控数据，可以从呼吸门控数据中同时估计发射图像和患者运动，通过联合估计框架。然而，基于成对图像配准的传统运动估计方法对噪声敏感。本研究的目标是开发一种结合深度学习（DL）-基于图像配准方法的鲁棒联合估计方法用于运动估计。我们提出了一种联合估计框架，将学习到的图像配准网络结合到正则化的PET图像重建中。联合估计被形式化为一个约束优化问题，通过深度神经网络将移动门控图像与固定图像相关联。约束优化问题通过交替方向乘子法（ADMM）算法求解。该算法的有效性通过模拟和真实数据得到了证明。我们将提出的DL-ADMM联合估计算法与单调迭代联合估计进行了比较。还包括使用DL（DL-MC重建）和迭代（迭代-MC重建）图像配准预计算变形场的运动补偿重建进行比较。我们的模拟研究表明，与未门控图像相比，提出的DL-ADMM联合估计方法减小了偏差，而不增加噪声，并且优于竞争方法。在实际数据研究中，我们的方法与未门控图像相比生成了更高的病灶对比度和更清晰的肝脏边界，并且比参考门控图像的噪声更低。

Method

方法

A. Data Model

Let us denote the PET activity image of a reference fixed gate by x f ∈ RN×1 and that of the mth moving gate by x*m* ∈ RN×1, where m ∈ {1, 2,..., K} and K is the total number of moving gates. In statistically based PET image reconstruction,

A. 数据模型

我们用 x f ∈ RN×1 表示参考固定门的PET活动图像，用 x*m* ∈ RN×1 表示第m个移动门的PET活动图像，其中 m ∈ {1, 2,..., K}，K是移动门的总数。在基于统计的PET图像重建中.

Results

结果

A. Simulation Study

The reconstructed images of the test phantom by differentmethods are shown in Fig. 5. The reconstructions were chosenat a matched STD level (see Fig. 6). It shows that theproposed DL-ADMM joint estimation method can generateimages with sharper boundaries in the myocardium regioncompared with other methods. The error maps revealed thatthe iterative joint estimation and iterative-MC recon sufferfrom inaccurate motion estimation leading to high quantifi-cation errors near the myocardial boundary. Clearly, DLADMM joint estimation method reduced the motion artifacts. We also plotted the bias-variance curves of the leftand right myocardium ROIs in Fig.6. All the methods wereplotted for every 10 iterations except the reference gate whichalso included 1 to 9 iterations for better comparison. Theproposed DL-ADMM algorithm reduces the bias comparedwith the ungated image without increasing the noise leveland outperforms the other methods. Fig. 7 compares theline profiles through the myocardium. The yellow lines inFig. 5 indicate the position of the vertical profile. The average FWHMs of the two peaks are 1.99, 2.01, 2.18, 2.11,2.38, 5.35 and 1.95 (pixels) for the DL-ADMM τ**m = 0.4,DL-ADMM τ**m = 0, iterative joint estimation, DL-MC recon,iterative-MC recon, ungated and ground truth, respectively,which indicates that the profile from the proposed DL-ADMMis the closest to the ground truth.

A. 模拟研究

不同方法对测试模拟物体进行的重建图像如图5所示。重建图像在匹配的标准差水平下选择。结果显示，与其他方法相比，提出的DL-ADMM联合估计方法可以生成在心肌区域具有更清晰边界的图像。误差图显示，迭代联合估计和迭代-MC重建由于运动估计不准确而导致心肌边界附近的量化误差较高。显然，DL-ADMM联合估计方法减少了运动伪影。我们还在图6中绘制了左右心肌ROIs的偏差-方差曲线。除了参考门，所有方法每10次迭代绘制一次，参考门还包括1到9次迭代，以便更好地进行比较。提出的DL-ADMM算法减小了与未门控图像相比的偏差，而不增加噪声水平，并且优于其他方法。图7比较了通过心肌的线剖面。图5中的黄线标示了垂直剖面的位置。两个峰值的平均FWHM分别为1.99、2.01、2.18、2.11、2.38、5.35和1.95（像素）对于DL-ADMM τ**m = 0.4、DL-ADMM τ**m = 0、迭代联合估计、DL-MC重建、迭代-MC重建、未门控和地面实况，这表明来自提出的DL-ADMM的剖面最接近实际情况。

Conclusion

结论

In this work, we proposed a joint estimation framework incorporating deep learning-based image registration formotion estimation. We validated the proposed method usingsimulation and clinical data. The results showed that theproposed method can reduce motion artifacts while utilizing allgated PET data and outperform existing motion compensatedreconstruction methods. Further validation using patient datawill be performed in the future.

在这项工作中，我们提出了一个联合估计框架，将基于深度学习的图像配准用于运动估计。我们使用模拟和临床数据验证了所提出的方法。结果表明，所提出的方法可以减少运动伪影，同时利用所有门控PET数据，并且优于现有的运动补偿重建方法。未来将使用患者数据进行进一步验证。

Figure

图

Fig. 1. The overall diagram of our proposed DL-based joint PET reconstruction and motion estimation (DL-ADMM). The DL-ADMM algorithmconsists of three steps: gated image reconstruction by the maximum aposteriori expectation maximization (MAP-EM) algorithm, motion estimation by a regularized DL-based image registration, and regularizedimage fusion with motion compensation.

图1. 我们提出的基于深度学习的联合PET重建和运动估计（DL-ADMM）的整体图示。DL-ADMM算法包括三个步骤：通过最大后验期望最大化（MAP-EM）算法进行门控图像重建，通过正则化的基于深度学习的图像配准进行运动估计，以及带有运动补偿的正则化图像融合。

Fig. 2. The structure of the motion estimation network. Left: A RegNet  consists of several convolution, down-sampling, and up-sampling layerswith skip connections to output a deformation field for each pair of moving and fixed images. The kernel size is 3 × 3 × 3 in all convolutional layers.Batch Normalization (BN), Dropout and Leaky ReLU are used after each convolutional layer. The number of feature channels is listed under eachblock. Right: The cascaded motion estimation network consists of three RegNet subunits which are connected via spatial transformer (STN) layers.The estimated deformation field of each subunit is concatenate with the result from the previous subunit through a convolution layer (Conv). Gaussianfilter with sigma = 2 voxels is applied to the input image pair to reduce noise.

图2. 运动估计网络的结构。左侧：一个RegNet由多个卷积、下采样和上采样层组成，通过跳跃连接输出每对移动和固定图像的变形场。在所有卷积层中，核大小为3×3×3。在每个卷积层之后使用批量归一化（BN）、Dropout和Leaky ReLU。每个块下面列出了特征通道的数量。右侧：级联的运动估计网络由三个RegNet子单元组成，这些子单元通过空间变换器（STN）层连接。每个子单元的估计变形场通过卷积层（Conv）与上一个子单元的结果连接起来。对输入图像对应用具有sigma = 2体素的高斯滤波器以减少噪声。

Fig. 3. Sampled gated reconstructed PET images by the ML-EM algorithm (10 iteration) for DL-ADMM initialization.

图3. 通过ML-EM算法（10次迭代）进行采样门控重建的PET图像，用于DL-ADMM初始化。

Fig. 4. Reconstructed gated PET images of the patient data (ML-EM 10 iteration) for DL-ADMM initialization.

图4. 患者数据的重建门控PET图像（ML-EM 10次迭代），用于DL-ADMM初始化。

Fig. 5. The top two rows showed reconstructed images of the test data set selected at a matched STD level. The bottom two rows show the error maps of the reconstructed images.

Fig. 5. 顶部两行显示了在匹配的标准差水平下选择的测试数据集的重建图像。底部两行显示了重建图像的误差图。

Fig. 6. Bias-variance trade off curves for (a) the left myocardium ROI and (b) right myocardium ROI. The vertical line in (a) indicates the noise levelof the images shown in Fig. 5. All methods were plotted for every 10 iterations except that the reference gate also included 1 to 9 iterations for bettercomparison.

Fig. 6. （a）左心肌ROI和（b）右心肌ROI的偏差-方差曲线。（a）中的垂直线表示图5中显示的图像的噪声水平。所有方法每10次迭代绘制一次，除了参考门外，参考门还包括1到9次迭代，以便更好地比较。

Fig. 7. The image profiles of the reconstructions. The yellow lines inFig. 5 indicate the position of the vertical image profile.

Fig. 7. 重建图像的图像剖面。图5中的黄线标示了垂直图像剖面的位置。

Fig. 8. Reconstructed images of the real patient data set selected at a matched STD level for bed#1.

Fig. 8. 在床位＃1上选择的匹配标准差水平的真实患者数据集的重建图像。

Fig. 9. Reconstructed images of the real patient data set selected at a matched STD level for bed#2.

Fig. 9. 在床位＃2上选择的匹配标准差水平的真实患者数据集的重建图像。

Fig. 10. Contrast versus noise curve for a lung lesion in 2 bed data. The vertical lines in (a) and (b) denote the noise level of the images shown inFig. 8 and Fig 9, respectively. All methods were plotted for every 10 iterations.

Fig. 10. 2床数据中肺部病变的对比度与噪声曲线。（a）和（b）中的垂直线分别表示图8和图9中显示的图像的噪声水平。所有方法每10次迭代绘制一次。

Fig. 11. The image profiles of the reconstructions for different method (a) bed 1 and (b) bed 2.

Fig. 11. 不同方法的重建图像的图像剖面（a）床位1和（b）床位2。

Fig. 12. Deformation fields along the z-direction for (a) DL-ADMM initialization, (b) DL-ADMM τ = 0.4 output, (c) DL-ADMM τ = 0 output,(d) ground truth from XCAT program. Difference between the initialization and the output from (e) DL-ADMM τ = 0.4 or (f) DL-ADMM τ = 0.(g) L2 norm of the difference between the motion vector estimated by DL-ADMM (τ = 0.4 and τ = 0.0) and the ground truth as a function ofDL-ADMM iteration.

Fig. 12. 沿z方向的变形场图像：（a）DL-ADMM初始化，（b）DL-ADMM τ = 0.4 输出，（c）DL-ADMM τ = 0 输出，（d）XCAT程序生成的地面实况。初始化和（e）DL-ADMM τ = 0.4 或（f）DL-ADMM τ = 0的输出之间的差异。（g）由DL-ADMM（τ = 0.4和τ = 0.0）估计的运动矢量与地面实况之间的L2范数作为DL-ADMM迭代的函数。

Fig. 13. Bias-variance trade off curves for (a) the left myocardium ROI and (b) right myocardium ROI. All methods were plotted for every 10 iterations.The iterative joint estimation is initialized using the DL estimated motion field.

Fig. 13. （a）左心肌ROI和（b）右心肌ROI的偏差-方差曲线。所有方法每10次迭代绘制一次。迭代联合估计是使用DL估计的运动场初始化的。

Table

表

TABLE I list the methods and pre-determind hyper-parameters for the reconstruction methods included in this study

表I 列出了本研究中包括的重建方法及预先确定的超参数。

TABLE II nrms of reconstructrd images by diffrent methods at the matched noise level

表II 不同方法重建图像的匹配噪声水平的NRMS