To allow fast and high-quality reconstruction of clinical accelerated multi-coil MR data by learning a variational network that combines the mathematical structure of variational models with deep learning.Generalized compressed sensing reconstruction formulated as a variational model is embedded in an unrolled gradient descent scheme. All parameters of this formulation, including the prior model defined by filter kernels and activation functions as well as the data term weights, are learned during an offline training procedure. The learned model can then be applied online to previously unseen data.The variational network approach is evaluated on a clinical knee imaging protocol for different acceleration factors and sampling patterns using retrospectively and prospectively undersampled data. The variational network reconstructions outperform standard reconstruction algorithms, verified by quantitative error measures and a clinical reader study for regular sampling and acceleration factor 4.Variational network reconstructions preserve the natural appearance of MR images as well as pathologies that were not included in the training data set. Due to its high computational performance, that is, reconstruction time of 193 ms on a single graphics card, and the omission of parameter tuning once the network is trained, this new approach to image reconstruction can easily be integrated into clinical workflow. Magn Reson Med 79:3055-3071, 2018. © 2017 International Society for Magnetic Resonance in Medicine.

Following the success of deep learning in a wide range of applications, neural network-based machine learning techniques have received interest as a means of accelerating magnetic resonance imaging (MRI). A number of ideas inspired by deep learning techniques from computer vision and image processing have been successfully applied to non-linear image reconstruction in the spirit of compressed sensing for both low dose computed tomography and accelerated MRI. The additional integration of multi-coil information to recover missing k-space lines in the MRI reconstruction process, is still studied less frequently, even though it is the de-facto standard for currently used accelerated MR acquisitions. This manuscript provides an overview of the recent machine learning approaches that have been proposed specifically for improving parallel imaging. A general background introduction to parallel MRI is given that is structured around the classical view of image space and k-space based methods. Both linear and non-linear methods are covered, followed by a discussion of recent efforts to further improve parallel imaging using machine learning, and specifically using artificial neural networks. Image-domain based techniques that introduce improved regularizers are covered as well as k-space based methods, where the focus is on better interpolation strategies using neural networks. Issues and open problems are discussed as well as recent efforts for producing open datasets and benchmarks for the community.

Although deep learning has shown great promise for MR image reconstruction, an open question regarding the success of this approach is the robustness in the case of deviations between training and test data. The goal of this study is to assess the influence of image contrast, SNR, and image content on the generalization of learned image reconstruction, and to demonstrate the potential for transfer learning.Reconstructions were trained from undersampled data using data sets with varying SNR, sampling pattern, image contrast, and synthetic data generated from a public image database. The performance of the trained reconstructions was evaluated on 10 in vivo patient knee MRI acquisitions from 2 different pulse sequences that were not used during training. Transfer learning was evaluated by fine-tuning baseline trainings from synthetic data with a small subset of in vivo MR training data.Deviations in SNR between training and testing led to substantial decreases in reconstruction image quality, whereas image contrast was less relevant. Trainings from heterogeneous training data generalized well toward the test data with a range of acquisition parameters. Trainings from synthetic, non-MR image data showed residual aliasing artifacts, which could be removed by transfer learning-inspired fine-tuning.This study presents insights into the generalization ability of learned image reconstruction with respect to deviations in the acquisition settings between training and testing. It also provides an outlook for the potential of transfer learning to fine-tune trainings to a particular target application using only a small number of training cases.

T2*-weighted gradient echo imaging is strongly impacted by subject head motion, amongst others due to motion-related changes in B0 inhomogeneities. Within the oxygenation-sensitive mqBOLD protocol, motion artifacts in T2*-weighted images lead to errors in derived parameter maps. To quantify these errors, we performed realistic motion simulations incorporating rigid body transformations and motion-related field inhomogeneity changes. Our results demonstrate the importance of including B0 inhomogeneities for realistic motion artifact patterns. Even small amounts of simulated motion resulted in substantial errors in derived T2* and R2’ parameter maps, which highlights the relevance of T2* motion correction within the mqBOLD technique.

Motivation: Quantitative susceptibility mapping (QSM) has recently been used to detect breast microcalcifications (MCs) which could be the precursor lesions to breast-carcinoma. However, acquiring high-resolution (HR) QSM maps reduces the signal-to-noise ratio (SNR), making detection of MCs challenging. Goal(s): Improve the SNR in HR-QSM for better MCs visualization using deep-learning-based denoising. Approach: A complex-valued bias-free CNN (CV-BFCNN), adapted from real-valued BFCNN, was trained on complex-valued MR data with Gaussian noise to denoise multi-echo gradient-echo images used for QSM processing. Results: CV-BFCNN improves SNR in HR-QSM and processes complex-valued MR data directly when compared to real-valued BFCNN, and allows enhanced visualisation and detection of MCs. Impact: The application of complex-valued deep-learning-based denoising in high-resolution QSM has substantially improved SNR and detection of micro-calcifications, a precursor to breast cancer. This helps QSM, an ionizing radiation-free alternative in detection and visualization of microcalcifications in the breast.

Motivation: Time-resolved motion estimation from accelerated MR data enables high-quality imaging, intra-modality motion correction and real-time tracking during MR-guided radiotherapy. Conventionally, image registration is solved in the image domain and, therefore, remains susceptible to aliasing artifacts for highly-accelerated acquisitions. Goal(s): We aim to propose a robust non-rigid image registration framework from highly-accelerated data without additional information. Approach: We introduce a novel Local-All-Pass Attention Network (LAPANet) that performs accurate motion estimation directly from the acquired k-space. Results: LAPANet provides reliable estimates for fully-sampled and undersampled data, up to 104-fold for cardiac motion and 148-fold for respiratory motion, and outperforms established image-based registrations in different trajectories. Impact: Our framework can reliably estimate non-rigid motion from highly-accelerated data without a-priori information. This enables faster acquisition through integration into motion-compensated reconstructions, intra-modality motion correction for other imaging methods and real-time motion characterization and tracking for guided radiotherapy and interventions.

Motivation: High acceleration factors place a limit on MRI image reconstruction. This limit is extended to segmentation models when treating these as subsequent independent processes. Goal(s): Our goal is to produce segmentations directly from sparse k-space measurements without the need for intermediate image reconstruction. Approach: We employ a transformer architecture to encode global k-space information into latent features. The produced latent vectors condition queried coordinates during decoding to generate segmentation class probabilities. Results: The model is able to produce better segmentations across high acceleration factors than image-based segmentation baselines. Impact: Cardiac segmentation directly from undersampled k-space samples circumvents the need for an intermediate image reconstruction step. This allows the potential to assess myocardial structure and function on higher acceleration factors than methods that rely on images as input.

Motivation: Addressing limitations in parallel imaging, particularly GRAPPA’s challenges like noise amplification and dependence on linear k-space value combinations. Goal(s): To enhance k-space interpolation accuracy with a transformer network, thereby improving the quality of clinical imaging. Approach: We employ a novel self-supervised transformer network with an attention mechanism - TransGRAPPA, exploiting latent features for nonlinear interpolation of missing k-space points. Results: TransGRAPPA outperforms GRAPPA and RAKI in terms of NRMSE, PSNR, SSIM, and noise reduction, showcasing enhanced capabilities on fastMRI’s multi-coil knee dataset. Impact: The study presents a innovative reconstruction method using transformer network to explore k-space point relationships with limited training data, offering potential improvements in MR image quality and scan speed, and more efficient and accurate diagnostics in medical imaging.

Motivation: Physics-guided self-supervised approaches have proven to be useful in MR image reconstruction from limited Cartesian measurements. However, the potential of radially-sampled k-space data remains largely unexplored. Goal(s): In this context, we introduce a self-supervised learning approach to reconstruct dynamic images from sparsely-sampled radial cardiac data. Approach: The proposed model integrates a novel low-rank and sparse regularizer in its iterative framework to better exploit the characteristics of dynamic images. Results: Our method is compared to iterative reconstruction techniques and other deep neural network approaches in supervised and self-supervised tasks, where the proposed model achieves the best performance for a single and four heartbeat reconstruction. Impact: Self-supervised models for radially sampled cardiac measurements can now be efficiently trained on limited amounts of data to reliably reconstruct high-contrast and low artifact dynamic MR images, even at high acceleration rates for faster acquisition speed.