Purpose To develop and evaluate the feasibility of deep learning approaches for magnetic resonance (MR) imaging-based attenuation correction (AC) (termed deep MRAC) in brain positron emission tomography (PET)/MR imaging. Materials and Methods A PET/MR imaging AC pipeline was built by using a deep learning approach to generate pseudo computed tomographic (CT) scans from MR images. A deep convolutional auto-encoder network was trained to identify air, bone, and soft tissue in volumetric head MR images coregistered to CT data for training. A set of 30 retrospective three-dimensional T1-weighted head images was used to train the model, which was then evaluated in 10 patients by comparing the generated pseudo CT scan to an acquired CT scan. A prospective study was carried out for utilizing simultaneous PET/MR imaging for five subjects by using the proposed approach. Analysis of covariance and paired-sample t tests were used for statistical analysis to compare PET reconstruction error with deep MRAC and two existing MR imaging-based AC approaches with CT-based AC. Results Deep MRAC provides an accurate pseudo CT scan with a mean Dice coefficient of 0.971 ± 0.005 for air, 0.936 ± 0.011 for soft tissue, and 0.803 ± 0.021 for bone. Furthermore, deep MRAC provides good PET results, with average errors of less than 1% in most brain regions. Significantly lower PET reconstruction errors were realized with deep MRAC (-0.7% ± 1.1) compared with Dixon-based soft-tissue and air segmentation (-5.8% ± 3.1) and anatomic CT-based template registration (-4.8% ± 2.2). Conclusion The authors developed an automated approach that allows generation of discrete-valued pseudo CT scans (soft tissue, bone, and air) from a single high-spatial-resolution diagnostic-quality three-dimensional MR image and evaluated it in brain PET/MR imaging. This deep learning approach for MR imaging-based AC provided reduced PET reconstruction error relative to a CT-based standard within the brain compared with current MR imaging-based AC approaches.

Purpose To describe and evaluate a new fully automated musculoskeletal tissue segmentation method using deep convolutional neural network (CNN) and three‐dimensional (3D) simplex deformable modeling to improve the accuracy and efficiency of cartilage and bone segmentation within the knee joint. Methods A fully automated segmentation pipeline was built by combining a semantic segmentation CNN and 3D simplex deformable modeling. A CNN technique called SegNet was applied as the core of the segmentation method to perform high resolution pixel‐wise multi‐class tissue classification. The 3D simplex deformable modeling refined the output from SegNet to preserve the overall shape and maintain a desirable smooth surface for musculoskeletal structure. The fully automated segmentation method was tested using a publicly available knee image data set to compare with currently used state‐of‐the‐art segmentation methods. The fully automated method was also evaluated on two different data sets, which include morphological and quantitative MR images with different tissue contrasts. Results The proposed fully automated segmentation method provided good segmentation performance with segmentation accuracy superior to most of state‐of‐the‐art methods in the publicly available knee image data set. The method also demonstrated versatile segmentation performance on both morphological and quantitative musculoskeletal MR images with different tissue contrasts and spatial resolutions. Conclusion The study demonstrates that the combined CNN and 3D deformable modeling approach is useful for performing rapid and accurate cartilage and bone segmentation within the knee joint. The CNN has promising potential applications in musculoskeletal imaging. Magn Reson Med 79:2379–2391, 2018. © 2017 International Society for Magnetic Resonance in Medicine.

Purpose To determine the feasibility of using a deep learning approach to detect cartilage lesions (including cartilage softening, fibrillation, fissuring, focal defects, diffuse thinning due to cartilage degeneration, and acute cartilage injury) within the knee joint on MR images. Materials and Methods A fully automated deep learning-based cartilage lesion detection system was developed by using segmentation and classification convolutional neural networks (CNNs). Fat-suppressed T2-weighted fast spin-echo MRI data sets of the knee of 175 patients with knee pain were retrospectively analyzed by using the deep learning method. The reference standard for training the CNN classification was the interpretation provided by a fellowship-trained musculoskeletal radiologist of the presence or absence of a cartilage lesion within 17 395 small image patches placed on the articular surfaces of the femur and tibia. Receiver operating curve (ROC) analysis and the κ statistic were used to assess diagnostic performance and intraobserver agreement for detecting cartilage lesions for two individual evaluations performed by the cartilage lesion detection system. Results The sensitivity and specificity of the cartilage lesion detection system at the optimal threshold according to the Youden index were 84.1% and 85.2%, respectively, for evaluation 1 and 80.5% and 87.9%, respectively, for evaluation 2. Areas under the ROC curve were 0.917 and 0.914 for evaluations 1 and 2, respectively, indicating high overall diagnostic accuracy for detecting cartilage lesions. There was good intraobserver agreement between the two individual evaluations, with a κ of 0.76. Conclusion This study demonstrated the feasibility of using a fully automated deep learning-based cartilage lesion detection system to evaluate the articular cartilage of the knee joint with high diagnostic performance and good intraobserver agreement for detecting cartilage degeneration and acute cartilage injury. © RSNA, 2018 Online supplemental material is available for this article .

Motivation: The combination of deep learning, MRI, and clinical data for predicting the time to total knee replacement surgery in knee osteoarthritis patients has been investigated. Goal(s): The 3D Resnet18 model was employed to extract features from MRI scans, and relevant clinical variables were integrated to establish a comprehensive predictive model. Approach: Time-to-surgery probabilities were estimated using the ensemble random survival forest model. The model’s performance was evaluated across clinical variables, two MRI sequences, and their combinations. Results: The proposed approach aims to help the precision of TKR surgery decision-making using artificial intelligence. Impact: This study fuses deep learning, survival analysis, MRI, and clinical data to accurately predict time-to-TKR surgery. Our approach has the potential to enhance TKR surgery decision precision.

Motivation: Predicting total knee replacement surgery can help patients and healthcare providers make informed treatment decisions. Goal(s): To develop a machine learning model for predicting patients that will undergo a total knee replacement using radiomics. Approach: To extract radiomic features from images of patients and healthy subjects and train different machine learning models to predict patients' outcomes. Results: The best model achieved an accuracy of 87.2%. Three out of the four most significant radiomic features selected in the All subset were derived from the meniscus areas, suggesting that the meniscus may play a crucial role in predicting patient outcomes. Impact: Radiomic features from MRI scans effectively classify TKR-positive patients, particularly those incorporating meniscus features. These models potentially can predict patient outcomes and guide treatment decisions, but further research is needed to enhance performance and validate findings in broader patient populations.

Motivation: Pre-processing MR images is a necessary step prior to image analysis due to variability of intensity scale in MR images. Goal(s): To develop a deep learning algorithm for standardizing knee MR images prior to analysis. Approach: We developed a denoising autoencoder with VNet architecture achieving on-the-fly image pre-processing (Bias field correction and intensity normalization) and denoising. Image quality was evaluated using SNR, NMSE, PSNR, and SSIM. Results: Our approach achieved an improved SNR with an efficient runtime compared to conventional pre-processing methods. Impact: Our DL-based knee MRI pre-processing tool generates standardized MRI outputs for image analysis and DL model development. This tool can be incorporated into a wide range of image analysis pipelines for the knee.