Knee osteoarthritis (OA) is the most common musculoskeletal disorder. OA diagnosis is currently conducted by assessing symptoms and evaluating plain radiographs, but this process suffers from subjectivity. In this study, we present a new transparent computer-aided diagnosis method based on the Deep Siamese Convolutional Neural Network to automatically score knee OA severity according to the Kellgren-Lawrence grading scale. We trained our method using the data solely from the Multicenter Osteoarthritis Study and validated it on randomly selected 3,000 subjects (5,960 knees) from Osteoarthritis Initiative dataset. Our method yielded a quadratic Kappa coefficient of 0.83 and average multiclass accuracy of 66.71% compared to the annotations given by a committee of clinical experts. Here, we also report a radiological OA diagnosis area under the ROC curve of 0.93. Besides this, we present attention maps highlighting the radiological features affecting the network decision. Such information makes the decision process transparent for the practitioner, which builds better trust toward automatic methods. We believe that our model is useful for clinical decision making and for OA research; therefore, we openly release our training codes and the data set created in this study.

Abstract Knee osteoarthritis (OA) is the most common musculoskeletal disease without a cure, and current treatment options are limited to symptomatic relief. Prediction of OA progression is a very challenging and timely issue, and it could, if resolved, accelerate the disease modifying drug development and ultimately help to prevent millions of total joint replacement surgeries performed annually. Here, we present a multi-modal machine learning-based OA progression prediction model that utilises raw radiographic data, clinical examination results and previous medical history of the patient. We validated this approach on an independent test set of 3,918 knee images from 2,129 subjects. Our method yielded area under the ROC curve (AUC) of 0.79 (0.78–0.81) and Average Precision (AP) of 0.68 (0.66–0.70). In contrast, a reference approach, based on logistic regression, yielded AUC of 0.75 (0.74–0.77) and AP of 0.62 (0.60–0.64). The proposed method could significantly improve the subject selection process for OA drug-development trials and help the development of personalised therapeutic plans.

Abstract Purpose Only little is known how calcified cartilage (CC) structure changes during exercise, aging and disease. CC thickness (CC.Th) can be analyzed using conventional histological sections. Micro-computed tomography (μCT) allows for three-dimensional (3D) imaging of mineralized tissues, however, the segmentation between bone and CC is challenging. Here, we present state-of-the-art deep learning segmentation for μCT images to enable assessment of CC morphology. Methods Sixteen knees from twelve New Zealand White rabbits were dissected into osteochondral samples from six anatomical regions: lateral and medial femoral condyles, lateral and medial tibial plateaus, femoral groove and patella ( n = 96). Samples were imaged with μCT and processed for conventional histology. Manually segmented CC from the histology and reconstructed μCT images was used as the gold standard to train segmentation models with different encoder-decoder architectures. The models with the greatest out-of-fold evaluation Dice score were used for automated CC.Th analysis. Subsequently, the automated CC.Th analysis was compared across a total of 24 regions, co-registered between the imaging modalities, using Pearson correlation and Bland-Altman analyses. Finally, the anatomical variation in CC.Th was assessed via a Linear Mixed Model analysis. Results The best segmentation models yielded average Dice scores of 0.891 and 0.807 for histology and μCT segmentation, respectively. The correlation between the co-registered regions across the modalities was strong ( r = 0.897). The Bland-Altman analysis yielded a bias of 21.9 μm and a standard deviation of 21.5 μm between the methods. Finally, both methods could separate the CC morphology between the patella, femoral, and tibial regions ( p < 0.001). Conclusion The presented method allows for ex vivo 3D assessment of CC.Th in an automated and non-destructive manner. We demonstrated its utility by quantifying CC.Th in different anatomical regions. CC.Th was the thickest in the patella and the thinnest in the tibial plateau. Graphical abstract We present a μCT-based method with deep learning segmentation for analyzing calcified cartilage thickness (CC.Th). The method is compared throughout the study against conventional histology. The comparison against co-registered regions yielded a strong Pearson correlation (r = 0.90). Both methods were able to separate the CC.Th properties between tibia, femur, and patella.

Importance: The gap between predicted brain age using magnetic resonance imaging (MRI) and chronological age may serve as biomarker for early-stage neurodegeneration and potentially as a risk indicator for dementia. However, owing to the lack of large longitudinal studies, it has been challenging to validate this link. Objective: We aimed to investigate the utility of such a gap as a risk biomarker for incident dementia in a general Dutch population, using a deep learning approach for predicting brain age based on MRI-derived grey matter maps. Design: Data was collected from participants of the cohort-based Rotterdam Study who underwent brain magnetic resonance imaging between 2006 and 2015. This study was performed in a longitudinal setting and all participant were followed up for incident dementia until 2016. Setting: The Rotterdam Study is a prospective population-based study, initiated in 1990 in the suburb Ommoord of in Rotterdam, the Netherlands. Participants: At baseline, 5496 dementia- and stroke-free participants (mean age 64.67+-9.82, 54.73% women) were scanned and screened for incident dementia. During 6.66+-2.46 years of follow-up, 159 people developed dementia. Main outcomes and measures: We built a convolutional neural network (CNN) model to predict brain age based on its MRI. Model prediction performance was measured in mean absolute error (MAE). Reproducibility of prediction was tested using the intraclass correlation coefficient (ICC) computed on a subset of 80 subjects. Logistic regressions and Cox proportional hazards were used to assess the association of the age gap with incident dementia, adjusted for years of education, ApoE4 allele carriership, grey matter volume and intracranial volume. Additionally, we computed the attention maps of CNN, which shows which brain regions are important for age prediction. Results: MAE of brain age prediction was 4.45+-3.59 years and ICC was 0.97 (95% confidence interval CI=0.96-0.98). Logistic regression and Cox proportional hazards models showed that the age gap was significantly related to incident dementia (odds ratio OR=1.11 and 95% confidence intervals CI=1.05-1.16; hazard ratio HR=1.11 and 95% CI=1.06-1.15, respectively). Attention maps indicated that grey matter density around the amygdalae and hippocampi primarily drive the age estimation. Conclusion and relevance: We show that the gap between predicted and chronological brain age is a biomarker associated with risk of dementia development. This suggests that it can be used as a biomarker, complimentary to those that are known, for dementia risk screening.

Purpose (the aim of the study): Previous studies have found Chondrocalcinosis (CC) to be associated with osteoarthritis (OA) and even suggested it may represent a specific subtype of OA. However, the exact relationship between CC and OA is currently unknown, and the data on CC is sparse. We have developed a grading score (Boer-Oei-Boer) BOB-score to describe the presence and severity of knee CC. However, applying the BOB score on large radiograph datasets is impeded by the substantial effort required for manual measurement.

Objective: To develop and validate a machine learning (ML) approach for automatic three-dimensional (3D) histopathological grading of osteochondral samples imaged with contrast-enhanced micro-computed tomography (CEμCT). Design: Osteochondral cores from 24 total knee arthroplasty patients and 2 asymptomatic cadavers (n = 34, ϕ = 2 mm; n = 45, ϕ = 4 mm) were imaged using CEμCT with phosphotungstic acid-staining. Volumes-of-interest (VOI) in surface (SZ), deep (DZ) and calcified (CZ) zones were extracted depth-wise and subjected to dimensionally reduced Local Binary Pattern-textural feature analysis. Regularized Ridge and Logistic regression (LR) models were trained zone-wise against the manually assessed semi-quantitative histopathological CEμCT grades (ϕ = 2 mm samples). Models were validated using nested leave-one-out cross-validation and an independent test set (ϕ = 4 mm samples). The performance was assessed using Spearman's correlation, Average Precision (AP) and Area under the Receiver Operating Characteristic Curve (AUC). Results: Highest performance on cross-validation was observed for SZ, both on Ridge regression (ρ = 0.68, p < 0.0001) and LR (AP = 0.89, AUC = 0.92). The test set evaluations yielded decreased Spearman's correlations on all zones. For LR, performance was almost similar in SZ (AP = 0.89, AUC = 0.86), decreased in CZ (AP = 0.71 to 0.62, AUC = 0.77 to 0.63) and increased in DZ (AP = 0.50 to 0.83, AUC = 0.72 to 0.72). Conclusion: We showed that the ML-based automatic 3D histopathological grading of osteochondral samples is feasible from CEμCT. The developed method can be directly applied by OA researchers since the grading software and all source codes are publicly available. Keywords: osteoarthritis, histopathological grading, contrast-enhanced micro-computed tomography, machine learning, cartilage, textural analysis

Breast cancer is one of the main causes of death world-wide. Histopathological cellularity assessment of residual tumors in post-surgical tissues is used to analyze a tumor’s response to a therapy. Correct cellularity assessment increases the chances of getting an appropriate treatment and facilitates the patient’s survival. In current clinical practice, tumor cellularity is manually estimated by pathologists; this process is tedious and prone to errors or low agreement rates between assessors. In this work, we evaluated three strong novel Deep Learning-based approaches for automatic assessment of tumor cellularity from post-treated breast surgical specimens stained with hematoxylin and eosin. We validated the proposed methods on the BreastPathQ SPIE challenge dataset that consisted of 2395 image patches selected from whole slide images acquired from 64 patients. Compared to expert pathologist scoring, our best performing method yielded the Cohen’s kappa coefficient of 0.69 (vs. 0.42 previously known in literature) and the intra-class correlation coefficient of 0.89 (vs. 0.83). Our results suggest that Deep Learning-based methods have a significant potential to alleviate the burden on pathologists, enhance the diagnostic workflow, and, thereby, facilitate better clinical outcomes in breast cancer treatment.

Abstract Objectives Clinical cone-beam computed tomography (CBCT) devices are limited to imaging features of half a millimeter in size. Hence, they do not allow clinical quantification of bone microstructure, which plays an important role in osteoarthritis, osteoporosis and fracture risk. For maxillofacial imaging, changes in small mineralized structures are important for dental, periodontal and ossicular chain diagnostics as well as treatment planning. Deep learning (DL)-based super-resolution (SR) models could allow for better evaluation of these microstructural details. In this study, we demonstrate a widely applicable method for increasing the spatial resolution of clinical CT images using DL, which only requires training on a limited set of data that are easy to acquire in a laboratory setting from e.g. cadaver knees. Our models are assessed rigorously for technical image quality, ability to predict bone microstructure, as well as clinical image quality of the knee, wrist, ankle and dentomaxillofacial region. Materials and methods Knee tissue blocks from five cadavers and six total knee replacement patients as well as 14 extracted teeth from eight patients were scanned using micro-computed tomography. The images were used as training data for the developed DL-based SR technique, inspired by previous studies on single-image SR. The technique was benchmarked with an ex vivo test set, consisting of 52 small osteochondral samples imaged with clinical and laboratory CT scanners, to quantify bone morphometric parameters. A commercially available quality assurance phantom was imaged with a clinical CT device, and the technical image quality was quantified with a modulation transfer function. To visually assess the clinical image quality, CBCT studies from wrist, knee, ankle, and maxillofacial region were enhanced with SR and contrasted to interpolated images. A dental radiologist and dental surgeon reviewed maxillofacial CBCT studies of nine patients and corresponding SR predictions. Results The SR models yielded a higher Pearson correlation to bone morphological parameters on the ex vivo test set compared to the use of a conventional image processing pipeline. The phantom analysis confirmed a higher spatial resolution on the images enhanced by the SR approach. A statistically significant increase of spatial resolution was seen in the third, fourth, and fifth line pair patterns. However, the predicted grayscale values of line pair patterns exceeded those of uniform areas. Musculoskeletal CBCT images showed more details on SR predictions compared to interpolation. Averaging predictions on orthogonal planes improved visual quality on perpendicular planes but could smear the details for morphometric analysis. SR in dental imaging allowed to visualize smaller mineralized structures in the maxillofacial region, however, some artifacts were observed near the crown of the teeth. The readers assessed mediocre overall scores in all categories for both CBCT and SR. Although not statistically significant, the dental radiologist slightly preferred the original CBCT images. The dental surgeon scored one of the SR models slightly higher compared to CBCT. The interrater variability κ was mostly low to fair. The source code ( https://doi.org/10.5281/zenodo.8041943 ) and pretrained SR networks ( https://doi.org/10.17632/4xvx4p9tzv.1 ) are publicly available. Conclusions Utilizing experimental laboratory imaging modalities in model training could allow pushing the spatial resolution limit beyond state-of-the-art clinical musculoskeletal and dental CBCT imaging. Implications of SR include higher patient throughput, more precise diagnostics, and disease interventions at an earlier state. However, the grayscale distribution of the images is modified, and the predictions are limited to depicting the mineralized structures rather than estimating density or tissue composition. Finally, while the musculoskeletal images showed promising results, a larger maxillofacial dataset would be recommended for training SR models in dental applications.