Alzheimer's disease is the primary cause of dementia worldwide, with an increasing morbidity burden that may outstrip diagnosis and management capacity as the population ages. Current methods integrate patient history, neuropsychological testing and MRI to identify likely cases, yet effective practices remain variably applied and lacking in sensitivity and specificity. Here we report an interpretable deep learning strategy that delineates unique Alzheimer's disease signatures from multimodal inputs of MRI, age, gender, and Mini-Mental State Examination score. Our framework linked a fully convolutional network, which constructs high resolution maps of disease probability from local brain structure to a multilayer perceptron and generates precise, intuitive visualization of individual Alzheimer's disease risk en route to accurate diagnosis. The model was trained using clinically diagnosed Alzheimer's disease and cognitively normal subjects from the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset (n = 417) and validated on three independent cohorts: the Australian Imaging, Biomarker and Lifestyle Flagship Study of Ageing (AIBL) (n = 382), the Framingham Heart Study (n = 102), and the National Alzheimer's Coordinating Center (NACC) (n = 582). Performance of the model that used the multimodal inputs was consistent across datasets, with mean area under curve values of 0.996, 0.974, 0.876 and 0.954 for the ADNI study, AIBL, Framingham Heart Study and NACC datasets, respectively. Moreover, our approach exceeded the diagnostic performance of a multi-institutional team of practicing neurologists (n = 11), and high-risk cerebral regions predicted by the model closely tracked post-mortem histopathological findings. This framework provides a clinically adaptable strategy for using routinely available imaging techniques such as MRI to generate nuanced neuroimaging signatures for Alzheimer's disease diagnosis, as well as a generalizable approach for linking deep learning to pathophysiological processes in human disease.

Objectives It remains difficult to characterize the source of pain in knee joints either using radiographs or magnetic resonance imaging (MRI). We sought to determine if advanced machine learning methods such as deep neural networks could distinguish knees with pain from those without it and identify the structural features that are associated with knee pain.Methods We constructed a convolutional Siamese network to associate MRI scans obtained on subjects from the Osteoarthritis Initiative (OAI) with frequent unilateral knee pain (n=1,529) comparing the knee with frequent pain to the contralateral knee without pain. The Siamese network architecture enabled pairwise learning of information from two-dimensional (2D) sagittal intermediate-weighted turbo spin echo slices obtained from similar locations on both knees. Class activation mapping (CAM) was utilized to create saliency maps, which highlighted the regions most associated with knee pain. The MRI scans and the CAMs of each subject were reviewed by an expert radiologist to identify the presence of abnormalities within the model-predicted regions of high association.Results Using 10-fold cross validation, our model achieved an area under curve (AUC) value of 0.808. When individuals whose knee WOMAC pain scores were not discordant were excluded, model performance increased to 0.853. The radiologist review revealed that about 86% of the cases that were predicted correctly had effusion-synovitis within the regions that were most associated with pain.Conclusions This study demonstrates a proof of principle that deep learning can be applied to assess knee pain from MRI scans.

Alzheimers disease (AD) is the primary cause of dementia worldwide (1), with an increasing morbidity burden that may outstrip diagnosis and management capacity as the population ages. Current methods integrate patient history, neuropsychological testing and magnetic resonance imaging (MRI) to identify likely cases, yet effective practices remain variably-applied and lacking in sensitivity and specificity (2). Here we report an explainable deep learning strategy that delineates unique AD signatures from multimodal inputs of MRI, age, gender, and mini-mental state examination (MMSE) score. Our framework linked a fully convolutional network (FCN) to a multilayer perceptron (MLP) to construct high resolution maps of disease probability from local brain structure. This enabled precise, intuitive visualization of individual AD risk en route to accurate diagnosis. The model was trained using clinically-diagnosed AD and cognitively normal (NC) subjects from the Alzheimers Disease Neuroimaging Initiative (ADNI) dataset (n=417) (3), and validated on three independent cohorts: the Australian Imaging, Biomarker & Lifestyle Flagship Study of Ageing (AIBL, n=382) (4), the Framingham Heart Study (FHS, n=102) (5), and the National Alzheimers Coordinating Center (NACC, n=582) (6). Model performance was consistent across datasets, with mean accuracy values of 0.966, 0.948, 0.815, and 0.916 for ADNI, AIBL, FHS and NACC, respectively. Moreover, our approach exceeded the diagnostic performance of a multi-institutional team of practicing neurologists (n=11), and high-risk cerebral regions predicted by the model closely tracked postmortem histopathological findings. This framework provides a clinically-adaptable strategy for using routinely available imaging techniques such as MRI to generate nuanced neuroimaging signatures for AD diagnosis, as well as a generalizable approach for linking deep learning to pathophysiological processes in human disease.