Abstract Normative modeling aims to quantify the degree to which an individual’s brain deviates from a reference sample with respect to one or more variables, which can be used as a potential biomarker of a healthy brain and as a tool to study heterogeneity of psychiatric disorders. The application of normative models is hindered by methodological challenges and lacks standards for the usage and evaluation of normative models. In this paper, we present generalized additive models for location scale and shape (GAMLSS) for normative modeling of neuroimaging data, a flexible modeling framework that can model heteroskedasticity, non-linear effects of variables, and hierarchical structure of the data. It can model non-Gaussian distributions, and it allows for an automatic model order selection, thus improving the accuracy of normative models while mitigating problems of overfitting. Furthermore, we describe measures and diagnostic tools suitable for evaluating normative models and step-by-step examples of normative modeling, including fitting several candidate models, selecting the best models, and transferring them to new scan sites.

A bstract Clinical neuroimaging data availability has grown substantially in the last decade, providing the potential for studying heterogeneity in clinical cohorts on a previously unprecedented scale. Normative modeling is an emerging statistical tool for dissecting heterogeneity in complex brain disorders. However, its application remains technically challenging due to medical data privacy issues and difficulties in dealing with nuisance variation, such as the variability in the image acquisition process. Here, we introduce a federated probabilistic framework using hierarchical Bayesian regression (HBR) for multi-site normative modeling. The proposed method completes the life-cycle of normative modeling by providing the possibilities to learn, update, and adapt the model parameters on decentralized neuroimaging data. Our experimental results confirm the superiority of HBR in deriving more accurate normative ranges on large multi-site neuroimaging datasets compared to the current standard methods. In addition, our approach provides the possibility to recalibrate and reuse the learned model on local datasets and even on datasets with very small sample sizes. The proposed federated framework closes the technical loop for applying normative modeling across multiple sites in a decentralized manner. This will facilitate applications of normative modeling as a medical tool for screening the biological deviations in individuals affected by complex illnesses such as mental disorders.

A bstract The potential of normative modeling to make individualized predictions from neuroimaging data has enabled inferences that go beyond the case-control approach. However, site effects are often confounded with variables of interest in a complex manner and can bias estimates of normative models, which has impeded the application of normative models to large multi-site neuroimaging data sets. In this study, we suggest accommodating for these site effects by including them as random effects in a hierarchical Bayesian model. We compared the performance of a linear and a non-linear hierarchical Bayesian model in modeling the effect of age on cortical thickness. We used data of 570 healthy individuals from the ABIDE (autism brain imaging data exchange) data set in our experiments. In addition, we used data from individuals with autism to test whether our models are able to retain clinically useful information while removing site effects. We compared the proposed single stage hierarchical Bayesian method to several harmonization techniques commonly used to deal with additive and multiplicative site effects using a two stage regression, including regressing out site and harmonizing for site with ComBat, both with and without explicitly preserving variance related to age and sex as biological variation of interest. In addition, we made predictions from raw data, in which site has not been accommodated for. The proposed hierarchical Bayesian method showed the best predictive performance according to multiple metrics. Beyond that, the resulting z-scores showed little to no residual site effects, yet still retained clinically useful information. In contrast, performance was particularly poor for the regression model and the ComBat model in which age and sex were not explicitly modeled. In all two stage harmonization models, predictions were poorly scaled, suffering from a loss of more than 90 % of the original variance. Our results show the value of hierarchical Bayesian regression methods for accommodating site variation in neuroimaging data, which provides an alternative to harmonization techniques. While the approach we propose may have broad utility, our approach is particularly well suited to normative modelling where the primary interest is in accurate modelling of inter-subject variation and statistical quantification of deviations from a reference model. 1 Highlights Development and presentation of normative modeling approach based on hierarchical Bayesian modeling that can be applied to large multi-site neuroimaging data sets. Comparison of performance of Hierarchical Bayesian model including site as predictor to several common ways to harmonize for multi-site effects. Presentation of normative modeling as site correction tool.

Abstract Alterations in regional subcortical brain volumes have been widely investigated as part of the efforts of an international consortium, ENIGMA, to determine reliable structural brain signatures for Major Depressive Disorder (MDD). Given that subcortical structures are comprised of distinct subfields, we sought to build significantly from prior work to precisely map localized MDD-related differences in subcortical regions using shape analysis. In this meta-analysis of subcortical shape from the ENIGMA-MDD working group, we compared 1,781 patients with MDD and 2,953 healthy controls (CTL) on individual measures of shape metrics (thickness and surface area) on the surface of seven bilateral subcortical structures: nucleus accumbens, amygdala, caudate, hippocampus, pallidum, putamen, and thalamus. Harmonized data processing and statistical analyses were conducted locally at each site, and findings were aggregated by meta-analysis. Relative to CTL, patients with MDD had lower surface area in the subiculum of the hippocampus, the basolateral amygdala, and the nucleus accumbens shell. Relative to CTL, patients with adolescent-onset MDD (≤ 21 years) had lower thickness and surface area of the subiculum of the hippocampus and the basolateral amygdala. Relative to first-episode MDD, recurrent MDD patients had lower thickness and surface area in the CA1 of the hippocampus and the basolateral amygdala. Our results suggest that previously reported MDD-associated volumetric differences may be localized to specific subfields of these structures that have been shown to be sensitive to the effects of stress, with important implications for mapping treatments to patients based on specific neural targets and key clinical features.

Abstract Defining reference models for population variation, and the ability to study individual deviations is essential for understanding inter-individual variability and its relation to the onset and progression of medical conditions. In this work, we assembled a reference cohort of neuroimaging data from 82 sites (N=58,836; ages 2-100) and use normative modeling to characterize lifespan trajectories of cortical thickness and subcortical volume. Models are validated against a manually quality checked subset (N=24,354) and we provide an interface for transferring to new data sources. We showcase the clinical value by applying the models to a transdiagnostic psychiatric sample (N=1,985), showing they can be used to quantify variability underlying multiple disorders whilst also refining case-control inferences. These models will be augmented with additional samples and imaging modalities as they become available. This provides a common reference platform to bind results from different studies and ultimately paves the way for personalized clinical decision making.

Abstract Normative modelling is becoming more popular in neuroimaging due to its ability to make predictions of deviation from a normal trajectory at the level of individual participants. It allows the user to model the distribution of several neuroimaging modalities, giving an estimation for the mean and centiles of variation. With the increase in the availability of big data in neuroimaging, there is a need to scale normative modelling to big data sets. However, the scaling of normative models has come with several challenges. So far, most normative modelling approaches used Gaussian process regression, and although suitable for smaller datasets (up to a few thousand participants) it does not scale well to the large cohorts currently available and being acquired. Furthermore, most neuroimaging modelling methods that are available assume the predictive distribution to be Gaussian in shape. However, deviations from Gaussianity can be frequently found, which may lead to incorrect inferences, particularly in the outer centiles of the distribution. In normative modelling, we use the centiles to give an estimation of the deviation of a particular participant from the ‘normal’ trend. Therefore, especially in normative modelling, the correct estimation of the outer centiles is of utmost importance, which is also where data are sparsest. Here, we present a novel framework based on Bayesian Linear Regression with likelihood warping that allows us to address these problems, that is, to scale normative modelling elegantly to big data cohorts and to correctly model non-Gaussian predictive distributions. In addition, this method provides also likelihood-based statistics, which are useful for model selection. To evaluate this framework, we use a range of neuroimaging-derived measures from the UK Biobank study, including image-derived phenotypes (IDPs) and whole-brain voxel-wise measures derived from diffusion tensor imaging. We show good computational scaling and improved accuracy of the warped BLR for certain IDPs and voxels if there was a deviation from normality of these parameters in their residuals. The present results indicate the advantage of a warped BLR in terms of; computational scalability and the flexibility to incorporate non-linearity and non-Gaussianity of the data, giving a wider range of neuroimaging datasets that can be correctly modelled.

Abstract Finding an interpretable and compact representation of complex neuroimage data can be extremely useful for understanding brain behavioral mapping and hence for explaining the biological underpinnings of mental disorders. Hand-crafted representations, as well as linear transformations, may not accurately reflect the significant variability across individuals. Here, we applied a data-driven approach to learn interpretable and generalizable latent representations that link cognition with underlying brain systems; we applied a three-dimensional autoencoder to two large-scale datasets to find an interpretable latent representation of high dimensional task fMRI image data. This representation also accounts for demographic characteristics, achieved by solving a joint optimization problem that simultaneously reconstructs the data and predicts clinical or demographic variables. We then applied normative modeling to the latent variables to define summary statistics (‘latent indices’) to find a multivariate mapping to non-imaging measures. We trained our model with multi-task fMRI data derived from the Human Connectome Project (HCP) that provides whole-brain coverage across a range of cognitive tasks. Next, in a transfer learning setting, we tested the generalization of our latent space on UK Biobank data as an independent dataset. Our model showed high performance in terms of age and predictions and was capable of capturing complex behavioral characteristics and preserving the individualized variabilities using a highly interpretable latent representation.

ABSTRACT Background Several studies have evaluated whether depressed persons have older appearing brains than their nondepressed peers. However, the estimated neuroimaging-derived “brain age gap” has varied from study to study, likely driven by differences in training and testing sample (size), age range, and used modality/features. To validate our previously developed ENIGMA brain age model and the identified brain age gap, we aim to replicate the presence and effect size estimate previously found in the largest study in depression to date (N=2,126 controls & N=2,675 cases; +1.08 years [SE 0.22], Cohen’s d=0.14, 95% CI: 0.08-0.20), in independent cohorts that were not part of the original study. Methods A previously trained brain age model ( www.photon-ai.com/enigma_brainage ) based on 77 FreeSurfer brain regions of interest was used to obtain unbiased brain age predictions in 751 controls and 766 persons with depression (18-75 years) from 13 new cohorts collected from 20 different scanners. Results Our ENIGMA MDD brain age model generalized reasonably well to controls from the new cohorts (predicted age vs. age: r = 0.73, R 2 =0.47, MAE=7.50 years), although the performance varied from cohort to cohort. In these new cohorts, on average, depressed persons showed a significantly higher brain age gap of +1 year (SE 0.35) (Cohen’s d□=□□.15, 95% CI: 0.05–0.25) compared with controls, highly similar to our previous finding. Conclusions This study further validates our previously developed ENIGMA brain age algorithm. Importantly, we replicated the brain age gap in depression with a comparable effect size. Thus, two large-scale independent mega-analyses across in total 32 cohorts and >3,400 patients and >2,800 controls worldwide show reliable but subtle effects of brain aging in adult depression.

Background: Depression is a leading cause of burden of disease among young people. Current treatments are not uniformly effective, in part due to the heterogeneous nature of major depressive disorder (MDD). Refining MDD into more homogeneous subtypes is an important step towards identifying underlying pathophysiological mechanisms and improving treatment of young people. In adults, symptom-based subtypes of depression identified using data-driven methods mainly differed in patterns of neurovegetative symptoms (sleep and appetite/weight). These subtypes have been associated with differential biological mechanisms, including immuno-metabolic markers, genetics and brain alterations (mainly in the ventral striatum and insular cortex). Methods: K-means clustering was applied to individual depressive symptoms from the Quick Inventory of Depressive Symptoms (QIDS) in 275 young people (15-25 years old) with MDD to identify symptom-based subtypes, and in 244 young people from an independent dataset (a subsample of the STAR*D dataset). Insula surface area and thickness and ventral striatum volume were compared between the subtypes using structural MRI. Results: Three subtypes were identified in the discovery dataset and replicated in the independent dataset; severe depression with increased appetite, severe depression with decreased appetite and severe insomnia, and moderate depression. The severe increased appetite subtype showed lower surface area in the anterior insula compared to both healthy controls and the moderate subtype. Conclusions: Our findings in young people replicate the previously identified symptom-based depression subtypes in adults. The structural alterations of the anterior insular cortex add to the existing evidence of different pathophysiological mechanisms involved in this subtype.

Pattern recognition predictive models have become an important tool for analysis of neuroimaging data and answering important questions from clinical and cognitive neuroscience. Regardless of the application, the most commonly used method to quantify model performance is to calculate prediction accuracy, i.e. the proportion of correctly classified samples. While simple and intuitive, other performance measures are often more appropriate with respect to many common goals of neuroimaging pattern recognition studies. In this paper, we will review alternative performance measures and focus on their interpretation and practical aspects of model evaluation. Specifically, we will focus on 4 families of performance measures: 1) categorical performance measures such as accuracy, 2) rank based performance measures such as the area under the curve, 3) probabilistic performance measures based on quadratic error such as Brier score, and 4) probabilistic performance measures based on information criteria such as logarithmic score. We will examine their statistical properties in various settings using simulated data and real neuroimaging data derived from public datasets. Results showed that accuracy had the worst performance with respect to statistical power, detecting model improvement, selecting informative features and reliability of results. Therefore in most cases, it should not be used to make statistical inference about model performance. Accuracy should also be avoided for evaluating utility of clinical models, because it does not take into account clinically relevant information, such as relative cost of false-positive and false-negative misclassification or calibration of probabilistic predictions. We recommend alternative evaluation criteria with respect to the goals of a specific machine learning model.