Abstract When collecting large neuroimaging data associated with psychiatric disorders, images must be acquired from multiple sites because of the limited capacity of a single site. However, site differences represent the greatest barrier when acquiring multi-site neuroimaging data. We utilized a traveling-subject dataset in conjunction with a multi-site, multi-disorder dataset to demonstrate that site differences are composed of biological sampling bias and engineering measurement bias. Effects on resting-state functional MRI connectivity because of both bias types were greater than or equal to those because of psychiatric disorders. Furthermore, our findings indicated that each site can sample only from among a subpopulation of participants. This result suggests that it is essential to collect large neuroimaging data from as many sites as possible to appropriately estimate the distribution of the grand population. Finally, we developed a novel harmonization method that removed only the measurement bias by using traveling-subject dataset and achieved the reduction of the measurement bias by 29% and the improvement of the signal to noise ratios by 40%.

ABSTRACT Background Several studies have evaluated whether depressed persons have older appearing brains than their nondepressed peers. However, the estimated neuroimaging-derived “brain age gap” has varied from study to study, likely driven by differences in training and testing sample (size), age range, and used modality/features. To validate our previously developed ENIGMA brain age model and the identified brain age gap, we aim to replicate the presence and effect size estimate previously found in the largest study in depression to date (N=2,126 controls & N=2,675 cases; +1.08 years [SE 0.22], Cohen’s d=0.14, 95% CI: 0.08-0.20), in independent cohorts that were not part of the original study. Methods A previously trained brain age model ( www.photon-ai.com/enigma_brainage ) based on 77 FreeSurfer brain regions of interest was used to obtain unbiased brain age predictions in 751 controls and 766 persons with depression (18-75 years) from 13 new cohorts collected from 20 different scanners. Results Our ENIGMA MDD brain age model generalized reasonably well to controls from the new cohorts (predicted age vs. age: r = 0.73, R 2 =0.47, MAE=7.50 years), although the performance varied from cohort to cohort. In these new cohorts, on average, depressed persons showed a significantly higher brain age gap of +1 year (SE 0.35) (Cohen’s d□=□□.15, 95% CI: 0.05–0.25) compared with controls, highly similar to our previous finding. Conclusions This study further validates our previously developed ENIGMA brain age algorithm. Importantly, we replicated the brain age gap in depression with a comparable effect size. Thus, two large-scale independent mega-analyses across in total 32 cohorts and >3,400 patients and >2,800 controls worldwide show reliable but subtle effects of brain aging in adult depression.

Abstract The objective diagnostic and stratification biomarkers developed with resting-state functional magnetic resonance imaging (rs-fMRI) data are expected to contribute to more effective treatment for mental disorders. Unfortunately, there are currently no widely accepted biomarkers, partially due to the large variety of analysis pipelines for developing them. In this study we comprehensively evaluated analysis pipelines using a large-scale, multi-site fMRI dataset for major depressive disorder (MDD) (1162 participants from eight imaging sites). We explored the combinations of options in four subprocesses of analysis pipelines: six types of brain parcellation, four types of estimations of functional connectivity (FC), three types of site difference harmonization, and five types of machine learning methods. 360 different MDD diagnostic biomarkers were constructed using the SRPBS dataset acquired with unified protocols (713 participants from four imaging sites) as a discovery dataset and evaluated with datasets from other projects acquired with heterogeneous protocols (449 participants from four imaging sites) for independent validation. To identify the optimal options regardless of the discovery dataset, we repeated the same procedure after swapping the roles of the two datasets. We found pipelines that included Glasser’s parcellation, tangent-covariance, no harmonization, and non-sparse machine learning methods tended to result in high classification performance. The diagnosis results of the top 10 biomarkers showed high similarity, and weight similarity was also observed between eight of the biomarkers, except two that used both data-driven parcellation and FC computation. We applied the top 10 pipelines to the datasets of other mental disorders (autism spectral disorder: ASD and schizophrenia: SCZ) and eight of the ten biomarkers showed sufficient classification performances for both disorders, except two pipelines that included Pearson correlation, ComBat harmonization and random forest classifier combination. Highlights We evaluated the analysis pipelines of rsFC biomarker development. Four subprocesses in them were investigated with two multi-site datasets. Glasser’s parcellation, tangent covariance, and non-sparse methods were preferred. The weight patterns of eight of the top 10 biomarkers showed high commonality. Eight of the top 10 pipelines were successful for developing SCZ/ASD biomarkers.

Abstract Resting-state functional connectivity (rsFC) is increasingly used to develop biomarkers for psychiatric disorders. Despite progress, development of the reliable and practical FC biomarker remains an unmet goal, particularly one that is clinically predictive at the individual level with generalizability, robustness, and accuracy. In this study, we propose a new approach to profile each connectivity from diverse perspective, encompassing not only disorder-related differences but also disorder-unrelated variations attributed to individual difference, within-subject across-runs, imaging protocol, and scanner factors. By leveraging over 1500 runs of 10-minute resting-state data from 84 traveling-subjects across 29 sites and 900 participants of the case-control study with three psychiatric disorders, the disorder-related and disorder-unrelated FC variations were estimated for each individual FC. Using the FC profile information, we evaluated the effects of the disorder-related and disorder-unrelated variations on the output of the multi-connectivity biomarker trained with ensemble sparse classifiers and generalizable to the multicenter data. Our analysis revealed hierarchical variations in individual functional connectivity, ranging from within-subject across-run variations, individual differences, disease effects, inter-scanner discrepancies, and protocol differences, which were drastically inverted by the sparse machine-learning algorithm. We found this inversion mainly attributed to suppression of both individual difference and within-subject across-runs variations relative to the disorder-related difference by weighted-averaging of the selected FCs and ensemble computing. This comprehensive approach will provide an analytical tool to delineate future directions for developing reliable individual-level biomarkers.

Abstract Neurofeedback (NF) aptitude, which refers to an individual’s ability to change its brain activity through NF training, has been reported to vary significantly from person to person. The prediction of individual NF aptitudes is critical in clinical NF applications. In the present study, we extracted the resting-state functional brain connectivity (FC) markers of NF aptitude independent of NF-targeting brain regions. We combined the data in fMRI-NF studies targeting four different brain regions at two independent sites (obtained from 59 healthy adults and six patients with major depressive disorder) to collect the resting-state fMRI data associated with aptitude scores in subsequent fMRI-NF training. We then trained the regression models to predict the individual NF aptitude scores from the resting-state fMRI data using a discovery dataset from one site and identified six resting-state FCs that predicted NF aptitude. Next we validated the prediction model using independent test data from another site. The result showed that the posterior cingulate cortex was the functional hub among the brain regions and formed predictive resting-state FCs, suggesting NF aptitude may be involved in the attentional mode-orientation modulation system’s characteristics in task-free resting-state brain activity.

Abstract Many studies have highlighted the difficulty inherent to the clinical application of fundamental neuroscience knowledge based on machine learning techniques. It is difficult to generalize machine learning brain markers to the data acquired from independent imaging sites, mainly due to large site differences in functional magnetic resonance imaging. We address the difficulty of finding a generalizable major depressive disorder (MDD) brain network markers which would distinguish patients from healthy controls (a classifier) or would predict symptom severity (a prediction model) based on resting state functional connectivity patterns. For the discovery dataset with 713 participants from 4 imaging sites, we removed site differences using our recently developed harmonization method and developed a machine learning MDD brain network markers. The classifier achieved 70% generalization accuracy, and the prediction model moderately well predicted symptom severity for an independent validation dataset with 449 participants from 4 different imaging sites. Finally, we found common 2 functional connections between those related to MDD diagnosis and those related to depression symptoms. The successful generalization to the perfectly independent dataset acquired from multiple imaging sites is novel and ensures scientific reproducibility and clinical applicability.

Individual differences in cognitive function have been shown to correlate with brain-wide functional connectivity, suggesting a common foundation relating connectivity to cognitive function across healthy populations. However, it remains unknown whether this relationship is preserved in cognitive deficits seen in a range of psychiatric disorders. Using machine learning methods, we built a prediction model of working memory function from whole-brain functional connectivity among a healthy population (N = 17, age 19-24 years). We applied this normative model to a series of independently collected resting state functional connectivity datasets (N = 969), involving multiple psychiatric diagnoses, sites, ages (18-65 years), and ethnicities. We found that predicted working memory ability was correlated with actually measured working memory performance in both schizophrenia patients (partial correlation, ρ = 0.25, P = 0.033, N = 58) and a healthy population (partial correlation, ρ = 0.11, P = 0.0072, N = 495). Moreover, the model predicted diagnosis-specific severity of working memory impairments in schizophrenia (N = 58, with 60 controls), major depressive disorder (N = 77, with 63 controls), obsessive-compulsive disorder (N = 46, with 51 controls), and autism spectrum disorder (N = 69, with 71 controls) with effect sizes g = -0.68, -0.29, -0.20, and 0.09, respectively. According to the model, each diagnosis's working memory impairment resulted from the accumulation of distinct functional connectivity differences that characterizes each diagnosis, including both diagnosis-specific and diagnosis-invariant functional connectivity differences. Severe working memory impairment in schizophrenia was related not only with fronto-parietal, but also widespread network changes. Autism spectrum disorder showed greater negative connectivity that related to improved working memory function, suggesting that some non-normative functional connections can be behaviorally advantageous. Our results suggest that the relationship between brain connectivity and working memory function in healthy populations can be generalized across multiple psychiatric diagnoses. This approach may shed new light on behavioral variances in psychiatric disease and suggests that whole-brain functional connectivity can provide an individual quantitative behavioral profile in a range of psychiatric disorders.

Autism spectrum disorder (ASD) is a lifelong condition, and its underlying biological mechanisms remain elusive. The complexity of various factors, including inter-site and development-related differences, makes it challenging to develop generalizable neuroimaging-based biomarkers for ASD. This study used a large-scale, multi-site dataset of 730 Japanese adults to develop a generalizable neuromarker for ASD across independent sites (U.S., Belgium, and Japan) and different developmental stages (children and adolescents). Our adult ASD neuromarker achieved successful generalization for the US and Belgium adults (area under the curve [AUC] = 0.70) and Japanese adults (AUC = 0.81). The neuromarker demonstrated significant generalization for children (AUC = 0.66) and adolescents (AUC = 0.71; all P<0.05, family-wise-error corrected). We identified 141 functional connections (FCs) important for discriminating individuals with ASD from TDCs. These FCs largely centered on social brain regions such as the amygdala, hippocampus, dorsomedial and ventromedial prefrontal cortices, and temporal cortices. Finally, we mapped schizophrenia (SCZ) and major depressive disorder (MDD) onto the biological axis defined by the neuromarker and explored the biological continuity of ASD with SCZ and MDD. We observed that SCZ, but not MDD, was located proximate to ASD on the biological dimension defined by the ASD neuromarker. The successful generalization in multifarious datasets and the observed relations of ASD with SCZ on the biological dimensions provide new insights for a deeper understanding of ASD.