Data-based predictions of individual Cognitive Behavioral Therapy (CBT) treatment response are a fundamental step towards precision medicine. Past studies demonstrated only moderate prediction accuracy (i.e. ability to discriminate between responders and non-responders of a given treatment) when using clinical routine data such as demographic and questionnaire data, while neuroimaging data achieved superior prediction accuracy. However, these studies may be considerably biased due to very limited sample sizes and bias-prone methodology. Adequately powered and cross-validated samples are a prerequisite to evaluate predictive performance and to identify the most promising predictors. We therefore analyzed resting state functional magnet resonance imaging (rs-fMRI) data from two large clinical trials to test whether functional neuroimaging data continues to provide good prediction accuracy in much larger samples. Data came from two distinct German multicenter studies on exposure-based CBT for anxiety disorders, the Protect-AD and SpiderVR studies. We separately and independently preprocessed baseline rs-fMRI data from n = 220 patients (Protect-AD) and n = 190 patients (SpiderVR) and extracted a variety of features, including ROI-to-ROI and edge-functional connectivity, sliding-windows, and graph measures. Including these features in sophisticated machine learning pipelines, we found that predictions of individual outcomes never significantly differed from chance level, even when conducting a range of exploratory post-hoc analyses. Moreover, resting state data never provided prediction accuracy beyond the sociodemographic and clinical data. The analyses were independent of each other in terms of selecting methods to process resting state data for prediction input as well as in the used parameters of the machine learning pipelines, corroborating the external validity of the results. These similar findings in two independent studies, analyzed separately, urge caution regarding the interpretation of promising prediction results based on neuroimaging data from small samples and emphasizes that some of the prediction accuracies from previous studies may result from overestimation due to homogeneous data and weak cross-validation schemes. The promise of resting-state neuroimaging data to play an important role in the prediction of CBT treatment outcomes in patients with anxiety disorders remains yet to be delivered.

Exposure to adverse childhood experiences (ACEs) is a strong predictor for developing behavioral, somatic and psychopathological conditions. Exposure to threat-related early adversity has been suggested to be specifically linked to altered emotional learning as well as changes in neural circuits involved in emotional responding and fear. Learning mechanisms are particularly interesting as they are central mechanisms through which environmental inputs shape emotional and cognitive processes and ultimately behavior. Multiple theories on the mechanisms underlying this association have been suggested which, however, differ in the operationalization of ACEs. 1,402 physically and mentally healthy participants underwent a fear conditioning paradigm including a fear acquisition and generalization phase while skin conductance responses (SCRs) and different subjective ratings were acquired. ACEs were retrospectively assessed through the childhood trauma questionnaire and participants were assigned to individuals exposed or unexposed to at least moderate adverse childhood experiences according to established cut-off criteria. In addition, we provide exploratory analyses aiming to shed light on different theoretical accounts on how ACEs impact individual risk profiles (i.e., cumulative risk account, specificity model, dimensional model). During fear acquisition training and generalization, we observed reduced discrimination in SCRs between the CS+ and the CS-, primarily due to reduced CS+ responding in exposed individuals. During fear generalization, no differences in generalization gradients were observed between exposed and unexposed individuals but generally blunted physiological responses in exposed individuals. No differences between the groups were observed in ratings in any of the experimental phases. The lower CS discrimination in SCRs in exposed individuals was evident across operationalizations according to the cumulative risk account, specificity as well as dimensional model. However, none of these theories showed clear explanatory superiority. Our results stand in stark contrast to typical patterns observed in patients suffering from anxiety and stress-related disorders (i.e., reduced CS discrimination due to increased responses to safety signals). Thus, reduced CS+ responding in individuals exposed to ACEs, yet not showing signs of psychopathology, may represent a specific characteristic of this resilient subgroup that warrants further investigation with respect to its relation to risk and resilience. In addition, we conclude that theories linking ACEs to psychopathology need refinement.

Abstract The functional neuropeptide S receptor 1 (NPSR1) gene A/T variant (rs324981) is associated with fear processing. We investigated the impact of NPSR1 genotype on fear processing and on symptom reduction following treatment in individuals with spider phobia. A replication approach was applied (discovery sample: Münster (MS) nMS=104; replication sample Würzburg (WZ) nWZ=81). Participants were genotyped for NPSR1 rs324981 (T-allele carriers [risk] versus AA homozygotes [no-risk]). A sustained and phasic fear paradigm was applied during functional magnetic resonance imaging. A one-session virtual reality exposure treatment (VRET) was conducted. Change of symptom severity from pre to post treatment and within session fear reduction were assessed. T-allele carriers in the discovery sample displayed lower anterior cingulate cortex (ACC) activation compared to AA homozygotes independent of condition. For sustained fear, this effect was replicated within a small cluster and medium effect size. No association with symptom reduction was found. Within-session fear reduction was negatively associated with ACC activation in T-allele carriers in the discovery sample. NPSR1 rs324981 genotype might be associated with fear processing in the ACC in spider phobia. Interpretation as potential risk-increasing function of the NPSR1 rs324981 T-allele via impaired top-down control of limbic structures remains speculative. Potential association with symptom reduction warrants further research.

Abstract Introduction Statistical effect sizes are systematically overestimated in small samples, leading to poor generalizability and replicability of findings in all areas of research. Due to the large number of variables, this is particularly problematic in neuroimaging research. While cross-validation is frequently used in multivariate machine learning approaches to assess model generalizability and replicability, the benefits for mass-univariate brain analysis are yet unclear. We investigated the impact of cross-validation on effect size estimation in univariate voxel-based brain-wide associations, using body mass index (BMI) as an exemplary predictor. Methods A total of n=3401 adults were pooled from three independent cohorts. Brain-wide associations between BMI and gray matter structure were tested using a standard linear mass-univariate voxel-based approach. First, a traditional non-cross-validated analysis was conducted to identify brain-wide effect sizes in the total sample (as an estimate of a realistic reference effect size). The impact of sample size (bootstrapped samples ranging from n=25 to n=3401) and cross-validation on effect size estimates was investigated across selected voxels with differing underlying effect sizes (including the brain-wide lowest effect size). Linear effects were estimated within training sets and then applied to unseen test set data, using 5-fold cross-validation. Resulting effect sizes (explained variance) were investigated. Results Analysis in the total sample (n=3401) without cross-validation yielded mainly negative correlations between BMI and gray matter density with a maximum effect size of R 2 p =.036 (peak voxel in the cerebellum). Effects were overestimated exponentially with decreasing sample size, with effect sizes up to R 2 p =.535 in samples of n=25 for the voxel with the brain-wide largest effect and up to R 2 p =.429 for the voxel with the brain-wide smallest effect. When applying cross-validation, linear effects estimated in small samples did not generalize to an independent test set. For the largest brain-wide effect a minimum sample size of n=100 was required to start generalizing (explained variance >0 in unseen data), while n=400 were needed for smaller effects of R 2 p =.005 to generalize. For a voxel with an underlying null effect, linear effects found in non-cross-validated samples did not generalize to test sets even with the maximum sample size of n=3401. Effect size estimates obtained with and without cross-validation approached convergence in large samples. Discussion Cross-validation is a useful method to counteract the overestimation of effect size particularly in small samples and to assess the generalizability of effects. Train and test set effect sizes converge in large samples which likely reflects a good generalizability for models in such samples. While linear effects start generalizing to unseen data in samples of n>100 for large effect sizes, the generalization of smaller effects requires larger samples (n>400). Cross-validation should be applied in voxel-based mass-univariate analysis to foster accurate effect size estimation and improve replicability of neuroimaging findings. We provide open-source python code for this purpose ( https://osf.io/cy7fp/?view_only=a10fd0ee7b914f50820b5265f65f0cdb ).

Abstract Background Childhood maltreatment has been associated with gray matter alterations, particularly within limbic and prefrontal regions. However, findings are heterogeneous, potentially due to differing methodologies and sample characteristics. Here, we investigate the cross-cohort replicability of gray matter correlates of childhood maltreatment across large clinical and non-clinical adult samples using harmonized assessment, preprocessing and analysis pipelines. Methods Three independent adult cohorts comprising a total of N=3225 individuals (healthy control [HC]: n=1898 and participants with major depressive disorder [MDD]: n=1327) underwent structural MRI and maltreatment assessment via the Childhood Trauma Questionnaire (CTQ). Associations between childhood maltreatment and voxel-based gray matter volume (GMV) were tested on a wholebrain level in two steps: 1) pooling all three cohorts together to harvest maximum statistical power (applying a voxel-wise FWE-corrected threshold of p FWE <.05) and 2) investigating the replicability of effects by assessing cross-cohort spatial overlap of significant voxels at two liberal uncorrected thresholds (p unc <.001 and p unc <.01). Twelve statistical models were tested, that varied in maltreatment operationalizations, subsamples and covariates. Results Pooling cohorts yielded no significant maltreatment-GMV associations when controlling for lifetime MDD diagnosis. Dropping MDD diagnosis as a covariate yielded significant negative effects of maltreatment within widespread clusters across temporal regions, a fusiform-lingual-parahippocampal complex, the thalamus and the orbitofrontal cortex (k=4970, p FWE <.05). Including only HC subsamples, small clusters emerged either when using the CTQ sum score (k=99, p FWE <.05, orbitofrontal) or when investigating severe forms of maltreatment in HCs (k=132, p FWE <.05, cerebellum). The largest effect size when pooling all three cohorts was partial R 2 =.022. Replicability analyses using a liberal uncorrected thresholding at p unc <.001 yielded maltreatment-GMV associations within all single cohorts and across all statistical models. However, these associations were effectively non-replicable across cohorts, which was largely consistent across statistical models. Even extending the significance threshold to a liberal threshold of p unc <.01 yielded only marginal replicability across cohorts. Conclusions Gray matter correlates of childhood maltreatment, measured with the CTQ, are non-replicable across large cohorts when adequately controlling for depression diagnosis, even when employing harmonized study protocols, lenient statistical thresholds and exploring various maltreatment operationalizations and subgroups. Previous findings may have been inflated by inadequate control for confounding diagnosis effects or due to publication bias. Our findings underscore the importance of a paradigm shift towards investigating the replicability of neuroimaging findings.