A widely used technique for coordinate-based meta-analysis of neuroimaging data is activation likelihood estimation (ALE), which determines the convergence of foci reported from different experiments. ALE analysis involves modelling these foci as probability distributions whose width is based on empirical estimates of the spatial uncertainty due to the between-subject and between-template variability of neuroimaging data. ALE results are assessed against a null-distribution of random spatial association between experiments, resulting in random-effects inference. In the present revision of this algorithm, we address two remaining drawbacks of the previous algorithm. First, the assessment of spatial association between experiments was based on a highly time-consuming permutation test, which nevertheless entailed the danger of underestimating the right tail of the null-distribution. In this report, we outline how this previous approach may be replaced by a faster and more precise analytical method. Second, the previously applied correction procedure, i.e. controlling the false discovery rate (FDR), is supplemented by new approaches for correcting the family-wise error rate and the cluster-level significance. The different alternatives for drawing inference on meta-analytic results are evaluated on an exemplary dataset on face perception as well as discussed with respect to their methodological limitations and advantages. In summary, we thus replaced the previous permutation algorithm with a faster and more rigorous analytical solution for the null-distribution and comprehensively address the issue of multiple-comparison corrections. The proposed revision of the ALE-algorithm should provide an improved tool for conducting coordinate-based meta-analyses on functional imaging data.

Statistics draws population inferences from a sample, and machine learning finds generalizable predictive patterns.

Given the increasing number of neuroimaging publications, the automated knowledge extraction on brain-behavior associations by quantitative meta-analyses has become a highly important and rapidly growing field of research. Among several methods to perform coordinate-based neuroimaging meta-analyses, Activation Likelihood Estimation (ALE) has been widely adopted. In this paper, we addressed two pressing questions related to ALE meta-analysis: i) Which thresholding method is most appropriate to perform statistical inference? ii) Which sample size, i.e., number of experiments, is needed to perform robust meta-analyses? We provided quantitative answers to these questions by simulating more than 120,000 meta-analysis datasets using empirical parameters (i.e., number of subjects, number of reported foci, distribution of activation foci) derived from the BrainMap database. This allowed to characterize the behavior of ALE analyses, to derive first power estimates for neuroimaging meta-analyses, and to thus formulate recommendations for future ALE studies. We could show as a first consequence that cluster-level family-wise error (FWE) correction represents the most appropriate method for statistical inference, while voxel-level FWE correction is valid but more conservative. In contrast, uncorrected inference and false-discovery rate correction should be avoided. As a second consequence, researchers should aim to include at least 20 experiments into an ALE meta-analysis to achieve sufficient power for moderate effects. We would like to note, though, that these calculations and recommendations are specific to ALE and may not be extrapolated to other approaches for (neuroimaging) meta-analysis.

The organization of the cerebral cortex into distinct modules may be described along several dimensions, most importantly, structure, connectivity and function. Identification of cortical modules by differences in whole-brain connectivity profiles derived from diffusion tensor imaging or resting state correlations has already been shown. These approaches, however, carry no task-related information. Hence, inference on the functional relevance of the ensuing parcellation remains tentative. Here, we demonstrate, that Meta-Analytic Connectivity Modeling (MACM) allows the delineation of cortical modules based on their whole-brain co-activation pattern across databased neuroimaging results. Using a model free approach, two regions of the medial pre-motor cortex, SMA and pre-SMA were differentiated solely based on their functional connectivity. Assessing the behavioral domain and paradigm class meta-data of the experiments associated with the clusters derived from the co-activation based parcellation moreover allows the identification of their functional characteristics. The ensuing hypotheses about functional differentiation and distinct functional connectivity between pre-SMA and SMA were then explicitly tested and confirmed in independent datasets using functional and resting state fMRI. Co-activation based parcellation thus provides a new perspective for identifying modules of functional connectivity and linking them to functional properties, hereby generating new and subsequently testable hypotheses about the organization of cortical modules.

Abstract The brain is constituted of multiple networks of functionally correlated brain areas, out of which the default-mode network (DMN) is the largest. Most existing research into the DMN has taken a corticocentric approach. Despite its resemblance with the unitary model of the limbic system, the contribution of subcortical structures to the DMN may be underappreciated. Here, we propose a more comprehensive neuroanatomical model of the DMN including subcortical structures such as the basal forebrain, cholinergic nuclei, anterior and mediodorsal thalamic nuclei. Additionally, tractography of diffusion-weighted imaging was employed to explore the structural connectivity, which revealed that the thalamus and basal forebrain are of central importance for the functioning of the DMN. The contribution of these neurochemically diverse brain nuclei reconciles previous neuroimaging with neuropathological findings in diseased brains and offers the potential for identifying a conserved homologue of the DMN in other mammalian species.

The right temporo-parietal junction (RTPJ) is consistently implicated in two cognitive domains, attention and social cognitions. We conducted multi-modal connectivity-based parcellation to investigate potentially separate functional modules within RTPJ implementing this cognitive dualism. Both task-constrained meta-analytic coactivation mapping and task-free resting-state connectivity analysis independently identified two distinct clusters within RTPJ, subsequently characterized by network mapping and functional forward/reverse inference. Coactivation mapping and resting-state correlations revealed that the anterior cluster increased neural activity concomitantly with a midcingulate–motor–insular network, functionally associated with attention, and decreased neural activity concomitantly with a parietal network, functionally associated with social cognition and memory retrieval. The posterior cluster showed the exact opposite association pattern. Our data thus suggest that RTPJ links two antagonistic brain networks processing external versus internal information.

Supervised learning algorithms extract general principles from observed examples guided by a specific prediction objective.

There is significant interest in the development and application of deep neural networks (DNNs) to neuroimaging data. A growing literature suggests that DNNs outperform their classical counterparts in a variety of neuroimaging applications, yet there are few direct comparisons of relative utility. Here, we compared the performance of three DNN architectures and a classical machine learning algorithm (kernel regression) in predicting individual phenotypes from whole-brain resting-state functional connectivity (RSFC) patterns. One of the DNNs was a generic fully-connected feedforward neural network, while the other two DNNs were recently published approaches specifically designed to exploit the structure of connectome data. By using a combined sample of almost 10,000 participants from the Human Connectome Project (HCP) and UK Biobank, we showed that the three DNNs and kernel regression achieved similar performance across a wide range of behavioral and demographic measures. Furthermore, the generic feedforward neural network exhibited similar performance to the two state-of-the-art connectome-specific DNNs. When predicting fluid intelligence in the UK Biobank, performance of all algorithms dramatically improved when sample size increased from 100 to 1000 subjects. Improvement was smaller, but still significant, when sample size increased from 1000 to 5000 subjects. Importantly, kernel regression was competitive across all sample sizes. Overall, our study suggests that kernel regression is as effective as DNNs for RSFC-based behavioral prediction, while incurring significantly lower computational costs. Therefore, kernel regression might serve as a useful baseline algorithm for future studies.

Abstract In recent years, deep learning has unlocked unprecedented success in various domains, especially in image, text, and speech processing. These breakthroughs may hold promise for neuroscience and especially for brain-imaging investigators who start to analyze thousands of participants. However, deep learning is only beneficial if the data have nonlinear relationships and if they are exploitable at currently available sample sizes. We systematically profiled the performance of deep models, kernel models, and linear models as a function of sample size on UK Biobank brain images against established machine learning references. On MNIST and Zalando Fashion, prediction accuracy consistently improved when escalating from linear models to shallow-nonlinear models, and further improved when switching to deep-nonlinear models. The more observations were available for model training, the greater the performance gain we saw. In contrast, using structural or functional brain scans, simple linear models performed on par with more complex, highly parameterized models in age/sex prediction across increasing sample sizes. In fact, linear models kept improving as the sample size approached ∼10,000 participants. Our results indicate that the increase in performance of linear models with additional data does not saturate at the limit of current feasibility. Yet, nonlinearities of common brain scans remain largely inaccessible to both kernel and deep learning methods at any examined scale.

Abstract Machine learning studies have shown that various phenotypes can be predicted from structural and functional brain images. However, in most such studies, prediction performance ranged from moderate to disappointing. It is unclear whether prediction performance will substantially improve with larger sample sizes or whether insufficient predictive information in brain images impedes further progress. Here, we systematically assess the effect of sample size on prediction performance using sample sizes far beyond what is possible in common neuroimaging studies. We project 3-9 fold improvements in prediction performance for behavioral and mental health phenotypes when moving from one thousand to one million samples. Moreover, we find that moving from single imaging modalities to multimodal input data can lead to further improvements in prediction performance, often on par with doubling the sample size. Our analyses reveal considerable performance reserves for neuroimaging-based phenotype prediction. Machine learning models may benefit much more from extremely large neuroimaging datasets than currently believed.