Significance Language is a quintessentially human ability. Research has long probed the functional architecture of language in the mind and brain using diverse neuroimaging, behavioral, and computational modeling approaches. However, adequate neurally-mechanistic accounts of how meaning might be extracted from language are sorely lacking. Here, we report a first step toward addressing this gap by connecting recent artificial neural networks from machine learning to human recordings during language processing. We find that the most powerful models predict neural and behavioral responses across different datasets up to noise levels. Models that perform better at predicting the next word in a sequence also better predict brain measurements—providing computationally explicit evidence that predictive processing fundamentally shapes the language comprehension mechanisms in the brain.

Abstract The neuroscience of perception has recently been revolutionized with an integrative modeling approach in which computation, brain function, and behavior are linked across many datasets and many computational models. By revealing trends across models, this approach yields novel insights into cognitive and neural mechanisms in the target domain. We here present a first systematic study taking this approach to higher-level cognition: human language processing, our species’ signature cognitive skill. We find that the most powerful ‘transformer’ models predict nearly 100% of explainable variance in neural responses to sentences and generalize across different datasets and imaging modalities (fMRI, ECoG). Models’ neural fits (‘brain score’) and fits to behavioral responses are both strongly correlated with model accuracy on the next-word prediction task (but not other language tasks). Model architecture appears to substantially contribute to neural fit. These results provide computationally explicit evidence that predictive processing fundamentally shapes the language comprehension mechanisms in the human brain. Significance Language is a quintessentially human ability. Research has long probed the functional architecture of language processing in the mind and brain using diverse brain imaging, behavioral, and computational modeling approaches. However, adequate neurally mechanistic accounts of how meaning might be extracted from language are sorely lacking. Here, we report an important first step toward addressing this gap by connecting recent artificial neural networks from machine learning to human recordings during language processing. We find that the most powerful models predict neural and behavioral responses across different datasets up to noise levels. Models that perform better at predicting the next word in a sequence also better predict brain measurements – providing computationally explicit evidence that predictive processing fundamentally shapes the language comprehension mechanisms in the human brain.

Abstract Two analytic traditions characterize fMRI language research. One relies on averaging activations voxel-wise across individuals. This approach has limitations: because of inter-individual variability in the locations of language areas, a location in a common brain space cannot be meaningfully linked to function. An alternative approach relies on identifying language areas in each individual using a functional ‘localizer’. Because of its greater sensitivity, functional resolution, and interpretability, functional localization is gaining popularity, but it is not always feasible, and cannot be applied retroactively to past studies. We provide a solution for bridging these currently disjoint approaches in the form of a probabilistic functional atlas created from fMRI data for an extensively validated language localizer in 806 individuals. This atlas enables estimating the probability that any given location in a common brain space belongs to the language network, and thus can help interpret group-level peaks and meta-analyses of such peaks, and lesion locations in patient investigations. More meaningful comparisons of findings across studies should increase robustness and replicability in language research.

Abstract Language relies on a left-lateralized fronto-temporal brain network. How this network emerges ontogenetically remains debated. We asked whether frontal language areas emerge in the absence of temporal language areas through a ‘deep-data’ investigation of an individual (EG) born without her left temporal lobe. Using fMRI methods that have been validated to elicit reliable individual-level responses, we find that—as expected for early left hemisphere damage—EG has a fully functional language network in her right hemisphere (comparable to that in n=145 controls) and performs normally on language assessments. However, we detect no response to language in EG’s left frontal lobe (replicated across two sessions, 3 years apart). Another network—the multiple demand network—is robustly present in frontal lobes bilaterally, suggesting that EG’s left frontal cortex can support non-linguistic cognition. The existence of temporal language areas therefore appears to be a prerequisite for the emergence of the frontal language areas.

Abstract Models that predict brain responses to stimuli provide one measure of understanding of a sensory system, and have many potential applications in science and engineering. Deep artificial neural networks have emerged as the leading such predictive models of the visual system, but are less explored in audition. Prior work provided examples of audio-trained neural networks that produced good predictions of auditory cortical fMRI responses and exhibited correspondence between model stages and brain regions, but left it unclear whether these results generalize to other neural network models, and thus how to further improve models in this domain. We evaluated model-brain correspondence for publicly available audio neural network models along with in-house models trained on four different tasks. Most tested models out-predicted previous filter-bank models of auditory cortex, and exhibited systematic model-brain correspondence: middle stages best predicted primary auditory cortex while deep stages best predicted non-primary cortex. However, some state-of-the-art models produced substantially worse brain predictions. Models trained to recognize speech in background noise produced better brain predictions than models trained to recognize speech in quiet, potentially because hearing in noise imposes constraints on biological auditory representations. The training task influenced the prediction quality for specific cortical tuning properties, with best overall predictions resulting from models trained on multiple tasks. The results generally support the promise of deep neural networks as models of audition, though they also indicate that current models do not explain auditory cortical responses in their entirety.

Measurements of neural responses to identically repeated experimental events often exhibit large amounts of variability. This noise is distinct from signal, operationally defined as the average expected response across repeated trials for each given event. Accurately distinguishing signal from noise is important, as each is a target that is worthy of study (many believe noise reflects important aspects of brain function) and it is important not to confuse one for the other. Here, we introduce a principled modeling approach in which response measurements are explicitly modeled as the sum of samples from multivariate signal and noise distributions. In our proposed method termed Generative Modeling of Signal and Noise (GSN)- the signal distribution is estimated by subtracting the estimated noise distribution from the estimated data distribution. We validate GSN using ground-truth simulations and demonstrate the application of GSN to empirical fMRI data. In doing so, we illustrate a simple consequence of GSN: by disentangling signal and noise components in neural responses, GSN denoises principal components analysis and improves estimates of dimensionality. We end by discussing other situations that may benefit from GSN's characterization of signal and noise, such as estimation of noise ceilings for computational models of neural activity. A code toolbox for GSN is provided with both MATLAB and Python implementations.

Abstract The field of human cognitive neuroscience is increasingly acknowledging inter-individual differences in the precise locations of functional areas and the corresponding need for individual-level analyses in fMRI studies. One approach to identifying functional areas and networks within individual brains is based on robust and extensively validated ‘localizer’ paradigms—contrasts of conditions that aim to isolate some mental process of interest. Here, we present a new version of a localizer for the fronto-temporal language-selective network. This localizer is similar to a commonly-used localizer based on the reading of sentences and nonword sequences (Fedorenko et al., 2010) but uses speeded presentation (200ms per word/nonword). Based on a direct comparison between the standard version (450ms per word/nonword) and the speeded versions of the language localizer in 24 participants, we show that a single run of the speeded localizer (3.5 min) is highly effective at identifying the language-selective areas: indeed, it is more effective than the standard localizer given that it leads to an increased response to the critical (sentence) condition and a decreased response to the control (nonwords) condition. This localizer may therefore become the version of choice for identifying the language network in neurotypical adults or special populations (as long as they are proficient readers), especially when time is of essence.

In this issue of Neuron, Zada et al.

There is significant current interest in decoding mental states from electro-encephalography (EEG) recordings. EEG signals are subject-specific, sensitive to disturbances, and have a low signal-to-noise ratio, which has been mitigated by the use of laboratory-grade EEG acquisition equipment under highly controlled conditions. In the present study, we investigate single-trial decoding of natural, complex stimuli based on scalp EEG acquired with a portable, 32 dry-electrode sensor system in a typical office setting. We probe generalizability by a leave-one-subject-out cross-validation approach. We demonstrate that Support Vector Machine (SVM) classifiers trained on a relatively small set of de-noised (averaged) pseudo-trials perform on par with classifiers trained on a large set of noisy single-trial samples. For visualization of EEG signatures exploited by SVM classifiers, we propose a novel method for computing sensitivity maps of EEG-based SVM classifiers. Moreover, we apply the NPAIRS resampling framework for estimation of map uncertainty and show that effect sizes of sensitivity maps for classifiers trained on small samples of de-noised data and large samples of noisy data are similar. Finally, we demonstrate that the average pseudo-trial classifier can successfully predict the class of single trials from withheld subjects, which allows for fast classifier training, parameter optimization and unbiased performance evaluation in machine learning approaches for brain decoding.

Selective serotonin reuptake inhibitors (SSRI) are widely used antidepressants and their effect is partly mediated by restoring stress axis dynamics, which may depend on sex and hormonal states. In the present study, we investigate the effect of daily injections of the SSRI paroxetine (5 mg/kg s.c.) on swim stress-induced corticosterone (CORT) response, depressive-like behavior (forced swim test) and anxiety-like behavior (open field test) in nulliparous Sprague Dawley rats. Data were acquired after either 1-3 (acute PXT) or 11-13 (chronic PXT) injections. We found that chronic, but not acute, paroxetine blunted the swim stress-induced CORT response. We observed an increase in depressive-like and anxiety-like behavior following acute PXT, and a normalization after chronic PXT treatment. Intriguingly, our findings of rapid recovery from adverse SSRI effects differ from corresponding studies performed by our group in postpartum rats. Thus, the study emphasizes that mechanisms of action and efficacy of SSRIs differ according to reproductive states, which if translated to humans may inform treatment strategies, beyond SSRIs alone, for hormone transition related depressive states.