Observing a speaker's mouth profoundly influences speech perception. For example, listeners perceive an “illusory” “ta” when the video of a face producing /ka/ is dubbed onto an audio /pa/. Here, we show how cortical areas supporting speech production mediate this illusory percept and audiovisual (AV) speech perception more generally. Specifically, cortical activity during AV speech perception occurs in many of the same areas that are active during speech production. We find that different perceptions of the same syllable and the perception of different syllables are associated with different distributions of activity in frontal motor areas involved in speech production. Activity patterns in these frontal motor areas resulting from the illusory “ta” percept are more similar to the activity patterns evoked by AV/ta/ than they are to patterns evoked by AV/pa/ or AV/ka/. In contrast to the activity in frontal motor areas, stimulus-evoked activity for the illusory “ta” in auditory and somatosensory areas and visual areas initially resembles activity evoked by AV/pa/ and AV/ka/, respectively. Ultimately, though, activity in these regions comes to resemble activity evoked by AV/ta/. Together, these results suggest that AV speech elicits in the listener a motor plan for the production of the phoneme that the speaker might have been attempting to produce, and that feedback in the form of efference copy from the motor system ultimately influences the phonetic interpretation.

Abstract Neuroimaging has advanced our understanding of human psychology using reductionist stimuli that often do not resemble information the brain naturally encounters. It has improved our understanding of the network organization of the brain mostly through analyses of ‘resting-state’ data for which the functions of networks cannot be verifiably labelled. We make a ‘ Naturalistic Neuroimaging Database ’ (NNDb v1.0) publically available to allow for a more complete understanding of the brain under more ecological conditions during which networks can be labelled. Eighty-six participants underwent behavioural testing and watched one of 10 full-length movies while functional magnetic resonance imaging was acquired. Resulting timeseries data are shown to be of high quality, with good signal-to-noise ratio, few outliers and low movement. Data-driven functional analyses provide further evidence of data quality. They also demonstrate accurate timeseries/movie alignment and how movie annotations might be used to label networks. The NNDb can be used to answer questions previously unaddressed with standard neuroimaging approaches, progressing our knowledge of how the brain works in the real world.

Abstract The ecology of human language is face-to-face interaction, comprising cues, like prosody, cospeech gestures, and mouth movements. Yet, the multimodal context is usually stripped away in experiments as dominant paradigms focus on linguistic processing only. In two studies we presented video-clips of an actress producing naturalistic passages to participants whose electroencephalographic activity was recorded. We quantified each cue and determined their effect on a well-established electroencephalographic marker of cognitive load in comprehension (N400). We found that brain responses to words were affected by informativeness of co-occurring multimodal cues, indicating that comprehension relies on linguistic and non-linguistic cues. Moreover, brain responses were affected by interactions between the multimodal cues, indicating that the impact of each cue dynamically changes based on the informativeness of other available cues. Thus, results show that multimodal cues are integral to comprehension, hence, our theories must move beyond the limited focus on speech and linguistic processing.

Abstract The role of the cerebellum in speech perception remains a mystery. Given its uniform architecture, we tested the hypothesis that it implements a domain-general mechanism whose role in speech is determined by connectivity. We collated all neuroimaging studies reporting cerebellar activity in the Neurosynth database (n = 8,206). From this set, we found all studies involving passive speech and sound perception (n = 72, 64% speech, 12.5% sounds, 12.5% music, and 11% tones) and speech production and articulation (n = 175). Standard and coactivation neuroimaging meta-analyses were used to compare cerebellar and associated cortical activations between passive perception and production. We found distinct regions of perception-and production-related activity in the cerebellum and regions of perception-production overlap. Each of these regions had distinct patterns of cortico-cerebellar connectivity. To test for domain generality versus specificity, we identified all psychological and task-related terms in the Neurosynth database that predicted activity in cerebellar regions associated with passive perception and production. Regions in the cerebellum activated by speech perception were associated with domain-general terms related to prediction. One hallmark of predictive processing is metabolic savings (i.e., decreases in neural activity when events are predicted). To test the hypothesis that the cerebellum plays a predictive role in speech perception, we examined cortical activation between studies reporting cerebellar activation and those without cerebellar activation during speech perception. When the cerebellum was active during speech perception there was far less cortical activation than when it was inactive. The results suggest that the cerebellum implements a domain-general mechanism related to prediction during speech perception.

Abstract There is a widespread assumption that there are a static set of ‘language regions’ in the brain. Yet, people still regularly produce familiar ‘formulaic’ expressions when those regions are severely damaged. This suggests that the neurobiology of language varies with the extent of word sequence learning and might not be fixed. We test the hypothesis that perceiving sentences is mostly supported by sensorimotor regions involved in speech production and not ‘language regions’ after overlearning. Twelve participants underwent two sessions of behavioural testing and functional magnetic resonance imaging (fMRI), separated by 15 days. During this period, they repeated two sentences 30 times each, twice a day. In both fMRI sessions, participants ‘passively’ listened to those two sentences and novel sentences. Lastly, they spoke novel sentences. Behavioural results confirm that participants overlearned sentences. Correspondingly, there was an increase or recruitment of sensorimotor regions involved in sentence production and a reduction in activity or inactivity for overlearned sentences in regions involved in listening to novel sentences. The global network organization of the brain changed by ∼45%, mostly through lost connectivity. Thus, there was a profound reorganization of the neurobiology of speech perception after overlearning towards sensorimotor regions not considered in most contemporary models and away from the ‘language regions’ posited by those models. These same sensorimotor regions are generally preserved in aphasia and Alzheimer’s disease, perhaps explaining residual abilities with formulaic language. These and other results warrant reconsidering static neurobiological models of language.

Abstract Movie-watching is a central aspect of our lives and an important paradigm for understanding the brain mechanisms behind cognition as it occurs in daily life. Contemporary views of ongoing thought argue that the ability to make sense of events in the ‘here and now’ depend on the neural processing of incoming sensory information by auditory and visual cortex, which are kept in check by systems in association cortex. However, we currently lack an understanding of how patterns of ongoing thoughts map onto the different brain systems when we watch a film, partly because methods of sampling experience disrupt the dynamics of brain activity and the experience of movie-watching. Our study established a novel method for mapping thought patterns onto the brain activity that occurs at different moments of a film, which does not disrupt the time course of brain activity or the movie-watching experience. We found moments when experience sampling highlighted engagement with multi-sensory features of the film or highlighted thoughts with episodic features, regions of sensory cortex were more active and subsequent memory for events in the movie was better—on the other hand, periods of intrusive distraction emerged when activity in regions of association cortex within the frontoparietal system was reduced. These results highlight the critical role sensory systems play in the multi-modal experience of movie-watching and provide evidence for the role of association cortex in reducing distraction when we watch films. Significance statement States like movie-watching provide a window into the brain mechanisms behind cognition in daily life. However, we know relatively little about the mapping between brain activity during movies and associated thought patterns because of difficulties in measuring cognition without disrupting how brain activity naturally unfolds. We establish a novel method to link different experiential states to brain activity during movie-watching with minimal interruptions to viewers or disruptions to brain dynamics. We found states of sensory engagement occur in moments of films when activity in visual and auditory cortex are high. In contrast, states of distraction are reduced when activity in frontoparietal regions is high. Our study, therefore, establishes both sensory and association cortex as core features of the movie-watching experience.

Language is acquired and processed in complex and dynamic naturalistic contexts, involving the simultaneous processing of connected speech, faces, bodies, objects, etc. How words and their associated concepts are encoded in the brain during real-world processing is still unknown. Here, the representational structure of concrete and abstract concepts was investigated during movie watching to address the extent to which brain responses dynamically change depending on visual context. First, across contexts, concrete and abstract concepts are shown to encode different experience-based information in separable sets of brain regions. However, these differences are reduced when multimodal context is considered. Specifically, the response profile of abstract words becomes more concrete-like when these are processed in visual scenes highly related to their meaning. Conversely, when the visual context is unrelated to a given concrete word, the activation pattern resembles more that of abstract conceptual processing. These results suggest that while concepts generally encode habitual experiences, the underlying neurobiological organisation is not fixed but depends dynamically on available contextual information.

Movie-watching is a central aspect of our lives and an important paradigm for understanding the brain mechanisms behind cognition as it occurs in daily life. Contemporary views of ongoing thought argue that the ability to make sense of events in the ‘here and now’ depend on the neural processing of incoming sensory information by auditory and visual cortex, which are kept in check by systems in association cortex. However, we currently lack an understanding of how patterns of ongoing thoughts map onto the different brain systems when we watch a film, partly because methods of sampling experience disrupt the dynamics of brain activity and the experience of movie-watching. Our study established a novel method for mapping thought patterns onto the brain activity that occurs at different moments of a film, which does not disrupt the time course of brain activity or the movie-watching experience. We found moments when experience sampling highlighted engagement with multi-sensory features of the film or highlighted thoughts with episodic features, regions of sensory cortex were more active and subsequent memory for events in the movie was better—on the other hand, periods of intrusive distraction emerged when activity in regions of association cortex within the frontoparietal system was reduced. These results highlight the critical role sensory systems play in the multi-modal experience of movie-watching and provide evidence for the role of association cortex in reducing distraction when we watch films.

Models of the neurobiology of language suggest that a small number of anatomically fixed brain regions are responsible for language functioning. This observation derives from centuries of examining brain injury causing aphasia and is supported by decades of neuroimaging studies. The latter rely on thresholded measures of central tendency applied to activity patterns resulting from heterogeneous stimuli. We hypothesised that these methods obscure the whole brain distribution of regions supporting language. Specifically, cortical 9language regions9 and the corresponding 9language network9 consist of input regions and connectivity hubs. The latter primarily coordinate peripheral regions whose activity is variable, making them likely to be averaged out following thresholding. We tested these hypotheses in two studies using neuroimaging meta-analyses and functional magnetic resonance imaging during film watching. Both converged to suggest that averaging over heterogeneous words is localised to regions historically associated with language but distributed throughout most of the brain when not averaging over the sensorimotor properties of those words. The localised word regions are composed of highly central hubs. The film data shows that these hubs are not fixed. Rather, they are spatiotemporally dynamic, making connections with 44% of peripheral sensorimotor regions at any moment, and only appear in the aggregate over time. Results suggest that 9language regions9 are an artefact of indiscriminately averaging across heterogeneous language representations and linguistic processes. Rather, these regions are mostly dynamic connectivity hubs coordinating whole-brain distributions of networks for processing the complexities of real-world language use, explaining why damage to them results in aphasia.