Abstract Transcranial magnetic stimulation (TMS) was applied to motor areas in the left language‐dominant hemisphere while right‐handed human subjects made lexical decisions on words related to actions. Response times to words referring to leg actions (e.g. kick ) were compared with those to words referring to movements involving the arms and hands (e.g. pick ). TMS of hand and leg areas influenced the processing of arm and leg words differentially, as documented by a significant interaction of the factors Stimulation site and Word category. Arm area TMS led to faster arm than leg word responses and the reverse effect, faster lexical decisions on leg than arm words, was present when TMS was applied to leg areas. TMS‐related differences between word categories were not seen in control conditions, when TMS was applied to hand and leg areas in the right hemisphere and during sham stimulation. Our results show that the left hemispheric cortical systems for language and action are linked to each other in a category‐specific manner and that activation in motor and premotor areas can influence the processing of specific kinds of words semantically related to arm or leg actions. By demonstrating specific functional links between action and language systems during lexical processing, these results call into question modular theories of language and motor functions and provide evidence that the two systems interact in the processing of meaningful information about language and action.

The processing of spoken language has been attributed to areas in the superior temporal lobe, where speech stimuli elicit the greatest activation. However, neurobiological and psycholinguistic models have long postulated that knowledge about the articulatory features of individual phonemes has an important role in their perception and in speech comprehension. To probe the possible involvement of specific motor circuits in the speech-perception process, we used event-related functional MRI and presented experimental subjects with spoken syllables, including [p] and [t] sounds, which are produced by movements of the lips or tongue, respectively. Physically similar nonlinguistic signal-correlated noise patterns were used as control stimuli. In localizer experiments, subjects had to silently articulate the same syllables and, in a second task, move their lips or tongue. Speech perception most strongly activated superior temporal cortex. Crucially, however, distinct motor regions in the precentral gyrus sparked by articulatory movements of the lips and tongue were also differentially activated in a somatotopic manner when subjects listened to the lip- or tongue-related phonemes. This sound-related somatotopic activation in precentral gyrus shows that, during speech perception, specific motor circuits are recruited that reflect phonetic distinctive features of the speech sounds encountered, thus providing direct neuroimaging support for specific links between the phonological mechanisms for speech perception and production.

Hemodynamic and electrophysiological studies indicate differential brain response to emotionally arousing, compared to neutral, pictures. The time course and source distribution of electrocortical potentials in response to emotional stimuli, using a high‐density electrode (129‐sensor) array were examined here. Event‐related potentials (ERPs) were recorded while participants viewed pleasant, neutral, and unpleasant pictures. ERP voltages were examined in six time intervals, roughly corresponding to P1, N1, early P3, late P3 and a slow wave window. Differential activity was found for emotional, compared to neutral, pictures at both of the P3 intervals, as well as enhancement of later posterior positivity. Source space projection was performed using a minimum norm procedure that estimates the source currents generating the extracranially measured electrical gradient. Sources of slow wave modulation were located in occipital and posterior parietal cortex, with a right‐hemispheric dominance.

EEG correlates of a range of psycholinguistic word properties were used to investigate the time course of access to psycholinguistic information during visual word recognition. Neurophysiological responses recorded in a visual lexical decision task were submitted to linear regression analysis. First, 10 psycholinguistic features of each of 300 stimulus words were submitted to a principal component analysis, which yielded four orthogonal variables likely to reflect separable processes in visual word recognition: Word length, Letter n-gram frequency, Lexical frequency and Semantic coherence of a word's morphological family. Since the lexical decision task required subjects to distinguish between words and pseudowords, the binary variable Lexicality was also investigated using a factorial design. Word–pseudoword differences in the event-related potential first appeared at 160 ms after word onset. However, regression analysis of EEG data documented a much earlier effect of both Word length and Letter n-gram frequency around 90 ms. Lexical frequency showed its earliest effect slightly later, at 110 ms, and Semantic coherence significantly correlated with neurophysiological measures around 160 ms, simultaneously with the lexicality effect. Source estimates indicated parieto-temporo-occipital generators for the factors Length, Letter n-gram frequency and Word frequency, but widespread activation with foci in left anterior temporal lobe and inferior frontal cortex related to Semantic coherence. At later stages (>200 ms), all variables exhibited simultaneous EEG correlates. These results indicate that information about surface form and meaning of a lexical item is first accessed at different times in different brain systems and then processed simultaneously, thus supporting cascaded interactive processing models.

Single words and sentences referring to bodily actions activate the motor cortex. However, this semantic grounding of concrete language does not address the critical question whether the sensory–motor system contributes to the processing of abstract meaning and thought. We examined functional magnetic resonance imaging activation to idioms and literal sentences including arm- and leg-related action words. A common left fronto-temporal network was engaged in sentence reading, with idioms yielding relatively stronger activity in (pre)frontal and middle temporal cortex. Crucially, somatotopic activation along the motor strip, in central and precentral cortex, was elicited by idiomatic and literal sentences, reflecting the body part reference of the words embedded in the sentences. Semantic somatotopy was most pronounced after sentence ending, thus reflecting sentence-level processing rather than that of single words. These results indicate that semantic representations grounded in the sensory–motor system play a role in the composition of sentence-level meaning, even in the case of idioms.

We investigated the influence of the length and frequency of printed words on the amplitude and peak latencies of event-related potentials (ERPs). This served two goals, namely (I) to clarify their possible effects as confounds in ERP experiments employing word-stimuli, and (II) to determine the point in time of lexical access in visual word recognition.EEG was recorded from 64 scalp sites while subjects (n=12) performed a lexical decision task. Word length and frequency were orthogonally varied between stimulus groups, whereas variables including regularity of spelling and orthographic tri-gram frequency were kept constant.Long words produced the strongest brain response early on (approximately 100 ms after stimulus onset), whereas those to short words became strongest later (150-360 ms). Lower ERP amplitudes were elicited by words with high frequency compared with low frequency words in the latency ranges 150-190 ms and 320-360 ms. However, we did not find evidence for a robust alteration of peak latencies with word frequency.Length and frequency of word stimuli have independent and additive effects on the amplitude of the ERP. Studies on the precise time course of cognitive processes should consider their potentially confounding character. Our data support the view that lexical access takes place as early as 150 ms after onset of written word stimuli.

The human visual system is an intricate network of brain regions that enables us to recognize the world around us. Despite its abundant lateral and feedback connections, object processing is commonly viewed and studied as a feedforward process. Here, we measure and model the rapid representational dynamics across multiple stages of the human ventral stream using time-resolved brain imaging and deep learning. We observe substantial representational transformations during the first 300 ms of processing within and across ventral-stream regions. Categorical divisions emerge in sequence, cascading forward and in reverse across regions, and Granger causality analysis suggests bidirectional information flow between regions. Finally, recurrent deep neural network models clearly outperform parameter-matched feedforward models in terms of their ability to capture the multi-region cortical dynamics. Targeted virtual cooling experiments on the recurrent deep network models further substantiate the importance of their lateral and top-down connections. These results establish that recurrent models are required to understand information processing in the human ventral stream.

Action-perception circuits containing neurons in the motor system have been proposed as the building blocks of higher cognition; accordingly, motor dysfunction should entail cognitive deficits. Autism spectrum conditions (ASC) are marked by motor impairments but the implications of such motor dysfunction for higher cognition remain unclear. We here used word reading and semantic judgment tasks to investigate action-related motor cognition and its corresponding fMRI brain activation in high-functioning adults with ASC. These participants exhibited hypoactivity of motor cortex in language processing relative to typically developing controls. Crucially, we also found a deficit in semantic processing of action-related words, which, intriguingly, significantly correlated with this underactivation of motor cortex to these items. Furthermore, the word-induced hypoactivity in the motor system also predicted the severity of ASC as expressed by the number of autistic symptoms measured by the Autism-Spectrum Quotient (Baron-Cohen etal., 2001). These significant correlations between word-induced activation of the motor system and a newly discovered semantic deficit in a condition known to be characterized by motor impairments, along with the correlation of such activation with general autistic traits, confirm critical predictions of causal theories linking cognitive and semantic deficits in ASC, in part, to dysfunctional action-perception circuits and resultant reduction of motor system activation.

Abstract Linking brain and behavior is one of the great challenges in cognitive neuroscience. Ultimately, we want to understand how the brain processes information to guide every-day behavior. However, most neuroscientific studies employ very simplistic experimental paradigms whose ecological validity is doubtful. Reading is a case in point, since most neuroscientific studies to date have used unnatural word-by-word stimulus presentation and have often focused on single word processing. Previous research has therefore actively avoided factors that are important for natural reading, such as rapid self-paced voluntary saccadic eye movements. Recent methodological developments have made it possible to deal with associated problems such as eye movement artefacts and the overlap of brain responses to successive stimuli, using a combination of eye-tracking and neuroimaging. A growing number of electroencephalography (EEG) and functional magnetic resonance imaging (fMRI) are successfully using this methodology. Here, we provide a proof-of-concept that this methodology can be applied to combined EEG and magnetoencephalography (MEG) data. Our participants naturally read 4-word sentences that could end in a plausible or implausible word while eye-tracking, EEG and MEG were being simultaneously recorded. Eye-movement artefacts were removed using independent-component analysis. Fixation-related potentials and fields for sentence-final words were subjected to minimum-norm source estimation. We detected an N400-type brain response in our EEG data starting around 200 ms after fixation of the sentence-final word. The brain sources of this effect, estimated from combined EEG and MEG data, were mostly located in left temporal lobe areas. We discuss the possible use of this method for future neuroscientific research on language and cognition.