In recent years, numerous electrophysiological signatures of consciousness have been proposed. Here, we perform a systematic analysis of these electroencephalography markers by quantifying their efficiency in differentiating patients in a vegetative state from those in a minimally conscious or conscious state. Capitalizing on a review of previous experiments and current theories, we identify a series of measures that can be organized into four dimensions: (i) event-related potentials versus ongoing electroencephalography activity; (ii) local dynamics versus inter-electrode information exchange; (iii) spectral patterns versus information complexity; and (iv) average versus fluctuations over the recording session. We analysed a large set of 181 high-density electroencephalography recordings acquired in a 30 minutes protocol. We show that low-frequency power, electroencephalography complexity, and information exchange constitute the most reliable signatures of the conscious state. When combined, these measures synergize to allow an automatic classification of patients’ state of consciousness.

Brain activation in response to spoken motor commands can be detected by electroencephalography (EEG) in clinically unresponsive patients. The prevalence and prognostic importance of a dissociation between commanded motor behavior and brain activation in the first few days after brain injury are not well understood.

Neuronal theories of conscious access tentatively relate conscious perception to the integration and global broadcasting of information across distant cortical and thalamic areas. Experiments contrasting visible and invisible stimuli support this view and suggest that global neuronal communication may be detectable using scalp electroencephalography (EEG). However, whether global information sharing across brain areas also provides a specific signature of conscious state in awake but noncommunicating patients remains an active topic of research. We designed a novel measure termed "weighted symbolic mutual information" (wSMI) and applied it to 181 high-density EEG recordings of awake patients recovering from coma and diagnosed in various states of consciousness. The results demonstrate that this measure of information sharing systematically increases with consciousness state, particularly across distant sites. This effect sharply distinguishes patients in vegetative state (VS), minimally conscious state (MCS), and conscious state (CS) and is observed regardless of etiology and delay since insult. The present findings support distributed theories of conscious processing and open up the possibility of an automatic detection of conscious states, which may be particularly important for the diagnosis of awake but noncommunicating patients.

Deep Learning has recently led to major advances in natural language processing. Do these models process sentences similarly to humans, and is this similarity driven by specific principles? Using a variety of artificial neural networks, trained on image classification, word embedding, or language modeling, we evaluate whether their architectural and functional properties lead them to generate activations linearly comparable to those of 102 human brains measured with functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG). We show that image, word and contextualized word embeddings separate the hierarchical levels of language processing in the brain. Critically, we compare \NNetworks{} embeddings in their ability to linearly map onto these brain responses. The results show that (1) the position of the layer in the network and (2) the ability of the network to accurately predict words from context are the main factors responsible for the emergence of brain-like representations in artificial neural networks. Together, these results show how perceptual, lexical and compositional representations precisely unfold within each cortical region and contribute to uncovering the governing principles of language processing in brains and algorithms.

Language transformers, like GPT-2, have demonstrated remarkable abilities to process text, and now constitute the backbone of deep translation, summarization and dialogue algorithms. However, whether these models encode information that relates to human comprehension remains controversial. Here, we show that the representations of GPT-2 not only map onto the brain responses to spoken stories, but also predict the extent to which subjects understand narratives. To this end, we analyze 101 subjects recorded with functional Magnetic Resonance Imaging while listening to 70 min of short stories. We then fit a linear model to predict brain activity from GPT-2’s activations, and correlate this mapping with subjects’ comprehension scores as assessed for each story. The results show that GPT-2’s brain predictions significantly correlate with semantic comprehension. These effects are bilaterally distributed in the language network and peak with a correlation of R=0.50 in the angular gyrus. Overall, this study paves the way to model narrative comprehension in the brain through the lens of modern language algorithms.

Abstract The ability to process and respond to external input is critical for adaptive behavior. Why, then, do neural and behavioral responses vary across repeated presentations of the same sensory input? Spontaneous fluctuations of neuronal excitability are currently hypothesized to underlie the trial-by-trial variability in sensory processing. To test this, we capitalized on invasive electrophysiology in neurosurgical patients performing an auditory discrimination task with visual cues: specifically, we examined the interaction between prestimulus alpha oscillations, excitability, task performance, and decoded neural stimulus representations. We found that strong prestimulus oscillations in the alpha+ band (i.e., alpha and neighboring frequencies), rather than the aperiodic signal, correlated with a low excitability state, indexed by reduced broadband high-frequency activity. This state was related to slower reaction times and reduced neural stimulus encoding strength. We propose that the alpha+ rhythm modulates excitability, thereby resulting in variability in behavior and sensory representations despite identical input.

Abstract Speech consists of a continuously-varying acoustic signal. Yet human listeners experience it as a sequence of discrete units (phonemes and words). To identify how the brain continuously represents and updates speech units, we recorded two-hour magnetoencephalograms from 21 subjects listening to short narratives. Our encoding and decoding analyses show that the human brain uses a dynamic coding scheme to represent approximately three successive phonetic features at each time sample. These dynamic phonetic representations, not directly accessible from the acoustic signal, are active earlier when phonemes are more predictable, and are sustained when lexical identity is uncertain. The results reveal how phoneme sequences in natural speech are neurally represented and shed new light on how the human brain combines them to probe the mental lexicon. One sentence summary The human brain keeps track of the relative order of speech sound sequences by jointly encoding content and elapsed processing time

Abstract Combinatoric linguistic operations underpin human language processes, but how meaning is composed and refined in the mind of the reader is not well understood. We address this puzzle by exploiting the ubiquitous function of negation. We track the online effects of negation (“not”) and intensifiers (“really”) on the representation of scalar adjectives (e.g., “good”) in parametrically designed behavioral and neurophysiological (MEG) experiments. The behavioral data show that participants first interpret negated adjectives as affirmative and later modify their interpretation towards, but never exactly as, the opposite meaning. Decoding analyses of neural activity further reveal significant above chance decoding accuracy for negated adjectives within 600 ms from adjective onset, suggesting that negation does not invert the representation of adjectives (i.e., “not bad” represented as “good”); furthermore, decoding accuracy for negated adjectives is found to be significantly lower than that for affirmative adjectives. Overall, these results suggest that negation mitigates rather than inverts the neural representations of adjectives. This putative suppression mechanism of negation is supported by increased synchronization of beta-band neural activity in sensorimotor areas. The analysis of negation provides a steppingstone to understand how the human brain represents changes of meaning over time.

Abstract Speech is often structurally and semantically ambiguous. Here we study how the human brain uses sentence context to resolve lexical ambiguity. Twenty-one participants listened to spoken narratives while magneto-encephalography (MEG) was recorded. Stories were annotated for grammatical word class (noun, verb, adjective) under two hypothesised sources of information: ‘bottom-up’: the most common word class given the word’s phonology; ‘top-down’: the correct word class given the context. We trained a classifier on trials where the hypotheses matched (about 90%) and tested the classifier on trials where they mismatched. The classifier predicted top-down word class labels, and anti-correlated with bottom-up labels. Effects peaked ∼100ms after word onset over mid-frontal MEG sensors. Phonetic information was encoded in parallel, though peaking later (∼200ms). Our results support that during continuous speech processing, lexical representations are quickly built in a context-sensitive manner. We showcase multivariate analyses for teasing apart subtle representational distinctions from neural time series.

Abstract A sentence is more than the sum of its words: its meaning depends on how they combine with one another. The brain mechanisms underlying such semantic composition remain poorly understood. To shed light on the neural vector code underlying semantic composition, we introduce two hypotheses: First, the intrinsic dimensionality of the space of neural representations should increase as a sentence unfolds, paralleling the growing complexity of its semantic representation, and second, this progressive integration should be reflected in ramping and sentence-final signals. To test these predictions, we designed a dataset of closely matched normal and Jabberwocky sentences (composed of meaningless pseudo words) and displayed them to deep language models and to 11 human participants (5 men and 6 women) monitored with simultaneous magneto-encephalography and intracranial electro-encephalography. In both deep language models and electrophysiological data, we found that representational dimensionality was higher for meaningful sentences than Jabberwocky. Furthermore, multivariate decoding of normal versus Jabberwocky confirmed three dynamic patterns: (i) a phasic pattern following each word, peaking in temporal and parietal areas, (ii) a ramping pattern, characteristic of bilateral inferior and middle frontal gyri, and (iii) a sentence-final pattern in left superior frontal gyrus and right orbitofrontal cortex. These results provide a first glimpse into the neural geometry of semantic integration and constrain the search for a neural code of linguistic composition. Significance statement Starting from general linguistic concepts, we make two sets of predictions in neural signals evoked by reading multi-word sentences. First, the intrinsic dimensionality of the representation should grow with additional meaningful words. Second, the neural dynamics should exhibit signatures of encoding, maintaining, and resolving semantic composition. We successfully validated these hypotheses in deep Neural Language Models, artificial neural networks trained on text and performing very well on many Natural Language Processing tasks. Then, using a unique combination of magnetoencephalography and intracranial electrodes, we recorded high-resolution brain data from human participants while they read a controlled set of sentences. Time-resolved dimensionality analysis showed increasing dimensionality with meaning, and multivariate decoding allowed us to isolate the three dynamical patterns we had hypothesized.