Abstract Departing from traditional linguistic models, advances in deep learning have resulted in a new type of predictive (autoregressive) deep language models (DLMs). Using a self-supervised next-word prediction task, these models are trained to generate appropriate linguistic responses in a given context. We provide empirical evidence that the human brain and autoregressive DLMs share three fundamental computational principles as they process natural language: 1) both are engaged in continuous next-word prediction before word-onset; 2) both match their pre-onset predictions to the incoming word to calculate post-onset surprise (i.e., prediction error signals); 3) both represent words as a function of the previous context. In support of these three principles, our findings indicate that: a) the neural activity before word-onset contains context-dependent predictive information about forthcoming words, even hundreds of milliseconds before the words are perceived; b) the neural activity after word-onset reflects the surprise level and prediction error; and c) autoregressive DLM contextual embeddings capture the neural representation of context-specific word meaning better than arbitrary or static semantic embeddings. Together, our findings suggest that autoregressive DLMs provide a novel and biologically feasible computational framework for studying the neural basis of language.

Abstract Understanding how consciousness arises from neural activity remains one of the biggest challenges for neuroscience. Numerous theories have been proposed in recent years, each gaining independent empirical support. Currently, there is no comprehensive, quantitative and theory-neutral overview of the field that enables an evaluation of how theoretical frameworks interact with empirical research. We provide a bird’s eye view on studies that interpreted their findings in light of at least one of four leading neuroscientific theories of consciousness (N=412 experiments), asking how methodological choices of the researchers might affect the final conclusions. We found that supporting a specific theory can be predicted solely from methodological choices, irrespective of findings. Furthermore, most studies interpret their findings post-hoc, rather than a-priori testing critical predictions of the theories. Our results highlight challenges for the field and provide researchers with a unique, open-access website to further analyze trends in the neuroscience of consciousness.

Abstract Statistical learning (SL) allows individuals to rapidly detect regularities in the sensory environment. We replicated previous findings showing that adult participants become sensitive to the implicit structure in a continuous speech stream of repeating tri-syllabic pseudowords within minutes, as measured by standard tests in the SL literature: a target detection task and a 2AFC word recognition task. Consistent with previous findings, we found only a weak correlation between these two measures of learning, leading us to question whether there is overlap between the information captured by these two tasks. Representational similarity analysis on reaction times measured during the target detection task revealed that reaction time data reflect sensitivity to transitional probability, triplet position, word grouping, and duplet pairings of syllables. However, individual performance on the word recognition task was not predicted by similarity measures derived for any of these four features. We conclude that online detection tasks provide richer and multi-faceted information about the SL process, as compared with 2AFC recognition tasks, and may be preferable for gaining insight into the dynamic aspects of SL.

Abstract Since speech is a continuous stream with no systematic boundaries between words, how do pre-verbal infants manage to discover words? A proposed solution is that they might use the transitional probability between adjacent syllables, which drops at word boundaries. Here, we tested the limits of this mechanism by increasing the size of the word-unit to 4 syllables, and its automaticity by testing asleep neonates. Using markers of statistical learning in neonates’ EEG, compared to adult’ behavioral performances in the same task, we confirmed that statistical learning is automatic enough to be efficient even in sleeping neonates. But we also revealed that: 1) Successfully tracking transition probabilities in a sequence is not sufficient to segment it 2) Prosodic cues, as subtle as subliminal pauses, enable to recover segmenting capacities 3) Adults’ and neonates’ capacities are remarkably similar despite the difference of maturation and expertise. Finally, we observed that learning increased the similarity of neural responses across infants, providing a new neural marker to monitor learning. Thus, from birth, infants are equipped with adult-like tools, allowing to extract small coherent word-like units within auditory streams, based on the combination of statistical analyses and prosodic cues.

Abstract Recent studies have shown that stimulus history can be decoded via the use of broadband sensory impulses to reactivate mnemonic representations. It has also been shown that predictive mechanisms in the auditory system demonstrate similar tonotopic organization of neural activity as that elicited by the perceived stimuli. However, it remains unclear if the mnemonic and predictive information can be decoded from cortical activity simultaneously and from overlapping neural populations. Here, we recorded neural activity using electrocorticography (ECoG) in the auditory cortex of anesthetized rats while exposed to repeated stimulus sequences, where events within the sequence were occasionally replaced with a broadband noise burst or omitted entirely. We show that both stimulus history and predicted stimuli can be decoded from neural responses to broadband impulse at overlapping latencies but linked to largely independent neural populations. We also demonstrate that predictive representations are learned over the course of stimulation at two distinct time scales, reflected in two dissociable time windows of neural activity. These results establish a valuable tool for investigating the neural mechanisms of passive sequence learning, memory encoding, and prediction mechanisms within a single paradigm, and provide novel evidence for learning predictive representations even under anaesthesia.

Although sensory input arrives continuously, we experience the world in discrete units, consisting of words, objects, scenes and events, which in turn form the basis of language, thought and memory. How does sensory input get parsed into meaningful units? A process known as statistical learning (SL) may underlie this ability. SL is ubiquitous, for example allowing babies to discover word boundaries in continuous speech by tracking transitional probabilities between syllables. Here we examine which cortical circuits extract such regularities, how these regularities are represented, and how this learning compares across sensory modalities. We exposed subjects to auditory and visual sequences containing temporal regularities while collecting direct, intracranial recordings (23 patients, 3689 electrodes). We used neural frequency tagging to first map the cortical circuits for SL and then representational similarity analysis to determine which aspect(s) of the regularities are learned. SL manifested into two distinct ways across electrodes, differing in terms of both anatomical location and hierarchical organization: one cluster of electrodes located in earlier processing stages (e.g., superior temporal gyrus, STG) represented both the constituent elements (e.g., syllables) and learned higher-order units (e.g., words); the other cluster was localized to later processing stages (e.g., inferior frontal gyrus, IFG) and represented only the higher-order units. Within these regions, SL shaped the similarity of neural representations at multiple levels, with a division of labor between earlier vs. later brain areas in terms of encoding of simple generic aspects of the sequences (i.e., transitional probability) vs. complex and specific information (i.e., ordinal position, identity). The anatomical and representational segregation of these circuits was observed for SL in both the auditory and visual modality, yet the anatomical areas (with the exception of IFG and anterior temporal pole), showed specificity to modality. These findings indicate the existence of multiple computational systems for sequence processing supporting learning across hierarchically segregated cortical circuits.

No two individuals experience the world the same way. On a spectrum of inter-individual variability, synesthetes, for instance, experience additional sensations, while schizophrenia patients suffer perceptual deficits. Is there a unifying principle explaining inter-individual variability in perception? Perceptual experience results from inferential processes whereby sensory evidence is weighted by prior knowledge about the world. Different perceptual phenotypes may then stem from different weighting of sensory evidence and prior knowledge. We tested this hypothesis by comparing visibility thresholds in a perceptual closure task across medicated schizophrenia patients (N=20), synesthetes (N=20), and controls (N=26). Participants rated the subjective visibility of illusory contours of stimuli embedded in noise while the availability of sensory evidence was manipulated parametrically. Additionally, implicit priors in synesthetes were manipulated by presenting either synesthesia-inducing or neutral stimuli. Schizophrenia patients showed increased visibility thresholds, consistent with overreliance on sensory evidence and reduced influence of prior knowledge. In contrast, synesthetes exhibited lowered thresholds exclusively for synesthesia-inducing stimuli suggesting synesthetic experiences arise through excess implicit priors. Additionally, both in synesthetes and schizophrenics explicit top-down priors lowered thresholds but did not normalize perception in either group. Our results indicate that perceptual phenotypes might be traced to automatic differences in perceptual inference which are not overcome by conscious, explicit priors.

A key hallmark of visual perceptual awareness is robustness to instabilities arising from unnoticeable eye and eyelid movements. In previous human intracranial (iEEG) work (Golan et al., 2016) we found that excitatory broadband high-frequency activity transients, driven by eye blinks, are suppressed in higher-level but not early visual cortex. Here, we utilized the broad anatomical coverage of iEEG recordings in 12 eye-tracked neurosurgical patients to test whether a similar stabilizing mechanism operates following small saccades. We compared saccades (1.3°-3.7°) initiated during inspection of large individual visual objects with similarly-sized external stimulus displacements. Early visual cortex sites responded with positive transients to both conditions. In contrast, in both dorsal and ventral higher-level sites the response to saccades (but not to external displacements) was suppressed. These findings indicate that early visual cortex is highly unstable compared to higher-level visual regions which apparently constitute the main target of stabilizing extra-retinal oculomotor influences.

High frequency oscillations (HFOs) recorded from intracranial electrodes during epileptiform discharges are a proposed biomarker of epileptic brain tissue and may also be useful for seizure forecasting, with mixed results. Despite such potential for HFOs, there is limited investigation into the spatial context of HFOs and their relationship to simultaneously recorded neuronal activity. We sought to further understand the biophysical underpinnings of ictal HFOs using unit recordings in the human neocortex and mesial temporal lobe during rhythmic onset seizures. We compare features of ictal discharges in both the seizure core and penumbra (spatial seizure domains defined by multiunit activity patterns). We report differences in spectral features, unit-local field potential coupling, and information theoretic characteristics of HFOs before and after local seizure invasion. Furthermore, we tie these timing-related differences to spatial domains of seizures, showing that penumbral discharges are widely distributed and less useful for seizure localization.### Competing Interest Statement

Some patients with medically refractory focal epilepsy are chronically implanted with a brain-responsive neurostimulation device (the RNS System), permitting neurophysiological measurements at millisecond resolution. This clinical device can be adapted to measure hippocampal dynamics time-locked to cognitive tasks. We illustrate the technique with a proof of concept in three patients previously implanted with the RNS System as they engage in an associative memory task, measured months apart. Hippocampal activity measured in successful encoding in RNS System patients mirrors that in surgical patients during intracranial electroencephalography (iEEG), suggesting that chronic iEEG allows sensitive measurements of hippocampal physiology over prolonged timescales.