Abstract Every day our memory system achieves a remarkable feat: We form lasting memories of stimuli that were only encountered once. Here we investigate such learning as it naturally occurs during story listening, with the goal of uncovering when and how memories are stored and retrieved during processing of continuous, naturalistic stimuli. In behavioral experiments we confirm that, after a single exposure to a naturalistic story, participants can learn about its structure and are able to recall upcoming words in the story. In patients undergoing electrocorticographic recordings, we then track mnemonic information in high frequency activity (70 – 200 Hz ) as patients listen to a story twice. In auditory processing regions we demonstrate the rapid reinstatement of upcoming information after a single exposure; this neural measure of predictive recall correlates with behavioral measures of event segmentation and learning. Connectivity analyses on the neural data reveal information-flow from cortex to hippocampus at the end of events. On the second time of listening information-flow from hippocampus to cortex precedes moments of successful reinstatement.

Abstract Episodic memories hinge upon our ability to process a wide range of multisensory information and bind this information into a coherent, memorable representation. On a neural level, these two processes are thought to be supported by neocortical alpha/beta desynchronisation and hippocampal theta/gamma synchronisation, respectively. Intuitively, these two processes should couple to successfully create and retrieve episodic memories, yet this hypothesis has not been tested empirically. We address this by analysing human intracranial EEG data recorded during two associative memory tasks. We find that neocortical alpha/beta (8-20Hz) power decreases reliably precede and predict hippocampal “fast” gamma (60-80Hz) power increases during episodic memory formation; during episodic memory retrieval however, hippocampal “slow” gamma (40-50Hz) power increases reliably precede and predict later neocortical alpha/beta power decreases. We speculate that this coupling reflects the flow of information from neocortex to hippocampus during memory formation, and hippocampal pattern completion inducing information reinstatement in the neocortex during memory retrieval. Significance Statement Episodic memories detail our personally-experienced past. The formation and retrieval of these memories has long been thought to be supported by a division of labour between the neocortex and the hippocampus, where the former processes event-related information and the latter binds this information together. However, it remains unclear how the two regions interact. We uncover directional coupling between these regions, with power decreases in the neocortex that precede and predict power increases in the hippocampus during memory formation. Fascinatingly, this process reverses during memory retrieval, with hippocampal power increases preceding and predicting neocortical power decreases. These results suggest a bidirectional flow of information between the neocortex and hippocampus is fundamental to the formation and retrieval of episodic memories.

Abstract Adaptive memory recall requires a rapid and flexible switch from external perceptual reminders to internal mnemonic representations. However, owing to the limited temporal or spatial resolution of brain imaging modalities used in isolation, the hippocampal-cortical dynamics supporting this process remain unknown. We thus employed an object-scene cued recall paradigm across two studies, including intracranial Electroencephalography (iEEG) and high-density scalp EEG. First, a sustained increase in hippocampal high gamma power (60-110 Hz) emerged 500 ms after cue onset and distinguished successful vs. unsuccessful recall. This increase in gamma power for successful recall was followed by a decrease in hippocampal alpha power (8-12 Hz). Intriguingly, the hippocampal gamma power increase marked the moment at which extrahippocampal activation patterns shifted from perceptual cue towards mnemonic target representations. In parallel, source-localised EEG alpha power revealed that the recall signal progresses from hippocampus to posterior parietal cortex and then to medial prefrontal cortex. Together, these results identify the hippocampus as the switchboard between perception and memory and elucidate the ensuing hippocampal-cortical dynamics supporting the recall process. Significance How do we adaptively switch from perceiving the external world to retrieving goal-relevant internal memories? To tackle this question, we used – in a cued-recall paradigm - direct intracranial recordings from the human hippocampus complemented by high-density scalp Electroencephalography (EEG). We found that a hippocampal signal ~500 ms after a perceptual cue marks the conversion from external (perceptual) to internal (mnemonic) representations. This sets in motion a recall cascade involving posterior parietal and medial prefrontal cortex, revealed via source-localised and time-resolved EEG alpha power. Together, these results unveil the hippocampal-cortical dynamics supporting rapid and flexible memory recall.

ABSTRACT Magnetoencephalography with optically pumped magnetometers (OPM-MEG) offers a new way to record electrophysiological brain function, with significant advantages over conventional MEG including adaptability to head shape/size, free movement during scanning, better spatial resolution, increased signal, and no reliance on cryogenics. However, OPM-MEG remains in its infancy, with significant questions to be answered regarding optimal system design and robustness. Here, we present an open-source dataset acquired using a newly constructed OPM-MEG system with a triaxial sensor design averaging 168 channels. Using OPM-optimised magnetic shielding and active background-field control, we measure the test-retest reliability of the human connectome. We employ amplitude envelope correlation to measure whole-brain functional connectivity in 10 individuals whilst they watch a 600 s move clip. Our results show high repeatability between experimental runs at the group level, with a correlation coefficient of 0.81 in the theta, 0.93 in alpha and 0.94 in beta frequency ranges. At the individual subject level, we found marked differences between individuals, but high within-subject robustness (correlations of 0.56 ± 0.25, 0.72 ± 0.15 and 0.78 ± 0.13 in theta, alpha and beta respectively). These results compare well to previously reported findings using conventional MEG; they show that OPM-MEG is a viable way to characterise whole brain connectivity and add significant weight to a growing argument that OPMs can overtake cryogenic sensors as the fundamental building block of MEG systems.

Effective communication hinges on a mutual understanding of word meaning in different contexts. We recorded brain activity using electrocorticography during spontaneous, face-to-face conversations in five pairs of epilepsy patients. We developed a model-based coupling framework that aligns brain activity in both speaker and listener to a shared embedding space from a large language model (LLM). The context-sensitive LLM embeddings allow us to track the exchange of linguistic information, word by word, from one brain to another in natural conversations. Linguistic content emerges in the speaker's brain before word articulation and rapidly re-emerges in the listener's brain after word articulation. The contextual embeddings better capture word-by-word neural alignment between speaker and listener than syntactic and articulatory models. Our findings indicate that the contextual embeddings learned by LLMs can serve as an explicit numerical model of the shared, context-rich meaning space humans use to communicate their thoughts to one another.

Abstract Effective communication hinges on a mutual understanding of word meaning in different contexts. The embedding space learned by large language models can serve as an explicit model of the shared, context-rich meaning space humans use to communicate their thoughts. We recorded brain activity using electrocorticography during spontaneous, face-to-face conversations in five pairs of epilepsy patients. We demonstrate that the linguistic embedding space can capture the linguistic content of word-by-word neural alignment between speaker and listener. Linguistic content emerged in the speaker’s brain before word articulation, and the same linguistic content rapidly reemerged in the listener’s brain after word articulation. These findings establish a computational framework to study how human brains transmit their thoughts to one another in real-world contexts.

Remembering information from continuous past episodes is a complex task. On the one hand, we must be able to recall events in a highly accurate way that often includes exact timing; on the other hand, we can ignore irrelevant details and skip to events of interest. We here track continuous episodes, consisting of different sub-events, as they are recalled from memory. In behavioral and MEG data, we show that memory replay is temporally compressed and proceeds in a forward direction. Neural replay is characterized by the reinstatement of temporal patterns from encoding. These fragments of activity reappear on a compressed timescale. Herein, the replay of sub-events takes longer than the transition from one sub-event to another. This identifies episodic memory replay as a dynamic process in which participants replay fragments of fine-grained temporal patterns and are able to skip flexibly across sub-events.

Empathy relies on the ability to mirror and to explicitly infer others' inner states. Studies on healthy populations show consistent evidence supporting the idea that our memories play a role in empathy when building a representation of others' inner states (Buckner & Carroll, 2007; Spreng & Grady, 2009; Spreng, Mar, & Kim, 2009). However, direct evidence of a reactivation of autobiographical memories (AM) when it comes to empathizing with others' inner states is yet to be shown. To address this question, we conducted two experiments where we recorded electrophysiological (Exp 1) and hemodynamic activity (Exp2) from two independent samples of participants. In Exp 1, EEG was recorded from 28 participants who performed a classic empathy task, i.e. a pain decision task in which targets for empathy were depicted in painful scenes for which participants either did or did not have an AM, followed by a task that explicitly required memory retrieval of the AM and non-AM scenes. The retrieval task acted as a ‘localizer’ to extract the neural fingerprints of AM and non-AM scenes, which could then be used to probe data from the empathy task. A state-of-the-art EEG pattern classifier was trained and tested across tasks and showed evidence for AM reactivation when participants were preparing their judgement in the empathy task. Participants self-reported higher empathy for people depicted in situations they had experienced themselves (for which they would have an AM) as compared to situations they had not experienced. This behavioral result was replicated in a second fMRI Experiment, where hemodynamic responses were measured from an independent sample of 28 participants. Furthermore, fMRI results showed activation in the brain networks that have been extensively shown in previous studies to underlie both AM retrieval and empathy (Amodio & Frith, 2006; Bernhardt & Singer, 2012a; Buckner & Carroll, 2007; Frith & Frith, 2003; Spreng & Grady, 2009; Spreng et al., 2009; Zaki & Ochsner, 2012). Together, our study reports behavioral, electrophysiological and fMRI evidence that robustly supports the involvement of autobiographical memory reactivation in empathy.

We here propose a neural network model to explore how neural oscillations might regulate the replay of memory traces. We simulate the encoding and retrieval of a series of events, where temporal sequences are uniquely identifiable by analysing population activity, as several recent EEG/MEG studies have shown. Our model comprises three parts, each considering distinct hypotheses. A cortical region actively represents sequences through the disruption of an intrinsically generated alpha rhythm, where a desynchronisation marks information-rich operations as the literature predicts. A binding region converts each event into a discrete index, enabling repetitions through a sparse encoding of events. We also instantiate a temporal region, where an oscillatory 'ticking-clock' made up of hierarchical synfire chains discretely indexes a moment in time. By encoding the absolute timing between events, we show how one can use cortical desynchronisations to dynamically detect unique temporal signatures as they are replayed in the brain.

Forming a memory often entails the association of recent experience with present events. This recent experience is usually an information rich and dynamic representation of the world around us. We here show that associating a static cue with a previously shown dynamic stimulus, yields a detectable, dynamic representation of this stimulus in working memory. We further implicate this representation in the decrease of low-frequency power (~4-30 Hz) in the ongoing electroencephalogram (EEG), which is a well-known correlate of successful memory formation. The maintenance of content specific patterns in desynchronizing brain oscillations was observed in two sensory domains, i.e. in a visual and in an auditory condition. Together with previous results, these data suggest a mechanism that generalizes across domains and processes, in which the decrease in oscillatory power allows for the dynamic representation of information in ongoing brain oscillations.