Abstract While experience unfolds continuously, memories are organized as a set of discrete events that bind together the “where”, “when”, and “what” of episodic memory. This segmentation of continuous experience is thought to be facilitated by the detection of salient environmental or cognitive events. However, the underlying neural mechanisms and how such segmentation shapes episodic memory representations remain unclear. We recorded from single neurons in the human medial temporal lobe while subjects watched videos with different types of embedded boundaries and were subsequently evaluated for memories of the video contents. Here we show neurons that signal the presence of cognitive boundaries between subevents from the same episode and neurons that detect the abstract separation between different episodes. The firing rate and spike timing of these boundary-responsive neurons were predictive of later memory retrieval accuracy. At the population level, abrupt neural state changes following boundaries predicted enhanced memory strength but impaired order memory, capturing the behavioral tradeoff subjects exhibited when recalling episodic content versus temporal order. Successful retrieval was associated with reinstatement of the neural state present following boundaries, indicating that boundaries structure memory search. These findings reveal a neuronal substrate for detecting cognitive boundaries and show that cognitive boundary signals facilitate the mnemonic organization of continuous experience as a set of discrete episodic events.

Abstract In response to sensory stimulation, the cortex exhibits an early transient response followed by a late and slower activation pattern. Recent studies suggest that the early component represents features of the stimulus while the late component is associated with stimulus perception. Although very informative, these studies only focus on the amplitude of the evoked responses to study its relationship with sensory perception. In this work we expand upon the study of how patterns of evoked and spontaneous activity are modified by experience at mesoscale level using voltage and extracellular glutamate transient recordings over widespread regions of mice dorsal neocortex. We find that repeated tactile or auditory stimulation selectively modifies the spatiotemporal patterns of cortical activity, mainly of the late evoked response in anesthetized mice injected with amphetamine and also in awake mice. This modification lasted up to 60 minutes and results not only in an increase in amplitude of the late response after repeated stimulation, but also in an increase in the similarity between the spatiotemporal patterns of the late and the early evoked response patterns in anesthetized mice. This similarity increase occurs only for the evoked responses of the sensory modality that received the repeated stimulation. Thus, this selective long-lasting spatiotemporal modification of the cortical activity patterns might provide evidence that evoked responses are a cortex-wide phenomenon. This work opens new questions about how perception-related cortical activity changes with sensory experience across the cortex.

Abstract Despite the critical link between visual exploration and memory, little is known about how single-unit activity (SUA) in the human mesial temporal lobe (MTL) is modulated by saccadic eye movements (SEMs). Here we characterize SEM associated SUA modulations, unit-by-unit, and contrast them to image onset, and to occipital lobe SUA. We reveal evidence for a corollary discharge (CD)-like modulatory signal that accompanies SEMs, inhibiting/exciting a unique population of broad/narrow spiking units, respectively, before and during SEMs, and with directional selectivity. These findings comport well with the timing, directional nature, and inhibitory circuit implementation of a CD. Additionally, by linking SUA to event-related potentials (ERPs), which are directionally modulated following SEMs, we recontextualize the ERP associated with SEM as a proxy for both the strength of inhibition and saccade direction, providing a mechanistic underpinning for the more commonly recorded SEM-related ERP in the human brain.

Abstract Episodic memory, the ability to record and relive experiences, is intricately connected to visual exploration in most humans. This study explores the possibility that eye movements create physiological states relevant for memory, analogous to those associated with hippocampal theta. Previous work has demonstrated that saccadic eye movements, which occur roughly at theta frequency, elicit hippocampal event-related potentials (ERPs). Building on the Separate Phases of Encoding and Retrieval (SPEAR) model, we asked if the peaks and troughs of this saccadic ERP are differentially important for memory formation. Specifically, we applied saccade-contingent hippocampal electrical stimulation at estimated ERP peaks and troughs while individuals with epilepsy visually explored natural scenes across 59 sessions. We subsequently assessed their recognition memory for scenes and their recall of associated targets. Results indicate that memory is robust when stimulation precisely targets the peak or trough, contrasting with impairments observed with random stimulation. Moreover, memory impairment is prominent when stimulation is applied within 100 ms of saccade initiation, a time that reflects high medial temporal lobe inhibition. Our findings suggest that the hippocampus rapidly evolves through memory-relevant states following each eye movement, while also challenging the assumption that human saccadic ERP peaks and troughs mirror the encoding and retrieval phases of theta rhythms studied in rodents. The study sheds light on the dynamic interplay between eye movements, hippocampal activity, and memory formation, offering theoretical insights with potential applications for memory modulation in neurological disorders. Significance Statement Why do eye-movements enhance memory formation? Here, we causally tested if eye-movements initiate short-lived states critical for memory formation within the hippocampus, a brain region known to support memory. We built a system that could precisely apply hippocampal electrical stimulation at key moments after eye-movements to test how the timing of this stimulation influenced people’s ability to form memories. We found that stimulation was particularly disruptive to memory formation when applied within 100 ms of initiating an eye movement. By contrast, memory was robust to stimulation precisely timed to the peak and trough of hippocampal eye-movement responses. We interpret this temporal evolution of memory-relevant states within a prominent model of how theta phases relate to rodent memory.

Abstract Linking different experiences together is a key aspect of episodic memory. A potential neural mechanism for linking sequential events over time is phase precession, which causes neurons to fire progressively earlier in time relative to theta-frequency local field potential oscillations. However, no direct link between phase precession and behaviorally assessed memory encoding or retrieval success has been established. We recorded the activity of single neurons and local field potentials in the human medial temporal lobe (MTL) while participants encoded and retrieved memories of movie clips. Transient brief theta bouts and theta phase precession were observed following cognitive boundaries during movie watching as well as following stimulus onset during memory retrieval. Phase precession was dynamic, with different neurons exhibiting phase precession in different task periods. The strength of phase precession provided information about memory encoding and retrieval success that was not available in firing rates, thereby linking the temporal code established by phase precession to behaviorally assessed memory strength. These data reveal phase precession during non spatial memory in humans and provide direct neural evidence for a functional role of phase precession in episodic memory.

Retaining information in working memory (WM) is a demanding process that relies on cognitive control to protect memoranda-specific persistent activity from interference. How cognitive control regulates WM storage, however, remains unknown. We hypothesized that interactions of frontal control and hippocampal persistent activity are coordinated by theta-gamma phase amplitude coupling (TG-PAC). We recorded single neurons in the human medial temporal and frontal lobe while patients maintained multiple items in WM. In the hippocampus, TG-PAC was indicative of WM load and quality. We identified cells that selectively spiked during nonlinear interactions of theta phase and gamma amplitude. These PAC neurons were more strongly coordinated with frontal theta activity when cognitive control demand was high, and they introduced information-enhancing and behaviorally relevant noise correlations with persistently active neurons in the hippocampus. We show that TG-PAC integrates cognitive control and WM storage to improve the fidelity of WM representations and facilitate behavior.