Working memory is thought to result from sustained neuron spiking. However, computational models suggest complex dynamics with discrete oscillatory bursts. We analyzed local field potential (LFP) and spiking from the prefrontal cortex (PFC) of monkeys performing a working memory task. There were brief bursts of narrow-band gamma oscillations (45-100 Hz), varied in time and frequency, accompanying encoding and re-activation of sensory information. They appeared at a minority of recording sites associated with spiking reflecting the to-be-remembered items. Beta oscillations (20-35 Hz) also occurred in brief, variable bursts but reflected a default state interrupted by encoding and decoding. Only activity of neurons reflecting encoding/decoding correlated with changes in gamma burst rate. Thus, gamma bursts could gate access to, and prevent sensory interference with, working memory. This supports the hypothesis that working memory is manifested by discrete oscillatory dynamics and spiking, not sustained activity.

Abstract Working memory (WM) allows us to selectively remember and flexibly control a limited amount of information. Earlier work has suggested WM control is achieved by interactions between bursts of beta and gamma oscillations. The emerging question is how beta and gamma bursting, reflecting coherent activity of hundreds of thousands of neurons, can underlie selective control of individual items held in WM? Here, we propose a principle for how such selective control might be achieved on the neural network level. It relies on spatial computing, which suggests that beta and gamma interactions cause item-specific activity to flow spatially across the network over the course of a task. This way, control-related information about, for instance, item order can be retrieved from the spatial activity independent of the detailed recurrent connectivity that gives rise to the item-specific activity itself. The spatial flow should in turn be reflected in low-dimensional activity shared by many neurons. We test predictions of the proposed spatial computing paradigm by analysing control-related as well as item-specific activity in local field potentials and neuronal spiking from prefrontal cortex of rhesus macaques performing four WM tasks. As predicted, we find that the low-dimensional activity has a spatial component from which we can read out control-related information. These spatial components were stable over multiple sessions and did not depend on the specific WM items being used. We hypothesize that spatial computing can facilitate generalization and zero-shot learning by utilizing spatial component as an additional information encoding dimension. This offers a new perspective on the functional role of low-dimensional activity that tends to dominate cortical activity.

Abstract Working memories have long been thought to be maintained by persistent spiking. However, mounting evidence from multiple-electrode recording (and single-trial analyses) shows that the underlying spiking is better characterized by intermittent bursts of activity. A counterargument suggested this intermittent activity is at odds with observations that spike-time variability reduces during task performance. However, this counterargument rests on assumptions, such as randomness in the timing of the bursts, that may not be correct. Thus, we analyzed spiking and LFPs from the prefrontal cortex (PFC) of monkeys to determine if task-related reductions in variability can co-exist with intermittent spiking. We found that it does because both spiking and associated gamma bursts were task-modulated, not random. In fact, the task-related reduction in spike variability could be explained by a related reduction in gamma burst variability. Our results provide further support for the intermittent activity models of working memory as well as novel mechanistic insights into how spike variability is reduced during cognitive tasks.

Abstract Working memory (WM) activity is not as stationary or sustained as previously thought. There are brief bursts of gamma (∼55–120 Hz) and beta (∼20–35 Hz) oscillations, the former linked to stimulus information in spiking. We examine these dynamics in relation to read-out from WM, which is still not well understood. Monkeys held a sequence of two objects and had to decide if they matched a subsequent sequence. Changes in the balance of beta/gamma suggested their role in WM control. In anticipation of having to use an object for the match decision, there was an increase in spiking information about that object along with an increase in gamma and a decrease in beta. When an object was no longer needed, beta increased and gamma as well as spiking information about that object decreased. Deviations from these dynamics predicted behavioral errors. Thus, turning up or down beta could regulate gamma and the information in working memory.

Abstract Episodic memory is the recollection of past personal experiences associated with particular times and places. This kind of memory is commonly subject to loss of contextual information or “semantization”, which gradually decouples the encoded memory items from their associated contexts while transforming them into semantic or gist-like representations. Novel extensions to the classical Remember/Know behavioral paradigm attribute the loss of episodicity to multiple exposures of an item in different contexts. Despite recent advancements explaining semantization at a behavioral level, the underlying neural mechanisms remain poorly understood. In this study, we suggest and evaluate a novel hypothesis proposing that Bayesian-Hebbian synaptic plasticity mechanisms might cause semantization of episodic memory. We implement a cortical spiking neural network model with a Bayesian-Hebbian learning rule called Bayesian Confidence Propagation Neural Network (BCPNN), which captures the semantization phenomenon and offers a mechanistic explanation for it. Encoding items across multiple contexts leads to item-context decoupling akin to semantization. We compare BCPNN plasticity with the more commonly used spike-timing dependent plasticity (STDP) learning rule in the same episodic memory task. Unlike BCPNN, STDP does not explain the decontextualization process. We also examine how selective plasticity modulation of isolated salient events may enhance preferential retention and resistance to semantization. Our model reproduces important features of episodicity on behavioral timescales under various biological constraints whilst also offering a novel neural and synaptic explanation for semantization, thereby casting new light on the interplay between episodic and semantic memory processes.

Many brain phenomena both at the cognitive and behavior level exhibit remarkable sequential characteristics. While the mechanisms behind the sequential nature of the underlying brain activity are likely multifarious and multi-scale, in this work we attempt to characterize to what degree some of this properties can be explained as a consequence of simple associative learning. To this end, we employ a parsimonious firing-rate attractor network equipped with the Hebbian-like Bayesian Confidence Propagating Neural Network (BCPNN) learning rule relying on synaptic traces with asymmetric temporal characteristics. The proposed network model is able to encode and reproduce temporal aspects of the input, and offers internal control of the recall dynamics by gain modulation. We provide an analytical characterisation of the relationship between the structure of the weight matrix, the dynamical network parameters and the temporal aspects of sequence recall. We also present a computational study of the performance of the system under the effects of noise for an extensive region of the parameter space. Finally, we show how the inclusion of modularity in our network structure facilitates the learning and recall of multiple overlapping sequences even in a noisy regime.

Time Series Representation Learning (TSRL) focuses on generating informative representations for various Time Series (TS) modeling tasks. Traditional Self-Supervised Learning (SSL) methods in TSRL fall into four main categories: reconstructive, adversarial, contrastive, and predictive, each with a common challenge of sensitivity to noise and intricate data nuances. Recently, diffusion-based methods have shown advanced generative capabilities. However, they primarily target specific application scenarios like imputation and forecasting, leaving a gap in leveraging diffusion models for generic TSRL. Our work, Time Series Diffusion Embedding (TSDE), bridges this gap as the first diffusion-based SSL TSRL approach. TSDE segments TS data into observed and masked parts using an Imputation-Interpolation-Forecasting (IIF) mask. It applies a trainable embedding function, featuring dual-orthogonal Transformer encoders with a crossover mechanism, to the observed part. We train a reverse diffusion process conditioned on the embeddings, designed to predict noise added to the masked part. Extensive experiments demonstrate TSDE's superiority in imputation, interpolation, forecasting, anomaly detection, classification, and clustering. We also conduct an ablation study, present embedding visualizations, and compare inference speed, further substantiating TSDE's efficiency and validity in learning representations of TS data.

We investigated the interaction of long-term episodic processes with effects of short-term dynamics of recency. This work takes inspiration from a seminal experimental work involving an odor-in-context association task conducted on rats (Panoz-Brown et al., 2016). In the experimental task, rats were presented with odor pairs in two arenas serving as old or new contexts for specific odors-items. Rats were rewarded for selecting the odor that was new to the current context. New odor items were deliberately presented with higher recency relative to old items, so that episodic memory was put in conflict with non-episodic recency effects. To study our hypothesis about the major role of synaptic interplay of long- and short-term plasticity phenomena in explaining rats' performance in such episodic memory tasks, we built a computational spiking model consisting of two reciprocally connected networks that stored contextual and odor information as consolidated and distributed memory patterns (cell assemblies). We induced context-item coupling between the two networks using Bayesian-Hebbian plasticity with eligibility traces to account for reward based learning. We first reproduced quantitatively and explained mechanistically the findings of the experimental study, and further simulated alternative tasks, e.g. where old odor items were instead encoded with higher recency, thus synergistically confounding episodic memory with effects of recency. Our model predicted that higher recency of old items enhances item-in-context memory by boosting the activations of old items resulting in further enhancement of memory performance. We argue that the model offers a computational framework for studying behavioral implications of the synaptic underpinning of different memory effects in experimental episodic memory paradigms.

Abstract According to the efficient coding hypothesis, sensory neurons are adapted to provide maximal information about the environment given some biophysical constraints. Early sensory neurons modulate their average firing rates in response to some features of the external stimulus, creating tuned responses. In early visual areas, these modulations (or tunings) are predominantly single-peaked. However, periodic tuning, as exhibited by grid cells, has been linked to a significant increase in decoding performance. Does this imply that the tuning curves in early visual areas are sub-optimal? We argue that the time scale at which neurons encode information is imperative to understanding the relative advantages of single-peaked and periodic tuning curves. Because, if decoding ability scales differently with time for the different shapes of tuning curves, the time scale at which the neurons operate becomes critical. Here, we show that the possibility of catastrophic (large) errors due to overlapping neural responses for distinct stimulus conditions creates a trade-off between decoding time and decoding ability. Unfortunately, standard theoretical measures such as Fisher information do not capture these errors. We investigate how (very) short decoding times and stimulus dimensionality affect the optimal shape of tuning curves for stimuli with finite domains. In particular, we focus on the spatial periods of the tuning curves (or the number of “peaks”) for a class of circular tuning curves. We show a general trend for minimal decoding time, i.e., the shortest decoding time required to produce a statistically reliable signal, to increase with increasing Fisher information implying a trade-off between accuracy and speed. This trade-off is reinforced whenever the stimulus dimensionality is high or there is ongoing activity. Thus, given constraints on processing speed, we present normative arguments for the existence of single-peaked, rather than a periodic, tuning organization observed in early visual areas.

Working memory (WM) is a key component of human memory and cognition. Computational models have been used to study the underlying neural mechanisms, but neglected the important role of short- and long-term memory interactions (STM, LTM) for WM. Here, we investigate these using a novel multi-area spiking neural network model of prefrontal cortex (PFC) and two parieto-temporal cortical areas based on macaque data. We propose a WM indexing theory that explains how PFC could associate, maintain and update multi-modal LTM representations. Our simulations demonstrate how simultaneous, brief multi-modal memory cues could build a temporary joint memory representation as an “index” in PFC by means of fast Hebbian synaptic plasticity. This index can then reactivate spontaneously and thereby reactivate the associated LTM representations. Cueing one LTM item rapidly pattern-completes the associated un-cued item via PFC. The PFC-STM network updates flexibly as new stimuli arrive thereby gradually over-writing older representations.