Single-neuron activity in the prefrontal cortex (PFC) is tuned to mixtures of multiple task-related aspects. Such mixed selectivity is highly heterogeneous, seemingly disordered and therefore difficult to interpret. We analysed the neural activity recorded in monkeys during an object sequence memory task to identify a role of mixed selectivity in subserving the cognitive functions ascribed to the PFC. We show that mixed selectivity neurons encode distributed information about all task-relevant aspects. Each aspect can be decoded from the population of neurons even when single-cell selectivity to that aspect is eliminated. Moreover, mixed selectivity offers a significant computational advantage over specialized responses in terms of the repertoire of input–output functions implementable by readout neurons. This advantage originates from the highly diverse nonlinear selectivity to mixtures of task-relevant variables, a signature of high-dimensional neural representations. Crucially, this dimensionality is predictive of animal behaviour as it collapses in error trials. Our findings recommend a shift of focus for future studies from neurons that have easily interpretable response tuning to the widely observed, but rarely analysed, mixed selectivity neurons. When an animal is performing a cognitive task, individual neurons in the prefrontal cortex show a mixture of responses that is often difficult to decipher and interpret; here new computational methods to decode and extract rich sets of information from these neural responses are revealed and demonstrate how this mixed selectivity offers a computational advantage over specialized cells. When an animal performs a cognitive task, individual neurons in the prefrontal cortex are often 'tuned' to various aspects related to the behaviour. The resulting mixture of responses is often difficult to decipher. This study of neural activity in monkeys performing an object sequence memory task was designed to establish whether the predominance of mixed selectivity neurons in the prefrontal cortex is critical to the function being performed. The results suggest that neurons with mixed selectivity contain as much information as those that are highly specialized in encoding a single task-relevant aspect. And mixed selectivity neurons actually offer a significant computational advantage over specialized cells in some respects. The new computational methods developed for this work to extract rich sets of information from recorded neural activity should make it easier to study the widely observed but rarely analysed mixed selectivity neurons.

Spatial working memory, the caching of behaviourally relevant spatial cues on a timescale of seconds, is a fundamental constituent of cognition. Although the prefrontal cortex and hippocampus are known to contribute jointly to successful spatial working memory, the anatomical pathway and temporal window for the interaction of these structures critical to spatial working memory has not yet been established. Here we find that direct hippocampal–prefrontal afferents are critical for encoding, but not for maintenance or retrieval, of spatial cues in mice. These cues are represented by the activity of individual prefrontal units in a manner that is dependent on hippocampal input only during the cue-encoding phase of a spatial working memory task. Successful encoding of these cues appears to be mediated by gamma-frequency synchrony between the two structures. These findings indicate a critical role for the direct hippocampal–prefrontal afferent pathway in the continuous updating of task-related spatial information during spatial working memory. Spatial working memory is known to involve the prefrontal cortex and the hippocampus, but the specificities of the connection have been unclear; now, a direct path between these two areas is defined that is necessary for the encoding of spatial cues in mice, but is not required for the maintenance or retrieval of these cues. Spatial working memory is maintained through a coordination of activity between prefrontal brain areas and the hippocampus, but it has been unclear what the precise anatomical connections between these areas are and on what time scales they operate. Here, Joshua Gordon and colleagues define a direct path between prefrontal cortex and hippocampus that is necessary for proper encoding of spatial cues, but is not required for maintenance and retrieval of these cues. Hippocampal information flows to neural units in the prefrontal cortex during the encoding phases of spatial working memory tasks, with successful encoding requiring synchrony between the two brain structures in the gamma-frequency band of network activity. These findings demonstrate the critical importance of hippocampal–prefrontal direct input in the continuous updating of spatial information.

Storing memories of ongoing, everyday experiences requires a high degree of plasticity, but retaining these memories demands protection against changes induced by further activity and experience. Models in which memories are stored through switch-like transitions in synaptic efficacy are good at storing but bad at retaining memories if these transitions are likely, and they are poor at storage but good at retention if they are unlikely. We construct and study a model in which each synapse has a cascade of states with different levels of plasticity, connected by metaplastic transitions. This cascade model combines high levels of memory storage with long retention times and significantly outperforms alternative models. As a result, we suggest that memory storage requires synapses with multiple states exhibiting dynamics over a wide range of timescales, and we suggest experimental tests of this hypothesis.

We present a model of spike-driven synaptic plasticity inspired by experimental observations and motivated by the desire to build an electronic hardware device that can learn to classify complex stimuli in a semisupervised fashion. During training, patterns of activity are sequentially imposed on the input neurons, and an additional instructor signal drives the output neurons toward the desired activity. The network is made of integrate-and-fire neurons with constant leak and a floor. The synapses are bistable, and they are modified by the arrival of presynaptic spikes. The sign of the change is determined by both the depolarization and the state of a variable that integrates the postsynaptic action potentials. Following the training phase, the instructor signal is removed, and the output neurons are driven purely by the activity of the input neurons weighted by the plastic synapses. In the absence of stimulation, the synapses preserve their internal state indefinitely. Memories are also very robust to the disruptive action of spontaneous activity. A network of 2000 input neurons is shown to be able to classify correctly a large number (thousands) of highly overlapping patterns (300 classes of preprocessed Latex characters, 30 patterns per class, and a subset of the NIST characters data set) and to generalize with performances that are better than or comparable to those of artificial neural networks. Finally we show that the synaptic dynamics is compatible with many of the experimental observations on the induction of long-term modifications (spike-timing-dependent plasticity and its dependence on both the postsynaptic depolarization and the frequency of pre- and postsynaptic neurons).

The curse of dimensionality plagues models of reinforcement learning and decision making. The process of abstraction solves this by constructing variables describing features shared by different instances, reducing dimensionality and enabling generalization in novel situations. Here, we characterized neural representations in monkeys performing a task described by different hidden and explicit variables. Abstraction was defined operationally using the generalization performance of neural decoders across task conditions not used for training, which requires a particular geometry of neural representations. Neural ensembles in prefrontal cortex, hippocampus, and simulated neural networks simultaneously represented multiple variables in a geometry reflecting abstraction but that still allowed a linear classifier to decode a large number of other variables (high shattering dimensionality). Furthermore, this geometry changed in relation to task events and performance. These findings elucidate how the brain and artificial systems represent variables in an abstract format while preserving the advantages conferred by high shattering dimensionality.

Intelligent behavior requires integrating several sources of information in a meaningful fashion—be it context with stimulus or shape with color and size. This requires the underlying neural mechanism to respond in a different manner to similar inputs (discrimination), while maintaining a consistent response for noisy variations of the same input (generalization). We show that neurons that mix information sources via random connectivity can form an easy to read representation of input combinations. Using analytical and numerical tools, we show that the coding level or sparseness of these neurons' activity controls a trade-off between generalization and discrimination, with the optimal level depending on the task at hand. In all realistic situations that we analyzed, the optimal fraction of inputs to which a neuron responds is close to 0.1. Finally, we predict a relation between a measurable property of the neural representation and task performance.

Abstract The ability to recognize familiar visual objects is critical to survival. A central assumption of neuroscience is that long-term memories are represented by the same brain areas that encode sensory stimuli ( 1 ). Neurons in inferotemporal (IT) cortex represent the sensory percept of visual objects using a distributed axis code ( 2–4 ). Whether and how the same IT neural population represents the long-term memory of visual objects remains unclear. Here, we examined how familiar faces are encoded in face patch AM and perirhinal cortex. We found that familiar faces were represented in a distinct subspace from unfamiliar faces. The familiar face subspace was shifted relative to the unfamiliar face subspace at short latency and then distorted to increase neural distances between familiar faces at long latency. This distortion enabled markedly improved discrimination of familiar faces in both AM and PR. Inactivation of PR did not affect these memory traces in AM, suggesting that the memory traces arise from intrinsic recurrent processes within IT cortex or interactions with downstream regions outside the medial temporal lobe ( 5, 6 ). Overall, our results reveal that memories of familiar faces are represented in IT and perirhinal cortex by a distinct long-latency code that is optimized to distinguish familiar identities.

Abstract Social recognition consists of multiple memory processes, including the detection of familiarity – the ability to rapidly distinguish familiar from novel individuals – and recollection – the effortful recall of where a social episode occurred and who was present. At present, the neural mechanisms for these different social memory processes remain unknown. Here, we investigate the population code for novel and familiar individuals in mice using calcium imaging of neural activity in a region crucial for social memory, the dorsal CA2 area of the hippocampus. We report that familiarity changes CA2 representations of social encounters to meet the different demands of social memory. While novel individuals are represented in a low-dimensional geometry that allows for rapid generalization, familiar individuals are represented in a higher-dimensional geometry that supports high-capacity memory storage. The magnitude of the change in dimensionality of CA2 representations for a given individual predicts the performance of that individual in a social recognition memory test, suggesting a direct relationship between the representational geometry and memory-guided behavior. Finally, we show that familiarity is encoded as an abstract variable with neural responses generalizing across different identities and spatial locations. Thus, through the tuning of the geometry of structured neural activity, CA2 is able to meet the complex demands of multiple social memory processes.

Neural responses are often highly heterogeneous non-linear functions of multiple task variables, a signature of a high-dimensional geometry of the neural representations. We studied the representational geometry in the somatosensory cortex of mice trained to report the curvature of objects using their whiskers. High-speed videos of the whisker movements revealed that the task can be solved by linearly integrating multiple whisker contacts over time. However, the neural activity in somatosensory cortex reflects a process of non-linear integration of spatio-temporal features of the sensory inputs. Although the responses at first appear disorganized, we could identify an interesting structure in the representational geometry: different whisker contacts are disentangled variables represented in approximately, but not fully, orthogonal subspaces of the neural activity space. The observed geometry allows linear readouts to perform a broad class of tasks of different complexities without compromising the ability to generalize to novel situations.