Categorization is a fundamental cognitive process by which the brain assigns stimuli to behaviorally meaningful groups. Investigations of visual categorization in primates have identified a hierarchy of cortical areas that are involved in the transformation of sensory information into abstract category representations. However, categorization behaviors are ubiquitous across diverse animal species, even those without a neocortex, motivating the possibility that subcortical regions may contribute to abstract cognition in primates. One candidate structure is the superior colliculus (SC), an evolutionarily conserved midbrain region that, although traditionally thought to mediate only reflexive spatial orienting, is involved in cognitive tasks that require spatial orienting. Here, we reveal a novel role of the primate SC in abstract, higher-order visual cognition. We compared neural activity in the SC and the posterior parietal cortex (PPC), a region previously shown to causally contribute to category decisions, while monkeys performed a visual categorization task in which they report their decisions with a hand movement. The SC exhibits stronger and shorter-latency category encoding than the PPC, and inactivation of the SC markedly impairs monkeys' category decisions. These results extend SC's established role in spatial orienting to abstract, non-spatial cognition.

Abstract Humans and other animals demonstrate a remarkable ability to generalize knowledge across distinct contexts and objects during natural behavior. We posit that this ability to generalize arises from a specific representational geometry, that we call abstract and that is referred to as disentangled in machine learning. These abstract representations have been observed in recent neurophysiological studies. However, it is unknown how they emerge. Here, using feedforward neural networks, we demonstrate that the learning of multiple tasks causes abstract representations to emerge, using both supervised and reinforcement learning. We show that these abstract representations enable few-sample learning and reliable generalization on novel tasks. We conclude that abstract representations of sensory and cognitive variables may emerge from the multiple behaviors that animals exhibit in the natural world, and, as a consequence, could be pervasive in high-level brain regions. We also make several specific predictions about which variables will be represented abstractly.

When making decisions in a cluttered world, humans and other animals often have to hold multiple items in memory at once-such as the different items on a shopping list. Psychophysical experiments in humans and other animals have shown remembered stimuli can sometimes become confused, with participants reporting chimeric stimuli composed of features from different stimuli. In particular, subjects will often make "swap errors" where they misattribute a feature from one object as belonging to another object. While swap errors have been described behaviorally and theoretical explanations have been proposed, their neural mechanisms are unknown. Here, we elucidate these neural mechanisms by analyzing neural population recordings from monkeys performing two multistimulus working memory tasks. In these tasks, monkeys were cued to report the color of an item that either was previously shown at a corresponding location or will be shown at the corresponding location. Animals made swap errors in both tasks. In the neural data, we find evidence that the neural correlates of swap errors emerged when correctly remembered information is selected from working memory. This led to a representation of the distractor color as if it were the target color, underlying the eventual swap error. We did not find consistent evidence that swap errors arose from misinterpretation of the cue or errors during encoding or storage in working memory. These results provide evidence that swap errors emerge during selection of correctly remembered information from working memory, and highlight this selection as a crucial-yet surprisingly brittle-neural process.

Neuronal activity in the brain is variable, yet both perception and behavior are generally reliable. How does the brain achieve this? Here, we show that the conjunctive coding of multiple stimulus features, commonly known as nonlinear mixed selectivity, may be used by the brain to support reliable information transmission using unreliable neurons. Nonlinear mixed selectivity (NMS) has been observed widely across the brain, from primary sensory to decision-making to motor areas. Representations of stimulus features are nearly always mixed together, rather than represented separately or with only additive (linear) mixing, as in pure selectivity. NMS has been previously shown to support flexible linear decoding for complex behavioral tasks. Here, we show that NMS has another important benefit: it requires as little as half the metabolic energy required by pure selectivity to achieve the same level of transmission reliability. This benefit holds for sensory, motor, and more abstract, cognitive representations. Further, we show experimental evidence that NMS exists in the brain even when it does not enable behaviorally useful linear decoding. This suggests that NMS may be a general coding scheme exploited by the brain for reliable and efficient neural computation.

When making decisions in a cluttered world, humans and other animals often have to hold multiple items in memory at once -- such as the different items on a shopping list. Psychophysical experiments in humans and other animals have shown remembered stimuli can sometimes become confused, with participants reporting chimeric stimuli composed of feature from multiple stimuli. In particular, subjects will often make "swap errors" where they misattribute a feature from one object as belonging to another object. While swap errors have been described behaviorally, their neural mechanisms are unknown. Here, we elucidate these neural mechanisms through trial-by-trial analysis of neural population recordings from posterior and frontal brain regions while monkeys perform two multi-stimulus working memory tasks. In brief, monkeys were cued to report the color of an item that either was previously shown at a particular location (requiring selection from working memory) or will be shown at that location (requiring attention to a stimulus). Animals made swap errors in both tasks. In the neural data, we find evidence that the neural correlates of swap errors emerged when correctly remembered information is selected incorrectly from working memory. This led to a representation of the distractor color as if it were the target color, underlying the eventual swap error. We did not find consistent evidence that swap errors arose from misinterpretation of the cue or errors during encoding or storage in working memory. These results suggest an alternative to established views on the neural origins of swap errors, and highlight selection from and manipulation in working memory as crucial -- yet surprisingly brittle -- neural processes.

Abstract Our reactions to the sensory world depend on context. For instance, explicit directions to search for a particular object or feature will induce a different treatment of the sensory world than exploration without a fixed goal. To understand how we navigate the sensory world, it is necessary to understand how both directed search and undirected exploration are produced by the brain. The lateral intraparietal area (LIP) in the posterior parietal cortex has an established role in visual stimulus selection. However, most studies of LIP’s role in stimulus selection focus primarily on highly trained, directed tasks, in which animals are given explicit cues as to which stimulus they should select. Here, we compare neural activity in LIP across two tasks. In one task, the animal is given an explicit direction to select one of two natural images from an array; in the other, the animal is allowed to choose an image freely based on their innate preferences. We find that LIP reliably encodes the eye movement prior to its execution only in the directed task, while the eye movement encoding in the undirected task emerges significantly later. Further, LIP’s encoding of the image’s behavioral relevance emerges after the decision in both tasks. These results indicate that LIP preferentially supports stimulus selection in highly trained and directed behaviors, as opposed to free behavior.

Abstract An individual observing a barking dog and purring cat together in a field has distinct pairs of representations of the two animals in their visual and auditory systems. Without prior knowledge, how does the observer infer that the dog barks and the cat purrs? This integration of distributed representations is called the assignment problem, and it must be solved to integrate distinct representations across but also within sensory modalities. Here, we identify and analyze a solution to the assignment problem: the representation of one or more common stimulus features in pairs of relevant brain regions – for example, estimates of the spatial position of both the cat and the dog represented in both the visual and auditory systems. We characterize how the reliability of this solution depends on different features of the stimulus set (e.g., the size of the set and the complexity of the stimuli) and the details of the split representations (e.g., the precision of each stimulus representation and the amount of overlapping information). Next, we implement this solution in a biologically plausible receptive field code and show how constraints on the number of neurons and spikes used by the code force the brain to navigate a tradeoff between local and catastrophic errors. We show that, when many spikes and neurons are available, representing stimuli from a single sensory modality can be done more reliably across multiple brain regions, despite the risk of assignment errors. Finally, we show that a feedforward neural network can learn the optimal solution to the assignment problem. We also discuss relevant results on assignment errors from the human working memory literature and show that several key predictions of our theory already have support.