A better way to explain neuronal activity A brain region called the lateral intraparietal (LIP) area is involved in primate decision-making. The dominant model to explain neuronal firing in LIP assumes that neurons slowly accumulate sensory evidence in favor of one choice or another. Latimer et al. hypothesized that neurons instead exhibit rapid steps or jumps in their firing rate, reflecting discrete changes in the animal's decision state. They recorded from LIP neurons in macaque monkeys performing a motion-discrimination task. LIP spike trains in most cells involved discrete stepping dynamics rather than slow evidence integration dynamics. Science , this issue p. 184

Human locomotion through natural environments requires precise coordination between the biomechanics of the bipedal gait cycle and the eye movements that gather the information needed to guide foot placement. However, little is known about how the visual and locomotor systems work together to support movement through the world. We developed a system to simultaneously record gaze and full-body kinematics during locomotion over different outdoor terrains. We found that not only do walkers tune their gaze behavior to the specific information needed to traverse paths of varying complexity but that they do so while maintaining a constant temporal look-ahead window across all terrains. This strategy allows walkers to use gaze to tailor their energetically optimal preferred gait cycle to the upcoming path in order to balance between the drive to move efficiently and the need to place the feet in stable locations. Eye movements and locomotion are intimately linked in a way that reflects the integration of energetic costs, environmental uncertainty, and momentary informational demands of the locomotor task. Thus, the relationship between gaze and gait reveals the structure of the sensorimotor decisions that support successful performance in the face of the varying demands of the natural world. VIDEO ABSTRACT.

Virtually all vision studies use a fixation point to stabilize gaze, rendering stimuli on video screens fixed to retinal coordinates. This approach requires trained subjects, is limited by the accuracy of fixational eye movements, and ignores the role of eye movements in shaping visual input. To overcome these limitations, we developed a suite of hardware and software tools to study vision during natural behavior in untrained subjects. We show this approach recovers receptive fields and tuning properties of visual neurons from multiple cortical areas of marmoset monkeys. Combined with high-precision eye-tracking, it achieves sufficient resolution to recover the receptive fields of foveal V1 neurons. These findings demonstrate the power of free viewing to characterize neural response while simultaneously studying the dynamics of natural behavior. Highlights We introduce a free-viewing paradigm for studying neural mechanisms of visual processing during active vision Receptive fields (RFs) and neural selectivity in primary visual cortex (V1) and area MT can be extracted during free-viewing in minimally-trained subjects Novel high-resolution eye tracking in this context supports detailed measurements of receptive fields in foveal V1

Abstract When mice run, activity in their primary visual cortex (V1) is strongly modulated. This observation has altered conception of a brain region assumed to be a passive image processor. Extensive work has followed to dissect the circuits and functions of running-correlated modulation. However, it remains unclear whether visual processing in primates might similarly change during locomotion. We measured V1 activity in marmosets while they viewed stimuli on a treadmill. In contrast to mouse V1, marmoset V1 was slightly but reliably suppressed during running. Population-level analyses revealed trial-to-trial fluctuations of shared gain across V1 in both species, but these gain modulations were smaller and more often negatively correlated with running in marmosets. Thus, population-scale gain fluctuations of V1 reflect a common feature of mammalian visual cortical function, but important quantitative differences yield distinct consequences for the relation between vision and action in primates versus rodents.

Abstract Animals move their head and eyes as they explore and sample the visual scene. Previous studies have demonstrated neural correlates of head and eye movements in rodent primary visual cortex (V1), but the sources and computational roles of these signals are unclear. We addressed this by combining measurement of head and eye movements with high density neural recordings in freely moving mice. V1 neurons responded primarily to gaze shifts, where head movements are accompanied by saccadic eye movements, but not to head movements where compensatory eye movements stabilize gaze. A variety of activity patterns immediately followed gaze shifts, including units with positive, biphasic, or negative responses, and together these responses formed a temporal sequence following the gaze shift. These responses were greatly diminished in the dark for the vast majority of units, replaced by a uniform suppression of activity, and were similar to those evoked by sequentially flashed stimuli in head-fixed conditions, suggesting that gaze shift transients represent the temporal response to the rapid onset of new visual input. Notably, neurons responded in a sequence that matches their spatial frequency preference, from low to high spatial frequency tuning, consistent with coarse-to-fine processing of the visual scene following each gaze shift. Recordings in foveal V1 of freely gazing head-fixed marmosets revealed a similar sequence of temporal response following a saccade, as well as the progression of spatial frequency tuning. Together, our results demonstrate that active vision in both mice and marmosets consists of a dynamic temporal sequence of neural activity associated with visual sampling. Highlights During free movement, neurons in mouse V1 respond to head movements that are accompanied by a gaze-shifting saccadic eye movement, but not a compensatory eye movement. Neurons respond to gaze shifts with diverse temporal dynamics that form a sequence across the population, from early positive responses to biphasic and negative responses. In darkness, most neurons show a uniform suppression following a gaze shift. Temporal dynamics of responses correspond to a neuron’s temporal and spatial frequency preferences, consistent with a coarse-to-fine processing sequence. A similar temporal sequence following saccades is observed in foveal V1 of freely gazing head-fixed marmosets, demonstrating shared aspects of active visual processing across species.

Abstract Organisms process sensory information in the context of their own moving bodies, an idea referred to as embodiment. This idea is important for developmental neuroscience, and increasingly plays a role in robotics and systems neuroscience. The mechanisms that support such embodiment are unknown, but a manifestation could be the observation in mice of brain-wide neuromodulation, including in the primary visual cortex, driven by task-irrelevant spontaneous body movements. Here we tested this hypothesis in macaque monkeys, a primate model for human vision, by simultaneously recording visual cortex activity and facial and body movements. Activity in the visual cortex (V1, V2, V3/V3A) was associated with the animals’ own movements, but this modulation was largely explained by the impact of the movements on the retinal image. These results suggest that embodiment in primate vision may be realized by input provided by the eyes themselves.

When mice run, activity in their primary visual cortex (V1) is strongly modulated. This observation has altered conceptions of a brain region assumed to be a passive image processor. Extensive work has followed to dissect the circuits and functions of running-correlated modulation. However, it remains unclear whether visual processing in primates might similarly change during locomotion. We therefore measured V1 activity in marmosets while they viewed stimuli on a treadmill. In contrast to mouse, running-correlated modulations of marmoset V1 were small and tended to be slightly suppressive. Population-level analyses revealed trial-to-trial fluctuations of shared gain across V1 in both species, but while strongly correlated with running in mice, gain modulations were smaller and more often negatively correlated with running in marmosets. Thus, population-wide fluctuations of V1 may reflect a common feature of mammalian visual cortical function, but important quantitative differences point to distinct consequences for the relation between vision and action in primates versus rodents.

Abstract The synaptic inputs to single cortical neurons exhibit substantial diversity in their sensory-driven activity. What this diversity reflects is unclear, and appears counter-productive in generating selective somatic responses to specific stimuli. We propose that synaptic diversity arises because neurons decode information from upstream populations. Focusing on a single sensory variable, orientation, we construct a probabilistic decoder that estimates the stimulus orientation from the responses of a realistic, hypothetical input population of neurons. We provide a straightforward mapping from the decoder weights to real excitatory synapses, and find that optimal decoding requires diverse input weights. Analytically derived weights exhibit diversity whenever upstream input populations consist of noisy, correlated, and heterogeneous neurons, as is typically found in vivo . In fact, in silico weight diversity was necessary to accurately decode orientation and matched the functional heterogeneity of dendritic spines imaged in vivo. Our results indicate that synaptic diversity is a necessary component of information transmission and reframes studies of connectivity through the lens of probabilistic population codes. These results suggest that the mapping from synaptic inputs to somatic selectivity may not be directly interpretable without considering input covariance and highlights the importance of population codes in pursuit of the cortical connectome.

Abstract Neural decoding methods provide a powerful tool for quantifying the information content of neural population codes and the limits imposed by correlations in neural activity. However, standard decoding methods are prone to overfitting and scale poorly to high-dimensional settings. Here, we introduce a novel decoding method to overcome these limitations. Our approach, the Gaussian process multi-class decoder (GPMD), is well-suited to decoding a continuous low-dimensional variable from high-dimensional population activity, and provides a platform for assessing the importance of correlations in neural population codes. The GPMD is a multinomial logistic regression model with a Gaussian process prior over the decoding weights. The prior includes hyperparameters that govern the smoothness of each neuron’s decoding weights, allowing automatic pruning of uninformative neurons during inference. We provide a variational inference method for fitting the GPMD to data, which scales to hundreds or thousands of neurons and performs well even in datasets with more neurons than trials. We apply the GPMD to recordings from primary visual cortex in three different species: monkey, ferret, and mouse. Our decoder achieves state-of-the-art accuracy on all three datasets, and substantially outperforms independent Bayesian decoding, showing that knowledge of the correlation structure is essential for optimal decoding in all three species.