During perceptual decisions, the activity of sensory neurons correlates with a subject's percept, even when the physical stimulus is identical. The origin of this correlation is unknown. Current theory proposes a causal effect of noise in sensory neurons on perceptual decisions, but the correlation could result from different brain states associated with the perceptual choice (a top-down explanation). These two schemes have very different implications for the role of sensory neurons in forming decisions. Here we use white-noise analysis to measure tuning functions of V2 neurons associated with choice and simultaneously measure how the variation in the stimulus affects the subjects' (two macaques) perceptual decisions. In causal models, stronger effects of the stimulus upon decisions, mediated by sensory neurons, are associated with stronger choice-related activity. However, we find that over the time course of the trial these measures change in different directions-at odds with causal models. An analysis of the effect of reward size also supports this conclusion. Finally, we find that choice is associated with changes in neuronal gain that are incompatible with causal models. All three results are readily explained if choice is associated with changes in neuronal gain caused by top-down phenomena that closely resemble attention. We conclude that top-down processes contribute to choice-related activity. Thus, even forming simple sensory decisions involves complex interactions between cognitive processes and sensory neurons.

Neurons throughout the brain modulate their firing rate lawfully in response to changes in sensory input. Theories of neural computation posit that these modulations reflect the outcome of a constrained optimization: neurons aim to efficiently and robustly represent sensory information under resource limitations. Our understanding of how this optimization varies across the brain, however, is still in its infancy. Here, we show that neural responses transform along the dorsal stream of the visual system in a manner consistent with a transition from optimizing for information preservation to optimizing for perceptual discrimination. Focusing on binocular disparity - the slight differences in how objects project to the two eyes - we re-analyze measurements from neurons characterizing tuning curves in macaque monkey brain regions V1, V2, and MT, and compare these to measurements of the natural visual statistics of binocular disparity. The changes in tuning curve characteristics are computationally consistent with a shift in optimization goals from maximizing the information encoded about naturally occurring binocular disparities to maximizing the ability to support fine disparity discrimination. We find that a change towards tuning curves preferring larger disparities is a key driver of this shift. These results provide new insight into previously-identified differences between disparity-selective regions of cortex and suggest these differences play an important role in supporting visually-guided behavior. Our findings support a key re-framing of optimal coding in regions of the brain that contain sensory information, emphasizing the need to consider not just information preservation and neural resources, but also relevance to behavior.

Abstract To understand the complexity of stimulus selectivity in primary visual cortex (V1), models constructed to match observed responses to complex time-varying stimuli, instead of to explain responses to simple parametric stimuli, are increasingly used. While such models often can more accurately reflect the computations performed by V1 neurons in more natural visual environments, they do not by themselves provide insight into established measures of V1 neural selectivity such as receptive field size, spatial frequency tuning and phase invariance. Here, we suggest a series of analyses that can be directly applied to encoding models to link complex encoding models to more interpretable aspects of stimulus selectivity, applied to nonlinear models of V1 neurons recorded in awake macaque in response to random bar stimuli. In linking model properties to more classical measurements, we demonstrate several novel aspects of V1 selectivity not available to simpler experimental measurements. For example, we find that individual spatiotemporal elements of the V1 models often have a smaller spatial scale than the overall neuron sensitivity, and that this results in non-trivial tuning to spatial frequencies. Additionally, our proposed measures of nonlinear integration suggest that more classical classifications of V1 neurons into simple versus complex cells are spatial-frequency dependent. In total, rather than obfuscate classical characterizations of V1 neurons, model-based characterizations offer a means to more fully understand their selectivity, and provide a means to link their classical tuning properties to their roles in more complex, natural, visual processing. Significance statement Visual neurons are increasingly being studied with more complex, natural visual stimuli, with increasingly complex models necessary to characterize their response properties. Here, we describe a battery of analyses that relate these more complex models to classical characterizations. Using such model-based characterizations of V1 neurons furthermore yields several new insights into V1 processing not possible to capture in more classical means to measure their visual selectivity.

The variable responses of sensory neurons tend to be weakly correlated (spike-count correlation, rsc). This is widely thought to reflect noise in shared afferents, in which case rsc can limit the reliability of sensory coding. However, it could also be due to feedback from higher-order brain regions. Currently, the relative contribution of these sources is unknown. We addressed this by recording from populations of V1 neurons in macaques performing different discrimination tasks involving the same visual input. We found that the structure of rsc (the way rsc varied with neuronal stimulus preference) changed systematically with task instruction. Therefore, even at the earliest stage in the cortical visual hierarchy, rsc structure during task performance primarily reflects feedback dynamics. Consequently, previous proposals for how rsc constrains sensory processing need not apply. Furthermore, we show that correlations between the activity of single neurons and choice depend on feedback engaged by the task.

A long-standing observation about primary visual cortex (V1) is that the stimulus selectivity of neurons can be well explained with a cascade of linear computations followed by a nonlinear rectification stage. This framework remains highly influential in systems neuroscience and has also inspired recent efforts in artificial intelligence. The success of these models include describing the disparity-selectivity of binocular neurons in V1. Some aspects of real neuronal disparity responses are hard to explain with simple linear-nonlinear models, notably the attenuated response of real cells to "anticorrelated" stimuli which violate natural binocular image statistics. General linear-nonlinear models can account for this attenuation, but no one has yet tested whether they quantitatively match the response of real neurons. Here, we exhaustively test this framework using recently developed optimisation techniques. We show that many cells are very poorly characterised by even general linear-nonlinear models. Strikingly, the models can account for neuronal responses to unnatural anticorrelated stimuli as well as to most natural, correlated stimuli. However, the models fail to capture the particularly strong response to binocularly correlated stimuli at the preferred disparity of the cell. Thus, V1 neurons perform an amplification of responses to correlated stimuli which cannot be accounted for by a linear-nonlinear cascade. The implication is that even simple stimulus selectivity in V1 requires more complex computations than previously envisaged.

1 Abstract The motion energy model is the standard account of motion detection in animals from beetles to humans. Despite this common basis, we show here that a difference in the early stages of visual processing between mammals and insects leads this model to make radically different behavioural predictions. In insects, early filtering is spatially lowpass, which makes the surprising prediction that motion detection can be impaired by “invisible” noise, i.e. noise at a spatial frequency that elicits no response when presented on its own as a signal. We confirm this prediction using the optomotor response of praying mantis Sphodromantis lineola . This does not occur in mammals, where spatially bandpass early filtering means that linear systems techniques, such as deriving channel sensitivity from masking functions, remain approximately valid. Counter-intuitive effects such as masking by invisible noise may occur in neural circuits wherever a nonlinearity is followed by a difference operation.

Early vision proceeds through distinct ON and OFF channels, which encode luminance increments and decrements respectively. It has been argued that these channels also contribute separately to stereoscopic vision. This is based on the fact that observers perform better on a noisy disparity discrimination task when the stimulus is a random-dot pattern consisting of equal numbers of black and white dots (a "mixed-polarity stimulus", argued to activate both ON and OFF stereo channels), than when it consists of all-white or all-black dots ("same-polarity", argued to activate only one). However, it is not clear how this theory can be reconciled with our current understanding of disparity encoding. Recently, a binocular convolutional neural network was able to replicate the mixed-polarity advantage shown by human observers, even though it was based on linear filters and contained no mechanisms which would respond separately to black or white dots. Here, we show that the stimuli used in all these experiments contain a subtle artefact. The interocular correlation between left and right images is actually lower for the same-polarity stimuli than for mixed-polarity stimuli with the same amount of disparity noise applied to the dots. Since our current theories suggest stereopsis is based on a correlation-like computation in primary visual cortex, it is then unsurprising that performance was better for the mixed-polarity stimuli. We conclude that there is currently no evidence supporting separate ON and OFF channels in stereopsis.

Direction selective neurons in primary visual cortex (area V1) are affected by the aperture problem, i.e., they are only sensitive to motion orthogonal to their preferred orientation. A solution to this problem first emerges in the middle temporal (MT) area, where a subset of neurons (called pattern cells) combine motion information across multiple orientations and directions, becoming sensitive to pattern motion direction. These cells are expected to play a prominent role in subsequent neural processing, but they are intermixed with cells that behave like V1 cells (component cells), and others that do not clearly fall in either group. The picture is further complicated by the finding that cells that behave like pattern cells with one type of pattern, might behave like component cells for another. We recorded from macaque MT neurons using multi-contact electrodes while presenting both type I and unikinetic plaids, in which the components were 1D noise patterns. We found that the indices that have been used in the past to classify neurons as pattern or component cells work poorly when the properties of the stimulus are not optimized for the cell being recorded, as is always the case with multi-contact arrays. We thus propose alternative measures, which considerably ameliorate the problem, and allow us to gain insights in the signals carried by individual MT neurons. We conclude that arranging cells along a component-to-pattern continuum is an oversimplification, and that the signals carried by individual cells only make sense when embodied in larger populations.