The authors developed a model of neuron firing in which spike generation arises from the combination of sensory drive and stimulus-independent modulatory influences. This model provides an accurate account of neuron responses in multiple visual areas, suggesting that variability originates from excitability fluctuations that increase in strength along the visual pathway. Responses of sensory neurons differ across repeated measurements. This variability is usually treated as stochasticity arising within neurons or neural circuits. However, some portion of the variability arises from fluctuations in excitability due to factors that are not purely sensory, such as arousal, attention and adaptation. To isolate these fluctuations, we developed a model in which spikes are generated by a Poisson process whose rate is the product of a drive that is sensory in origin and a gain summarizing stimulus-independent modulatory influences on excitability. This model provides an accurate account of response distributions of visual neurons in macaque lateral geniculate nucleus and cortical areas V1, V2 and MT, revealing that variability originates in large part from excitability fluctuations that are correlated over time and between neurons, and that increase in strength along the visual pathway. The model provides a parsimonious explanation for observed systematic dependencies of response variability and covariability on firing rate.

The visual world is richly adorned with texture, which can serve to delineate important elements of natural scenes. In anesthetized macaque monkeys, selectivity for the statistical features of natural texture is weak in V1, but substantial in V2, suggesting that neuronal activity in V2 might directly support texture perception. To test this, we investigated the relation between single cell activity in macaque V1 and V2 and simultaneously measured behavioral judgments of texture. We generated stimuli along a continuum between naturalistic texture and phase-randomized noise and trained two macaque monkeys to judge whether a sample texture more closely resembled one or the other extreme. Analysis of responses revealed that individual V1 and V2 neurons carried much less information about texture naturalness than behavioral reports. However, the sensitivity of V2 neurons, especially those preferring naturalistic textures, was significantly closer to that of behavior compared with V1. The firing of both V1 and V2 neurons predicted perceptual choices in response to repeated presentations of the same ambiguous stimulus in one monkey, despite low individual neural sensitivity. However, neither population predicted choice in the second monkey. We conclude that neural responses supporting texture perception likely continue to develop downstream of V2. Further, combined with neural data recorded while the same two monkeys performed an orientation discrimination task, our results demonstrate that choice-correlated neural activity in early sensory cortex is unstable across observers and tasks, untethered from neuronal sensitivity, and thus unlikely to reflect a critical aspect of the formation of perceptual decisions.

Decisions vary in difficulty. Humans know this and typically report more confidence in easy than in difficult decisions. However, confidence reports do not perfectly track decision accuracy, but also reflect response biases and difficulty misjudgments. To isolate the quality of confidence reports, we developed a model of the decision-making process underlying choice-confidence data. In this model, confidence reflects a subject’s estimate of the reliability of their decision. The quality of this estimate is limited by the subject’s uncertainty about the uncertainty of the variable that informs their decision (“meta-uncertainty”). This model provides an accurate account of choice-confidence data across a broad range of perceptual and cognitive tasks, revealing that meta-uncertainty varies across subjects, is stable over time, generalizes across some domains, and can be manipulated experimentally. The model offers a parsimonious explanation for the computational processes that underlie and constrain the sense of confidence.

Perception is fallible 1–3 . Humans know this 4–6 , and so do some non-human animals like macaque monkeys 7–14 . When monkeys report more confidence in a perceptual decision, that decision is more likely to be correct. It is not known how neural circuits in the primate brain assess the quality of perceptual decisions. Here, we test two hypotheses. First, that decision confidence is related to the structure of population activity in sensory cortex. And second, that this relation differs from the one between sensory activity and decision content. We trained macaque monkeys to judge the orientation of ambiguous stimuli and additionally report their confidence in these judgments. We recorded population activity in the primary visual cortex and used decoders to expose the relationship between this activity and the choice-confidence reports. Our analysis validated both hypotheses and suggests that perceptual decisions arise from a neural computation downstream of visual cortex that estimates the most likely interpretation of a sensory response, while decision confidence instead reflects a computation that evaluates whether this sensory response will produce a reliable decision. Our work establishes a direct link between neural population activity in sensory cortex and the metacognitive ability to introspect about the quality of perceptual decisions.

During visually guided behavior, the prefrontal cortex plays a pivotal role in mapping sensory inputs onto appropriate motor plans [1]. When the sensory input is ambiguous, this involves deliberation. It is not known whether the deliberation is implemented as a competition between possible stimulus interpretations [2, 3] or between possible motor plans [4, 5, 6]. Here we study neural population activity in prefrontal cortex of macaque monkeys trained to flexibly report categorical judgments of ambiguous visual stimuli. Our task design allowed for the dissociation of neural predictors of the upcoming categorical choice and the upcoming motor response used to report this choice. We find that the population activity initially represents the formation of a categorical choice before transitioning into the stereotypical representation of the motor plan. We show that stimulus strength and prior expectations both bear on the formation of the categorical choice, but not on the formation of the action plan. These results suggest that prefrontal circuits involved in action selection are also used for the deliberation of abstract propositions divorced from a specific motor plan, thus providing a crucial mechanism for abstract reasoning.

ABSTRACT To interpret the sensory environment, the brain combines ambiguous sensory measurements with context-specific prior experience. But environmental contexts can change abruptly and unpredictably, resulting in uncertainty about the current context. Here we address two questions: how should context-specific prior knowledge optimally guide the interpretation of sensory stimuli in changing environments, and do human decision-making strategies resemble this optimum? We probe these questions with a task in which subjects report the orientation of ambiguous visual stimuli that were drawn from three dynamically switching distributions, representing different environmental contexts. We derive predictions for an ideal Bayesian observer that leverages the statistical structure of the task to maximize decision accuracy and show that its decisions are biased by task context. The magnitude of this decision bias is not a fixed property of the sensory measurement but depends on the observer’s belief about the current context. The model therefore predicts that decision bias will grow with the reliability of the context cue, the stability of the environment, and with the number of trials since the last context switch. Analysis of human choice data validates all three predictions, providing evidence that the brain continuously updates probabilistic representations of the environment to best interpret an uncertain, ever-changing world. SIGNIFICANCE The brain relies on prior knowledge to make perceptual inferences when sensory information is ambiguous. However, when the environmental context changes, the appropriate prior knowledge often changes with it. Here, we develop a Bayesian observer model to investigate how to make optimal perceptual inferences when sensory information and environmental context are both uncertain. The behavioral signature of this strategy is a context-appropriate decision bias whose strength grows with the reliability of the context cue, the stability of the environment, and with the number of decisions since the most recent change in context. We identified exactly this pattern in the behavior of human subjects performing a dynamic orientation discrimination task. Together, our results suggest that the brain continuously updates probabilistic representations of the environment to make perceptual decisions in the face of uncertainty over both sensory and contextual information.

Neural population activity in sensory cortex informs our perceptual interpretation of the environment. Oftentimes, this population activity will support multiple alternative interpretations. The larger the spread of probability over different alternatives, the more uncertain the selected perceptual interpretation. We test the hypothesis that the reliability of perceptual interpretations can be revealed through simple transformations of sensory population activity. We recorded V1 population activity in fixating macaques while presenting oriented stimuli under different levels of nuisance variability and signal strength. We developed a decoding procedure to infer from V1 activity the most likely stimulus orientation as well as the certainty of this estimate. Our analysis shows that response magnitude, response dispersion, and variability in response gain all offer useful proxies for orientation certainty. Of these three metrics, the last one has the strongest association with the decoder's uncertainty estimates. These results clarify that the nature of neural population activity in sensory cortex provides downstream circuits with multiple options to assess the reliability of perceptual interpretations.

A common approach in the study of cognition is to train subjects to perform a task that requires a particular cognitive process to solve. Analysis of the subjects' response behavior while they perform these tasks can offer valuable insight into the underlying mechanisms that give rise to cognition. However, if subjects are able to accurately perform such a task by using a strategy that doesn't involve the targeted cognitive process, data from those experiments becomes more difficult to interpret. A number of perceptual decision-making tasks have been designed to study the accumulation of evidence, i.e. how noisy information presented over time is used to form a decision. Recent work, however, has highlighted how a variety of non-integration strategies can by some measures yield strikingly near-optimal performance on such tasks, raising the possibility that past conclusions from these experiments may be incorrect. Here we assemble the largest data set of animals performing one such task - the "Poisson Clicks" task - which is optimally solved by the gradual integration of pulsatile auditory noise. To investigate whether rats are in fact using this strategy, we compiled data from 515 rats performing over 35 million trials. We compare performance of 3 degenerate strategies (that circumvent the need to integrate evidence) to the optimal (integration) strategy. We demonstrate that the pulsatile nature of the stimuli used in the Poisson Clicks Task makes it possible to distinguish which strategy subjects use. Overwhelmingly, we find the rats are using an integration strategy when performing the Poisson Clicks Task.

Motion selectivity in primary visual cortex (V1) is approximately separable in orientation, spatial frequency, and temporal frequency (“frequency-separable”). Models for area MT neurons posit that their selectivity arises by combining direction-selective V1 afferents whose tuning is organized around a tilted plane in the frequency domain, specifying a particular direction and speed (“velocity-separable”). This construction explains “pattern direction selective” MT neurons, which are velocity-selective but relatively invariant to spatial structure, including spatial frequency, texture and shape. Surprisingly, when tested with single drifting gratings, most MT neurons’ responses are fit equally well by models with either form of separability. However, responses to plaids (sums of two moving gratings) tend to be better described as velocity-separable, especially for pattern neurons. We conclude that direction selectivity in MT is primarily computed by summing V1 afferents, but pattern-invariant velocity tuning for complex stimuli may arise from local, recurrent interactions.Significance Statement How do sensory systems build representations of complex features from simpler ones? Visual motion representation in cortex is a well-studied example: the direction and speed of moving objects, regardless of shape or texture, is computed from the local motion of oriented edges. Here we quantify tuning properties based on single-unit recordings in primate area MT, then fit a novel, generalized model of motion computation. The model reveals two core properties of MT neurons — speed tuning and invariance to local edge orientation — result from a single organizing principle: each MT neuron combines afferents that represent edge motions consistent with a common velocity, much as V1 simple cells combine thalamic inputs consistent with a common orientation.

Uncertainty is intrinsic to perception. Neural circuits which process sensory information must therefore also represent the reliability of this information. How they do so is a topic of debate. We propose a view of visual cortex in which average neural response strength encodes stimulus features, while cross-neuron variability in response gain encodes the uncertainty of these features. To test our theory, we studied spiking activity of neurons in macaque V1 and V2 elicited by repeated presentations of stimuli whose uncertainty was manipulated in distinct ways. We show that gain variability of individual neurons is tuned to stimulus uncertainty, that this tuning is invariant to the source of uncertainty, and that it is specific to the features encoded by these neurons. We demonstrate that this behavior naturally arises from known gain-control mechanisms, and derive how downstream circuits can jointly decode stimulus features and their uncertainty from sensory population activity.