Summary Lateral intraparietal (LIP) neurons represent formation of perceptual decisions involving eye movements. In circuit models for these decisions, neural ensembles that encode actions compete to form decisions. Consequently, decision variables (DVs) are represented as partially potentiated action plans, where ensembles increase their average responses for stronger evidence supporting their preferred actions. As another consequence, DV representation and readout are implemented similarly for decisions with identical competing actions, irrespective of input and task context differences. Here, we challenge those core principles using a novel face-discrimination task, where LIP firing rates decrease with supporting evidence, contrary to conventional motion-discrimination tasks. These opposite response patterns arise from similar mechanisms in which decisions form along curved population-response manifolds misaligned with action representations. These manifolds rotate in state space based on task context, necessitating distinct readouts. We show similar manifolds in lateral and medial prefrontal cortices, suggesting a ubiquitous representational geometry across decision-making circuits.

Abstract Visual object recognition relies on elaborate sensory processes that transform retinal inputs to object representations, but it also requires decision-making processes that read out object representations and function over prolonged time scales. The computational properties of these decision-making processes remain underexplored for object recognition. Here, we study these computations by developing a stochastic multi-feature face categorization task. Using quantitative models and tight control of spatiotemporal visual information, we demonstrate that humans categorize faces through an integration process that first linearly adds the evidence conferred by task-relevant features over space to create aggregated momentary evidence, and then linearly integrates it over time with minimum information loss. Discrimination of stimuli along different category boundaries (e.g., identity or expression of a face) is implemented by adjusting feature weights of spatial integration. This linear but flexible integration process over space and time bridges past studies on simple perceptual decisions to complex object recognition behavior.

Abstract The current view of perceptual decision-making suggests that once the decision is made, a single motor program associated with the decision is carried out, irrespective of the degree of uncertainty involved in the decision-making process. As opposed to this view, we show that different levels of decision uncertainty contextualize actions differently, allowing the brain to form different motor memories based on each context. The match between decision uncertainty during learning and retrieval is critical for successful motor memory retrieval. The same movement trajectory can be associated with different motor memories if each memory is linked to a different level of decision uncertainty. Encoding motor memories based on decision contexts may enhance the robustness of control during the varying neural activities induced by different cognitive states.

Abstract Humans can flexibly change rules to categorize sensory stimuli, but their performance degrades immediately after a task switch. This switch cost is believed to reflect a limitation in cognitive control, although the bottlenecks responsible for this remain controversial. Here, we show that humans exhibit a brief reduction in the efficiency of converting sensory inputs into decision evidence immediately after changing rules in perceptual tasks. Participants performed a flexible face categorization task in which they classified parametrically generated face stimuli based on one of two rules, switching every few trials. Although participants were always informed of a rule switch by a context cue, they showed a specific pattern of increase in reaction times, regardless of the time they were given to prepare for the switch. Psychophysical reverse correlation and computational modeling revealed a reduction in sensory weighting immediately after a rule switch, which recovered within a few hundred milliseconds after stimulus presentation. Furthermore, this cost depends on the sensory features being switched, suggesting a major bottleneck at the stage of adjusting the sensory information flow. We propose that decision-making circuits cannot fully adjust their sensory readout based on an abstract context cue alone, but rather require the presence of an actual stimulus to tune it, leading to a limitation in flexible perceptual decision making.

Visual object recognition has been extensively studied under fixation conditions, but our natural viewing involves frequent saccadic eye movements that scan multiple local informative features within an object (e.g., eyes and mouth in a face image). Such visual exploration can facilitate object recognition, but mechanistic accounts of the contribution of saccades are yet to be established due to the presumed complexity of the interactions between the visual and oculomotor systems. Here, we present a framework for formulating object recognition as a process of accumulating evidence from local features through saccades to render a decision. This approach offers a simple model that quantitatively explains human face and object categorization behavior, even under conditions in which people freely make saccades to scan local features, departing from past studies that required controlled eye movements to examine trans-saccadic integration. Notably, our experimental results showed that active saccade commands (efference copy) did not substantially contribute to behavioral performance and that the patterns of saccades were largely independent of the ongoing decision-making processes. Therefore, we propose that object recognition with saccades can be approximated using a parsimonious decision-making model without assuming complex interactions between the visual and oculomotor systems.

Goal directed behavior depends on both sensory mechanisms that gather information from the outside world and decision-making mechanisms that select appropriate behavior based on that sensory information. Psychophysical reverse correlation is commonly used to quantify how fluctuations of sensory stimuli influence behavior and is generally believed to uncover the spatiotemporal weighting functions of sensory processes. Here we show that reverse correlations also reflect decision-making processes and can deviate significantly from the true sensory filters. Specifically, changes of decision bound and mechanisms of evidence integration systematically alter psychophysical reverse correlations. Similarly, trial-to-trial variability of sensory and motor delays and decision times causes systematic distortions in psychophysical kernels that should not be attributed to sensory mechanisms. We show that ignoring details of the decision-making process results in misinterpretation of reverse correlations, but proper use of these details turns reverse correlation into a powerful method for studying both sensory and decision-making mechanisms.

The current view of perceptual decision-making suggests that once a decision is made, only a single motor programme associated with the decision is carried out, irrespective of the uncertainty involved in decision making. In contrast, we show that multiple motor programmes can be acquired on the basis of the preceding uncertainty of the decision, indicating that decision uncertainty functions as a contextual cue for motor memory. The actions learned after making certain (uncertain) decisions are only partially transferred to uncertain (certain) decisions. Participants were able to form distinct motor memories for the same movement on the basis of the preceding decision uncertainty. Crucially, this contextual effect generalizes to novel stimuli with matched uncertainty levels, demonstrating that decision uncertainty is itself a contextual cue. These findings broaden the understanding of contextual inference in motor memory, emphasizing that it extends beyond direct motor control cues to encompass the decision-making process.