Both the speed and the accuracy of a perceptual judgment depend on the strength of the sensory stimulation. When stimulus strength is high, accuracy is high and response time is fast; when stimulus strength is low, accuracy is low and response time is slow. Although the psychometric function is well established as a tool for analyzing the relationship between accuracy and stimulus strength, the corresponding chronometric function for the relationship between response time and stimulus strength has not received as much consideration. In this article, we describe a theory of perceptual decision making based on a diffusion model. In it, a decision is based on the additive accumulation of sensory evidence over time to a bound. Combined with simple scaling assumptions, the proportional-rate and power-rate diffusion models predict simple analytic expressions for both the chronometric and psychometric functions. In a series of psychophysical experiments, we show that this theory accounts for response time and accuracy as a function of both stimulus strength and speed-accuracy instructions. In particular, the results demonstrate a close coupling between response time and accuracy. The theory is also shown to subsume the predictions of Piéron’s Law, a power function dependence of response time on stimulus strength. The theory’s analytic chronometric function allows one to extend theories of accuracy to response time.

We performed a series of functional magnetic resonance imaging experiments to divide the human MT+ complex into subregions that may be identified as homologs to a pair of macaque motion-responsive visual areas: the middle temporal area (MT) and the medial superior temporal area (MST). Using stimuli designed to tease apart differences in retinotopic organization and receptive field size, we established a double dissociation between two distinct MT+ subregions in 8 of the 10 hemispheres studied. The first subregion exhibited retinotopic organization but did not respond to peripheral ipsilateral stimulation, indicative of smaller receptive fields. Conversely, the second subregion within MT+ did not demonstrate retinotopic organization but did respond to peripheral stimuli in both the ipsilateral and contralateral visual hemifields, indicative of larger receptive fields. We tentatively identify these subregions as the human homologues of macaque MT and MST, respectively. Putative human MT and MST were typically located on the posterior/ventral and anterior/dorsal banks of a dorsal/posterior limb of the inferior temporal sulcus, similar to their relative positions in the macaque superior temporal sulcus.

Decision-making often requires the accumulation and maintenance of evidence over time. Although the neural signals underlying sensory processing have been studied extensively, little is known about how the brain accrues and holds these sensory signals to guide later actions. Previous work has suggested that neural activity in the lateral intraparietal area (LIP) of the monkey brain reflects the formation of perceptual decisions in a random dot direction-discrimination task in which monkeys communicate their decisions with eye-movement responses. We tested the hypothesis that decision-related neural activity in LIP represents the time integral of the momentary motion "evidence." By briefly perturbing the strength of the visual motion stimulus during the formation of perceptual decisions, we tested whether this LIP activity reflected a persistent, integrated "memory" of these brief sensory events. We found that the responses of LIP neurons reflected substantial temporal integration. Brief pulses had persistent effects on both the monkeys' choices and the responses of neurons in LIP, lasting up to 800 ms after appearance. These results demonstrate that LIP is involved in neural time integration underlying the accumulation of evidence in this task. Additional analyses suggest that decision-related LIP responses, as well as behavioral choices and reaction times, can be explained by near-perfect time integration that stops when a criterion amount of evidence has been accumulated. Temporal integration may be a fundamental computation underlying higher cognitive functions that are dissociated from immediate sensory inputs or motor outputs.

A better way to explain neuronal activity A brain region called the lateral intraparietal (LIP) area is involved in primate decision-making. The dominant model to explain neuronal firing in LIP assumes that neurons slowly accumulate sensory evidence in favor of one choice or another. Latimer et al. hypothesized that neurons instead exhibit rapid steps or jumps in their firing rate, reflecting discrete changes in the animal's decision state. They recorded from LIP neurons in macaque monkeys performing a motion-discrimination task. LIP spike trains in most cells involved discrete stepping dynamics rather than slow evidence integration dynamics. Science , this issue p. 184

Abstract When mice run, activity in their primary visual cortex (V1) is strongly modulated. This observation has altered conception of a brain region assumed to be a passive image processor. Extensive work has followed to dissect the circuits and functions of running-correlated modulation. However, it remains unclear whether visual processing in primates might similarly change during locomotion. We measured V1 activity in marmosets while they viewed stimuli on a treadmill. In contrast to mouse V1, marmoset V1 was slightly but reliably suppressed during running. Population-level analyses revealed trial-to-trial fluctuations of shared gain across V1 in both species, but these gain modulations were smaller and more often negatively correlated with running in marmosets. Thus, population-scale gain fluctuations of V1 reflect a common feature of mammalian visual cortical function, but important quantitative differences yield distinct consequences for the relation between vision and action in primates versus rodents.

Abstract We introduce a straightforward, robust method for recording and analyzing spiking activity over timeframes longer than a single session, with primary application to the marmoset ( Callithrix jacchus ). Although in theory the marmoset’s smooth brain allows for broad deployment of powerful tools in primate cortex, in practice marmosets do not typically engage in long experimental sessions akin to rhesus monkeys. This potentially limits their value for detailed, quantitative neurophysiological study. Here we describe chronically-implanted arrays with a 3D arrangement of electrodes yielding stable single and multi-unit responses, and an analytic method for creating “supersessions” combining that array data across multiple experiments. We could match units across different recording sessions over several weeks, demonstrating the feasibility of pooling data over sessions. This could be a key tool for extending the viability of marmosets for dissecting neural computations in primate cortex.

Abstract Macaque area MT is well known for its visual motion selectivity and relevance to motion perception, but the possibility of it also reflecting non-sensory functions has largely been ignored. Manipulating subjects’ temporal evidence weighting revealed multiple components of MT responses that were, surprisingly, not interpretable as behaviorally-relevant modulations of motion encoding, nor as consequences of readout of motion direction. MT’s time-varying motion-driven responses were starkly changed by our strategic manipulation, but with timecourses opposite the subjects’ temporal weighting strategies. Furthermore, large choice-correlated signals were represented in population activity distinctly from motion responses (even after the stimulus) with multiple phases that both lagged psychophysical readout and preceded motor responses. These results reveal multiple cognitive contributions to MT responses that are task-related but not functionally relevant to encoding or decoding of motion for psychophysical direction discrimination, calling into question its nature as a simple sensory area.

Abstract We recently presented a statistical comparison between two models of latent dynamics in macaque lateral intraparietal (LIP) area spike trains—a continuous ‘ramping’ (diffusion-to-bound) model, and a discrete ‘stepping’ model—and found that a substantial fraction of neurons (recorded in two different studies) were better supported by the stepping model (Latimer et al., 2015). Here, we respond to a recent challenge to the validity of these findings that focuses primarily on the possibility of a lower bound on LIP firing rates (Zylberberg & Shadlen, 2016). The paper in question proposed alternate formulations of the ramping model, and argued (via indirect analyses) that half the neurons in the population were better explained by the new model; if correct, this would lead to an even split in the number of neurons better explained by each model. These analyses, while interesting, do not alter the conclusions of our original paper. Here, we review the criticisms raised by Zylberberg & Shadlen and report several new analyses using models with lower bounds. First, we show that the stepping model continued to provide a better description of LIP spike trains when fit using only an early period of each trial. Second, we performed a direct model comparison between our stepping model and a ramping-with-baseline model proposed by Zylberberg & Shadlen; we found that (in a pleasing moment of agreement) roughly half the neurons were better explained by each model. Interestingly, inspection of the cells that switched classifications revealed that many did not strictly exhibit the classical ramping PSTHs that motivated these analyses in the first place. We also examined two other issues raised in recent discussions of LIP: (1) We show that a non-integrating model is consistent with some core aspects of behavioral data previously offered as evidence for continuous integration; and (2) We examine analyses based on the response covariance (“CorCE”), and show that it does not reliably distinguish ramping and stepping dynamics for our dataset. Taken together, these discussions highlight the value of data-driven characterizations of both neural and behavioral dynamics with appropriate statistical tools.

Making informed decisions in noisy environments requires integrating sensory information over time. However, recent work has suggested that it may be difficult to determine whether an animal’s decision-making strategy relies on evidence integration or not. In particular, strategies based on extrema-detection or random snapshots of the evidence stream may be difficult or even impossible to distinguish from classic evidence integration. Moreover, such non-integration strategies might be surprisingly common in experiments that aimed to study decisions based on integration. To determine whether temporal integration is central to perceptual decision making, we developed a new model-based approach for comparing temporal integration against alternative “non-integration” strategies for tasks in which the sensory signal is composed of discrete stimulus samples. We applied these methods to behavioral data from monkeys, rats, and humans performing a variety of sensory decision-making tasks. In all species and tasks, we found converging evidence in favor of temporal integration. First, in all observers across studies, the integration model better accounted for standard behavioral statistics such as psychometric curves and psychophysical kernels. Second, we found that sensory samples with large evidence do not contribute disproportionately to subject choices, as predicted by an extrema-detection strategy. Finally, we provide a direct confirmation of temporal integration by showing that the sum of both early and late evidence contributed to observer decisions. Overall, our results provide experimental evidence suggesting that temporal integration is an ubiquitous feature in mammalian perceptual decision-making. Our study also highlights the benefits of using experimental paradigms where the temporal stream of sensory evidence is controlled explicitly by the experimenter, and known precisely by the analyst, to characterize the temporal properties of the decision process.

For stimuli near perceptual threshold, the trial-by-trial activity of single neurons in many sensory areas is correlated with the animal's perceptual report. This phenomenon has often been attributed to feedforward readout of the neural activity by the downstream decision-making circuits. The interpretation of choice-correlated activity is quite ambiguous, but its meaning can be better understood in the light of population-wide correlations among sensory neurons. Using a statistical nonlinear dimensionality reduction technique on single-trial ensemble recordings from the middle temporal area during perceptual-decision-making, we extracted low-dimensional neural trajectories that captured the population-wide fluctuations. We dissected the particular contributions of sensory-driven versus choice-correlated activity in the low-dimensional population code. We found that the neural trajectories strongly encoded the direction of the stimulus in single dimension with a temporal signature similar to that of single MT neurons. If the downstream circuit were optimally utilizing this information, choice-correlated signals should be aligned with this stimulus encoding dimension. Surprisingly, we found that a large component of the choice information resides in the subspace orthogonal to the stimulus representation inconsistent with the optimal readout view. This misaligned choice information allows the feedforward sensory information to coexist with the decision-making process. The time course of these signals suggest that this misaligned contribution likely is feedback from the downstream areas. We hypothesize that this non-corrupting choice-correlated feedback might be related to learning or reinforcing sensory-motor relations in the sensory population.