Predictive coding models suggest that predicted sensory signals are attenuated (silencing of prediction error). These models, though influential, are challenged by the fact that prediction sometimes seems to enhance rather than reduce sensory signals, as in the case of attentional cueing experiments. One possible explanation is that in these experiments, prediction (i.e., stimulus probability) is confounded with attention (i.e., task relevance), which is known to boost rather than reduce sensory signal. However, recent theoretical work on predictive coding inspires an alternative hypothesis and suggests that attention and prediction operate synergistically to improve the precision of perceptual inference. This model posits that attention leads to heightened weighting of sensory evidence, thereby reversing the sensory silencing by prediction. Here, we factorially manipulated attention and prediction in a functional magnetic resonance imaging study and distinguished between these 2 hypotheses. Our results support a predictive coding model wherein attention reverses the sensory attenuation of predicted signals.

Abstract Convolutional neural networks show promise as models of biological vision. However, their decision behavior, including the facts that they are deterministic and use equal number of computations for easy and difficult stimuli, differs markedly from human decision-making, thus limiting their applicability as models of human perceptual behavior. Here we develop a new neural network, RTNet, that generates stochastic decisions and human-like response time (RT) distributions. We further performed comprehensive tests that showed RTNet reproduces all foundational features of human accuracy, RT, and confidence and does so better than all current alternatives. To test RTNet’s ability to predict human behavior on novel images, we collected accuracy, RT, and confidence data from 60 human subjects performing a digit discrimination task. We found that the accuracy, RT, and confidence produced by RTNet for individual novel images correlated with the same quantities produced by human subjects. Critically, human subjects who were more similar to the average human performance were also found to be closer to RTNet’s predictions, suggesting that RTNet successfully captured average human behavior. Overall, RTNet is a promising model of human response times that exhibits the critical signatures of perceptual decision making.

Abstract Visual metacognition is the ability to employ confidence ratings in order to predict the accuracy of ones decisions about visual stimuli. Despite years of research, it is still unclear how visual metacognitive efficiency can be manipulated. Here we show that a hierarchical model of confidence generation makes a counterintuitive prediction: Higher sensory noise should increase metacognitive efficiency. The reason is that sensory noise has a large negative influence on the decision (where it is the only corrupting influence) but a smaller negative influence on confidence (where it is one of two corrupting influences; the other one being metacognitive noise). To test this prediction, we used a perceptual learning paradigm to decrease the amount of sensory noise. In Experiment 1, seven days of training led to significant decrease in noise as well as a corresponding decrease in metacognitive efficiency. Experiment 2 showed the same effect in a brief 97-trial learning for each of two different tasks. Finally, in Experiment 3, we experimentally manipulated stimulus contrast to increase sensory noise and observed a corresponding increase in metacognitive efficiency. Our findings demonstrate the existence of a robust positive relationship between sensory noise and metacognitive efficiency. These results could not be captured by a standard model in which decision and confidence judgments are made based on the same underlying information. Thus, our study provides a novel way to directly manipulate metacognitive efficiency and suggests the existence of metacognitive noise that corrupts confidence but not the perceptual decision.

Abstract Research in neuroscience often assumes universal neural mechanisms, but increasing evidence points towards sizeable individual differences in brain activations. What remains unclear is the extent of the idiosyncrasy and whether different types of analyses are associated with different levels of idiosyncrasy. Here we develop a new method for addressing these questions. The method consists of computing the within-subject reliability and subject-to-group similarity of brain activations and submitting these values to a computational model that quantifies the relative strength of group- and subject-level factors. We apply this method to a perceptual decision-making task (N=50) and find that activations related to task, reaction time (RT), and confidence are influenced equally strongly by group- and subject-level factors. Both group- and subject-level factors are dwarfed by a noise factor, though higher levels of smoothing increases their contributions relative to noise. Overall, our method allows for the quantification of group- and subject-level factors of brain activations and thus provides a more detailed understanding of the idiosyncrasy levels in brain activations.

Objectively quantifying subjective phenomena like visual illusions is challenging. We address this issue in the context of the Flashed Face Distortion Effect (FFDE), where faces presented in succession appear distorted and grotesque. We first show that the traditional method of quantifying FFDE - via subjective ratings of the level of distortion - is subject to substantial biases. Motivated by this finding, we develop an objective method for quantifying FFDE by introducing two design innovations. First, we create artificially distorted faces and ask subjects to discriminate between undistorted and objectively distorted faces. Second, we employ both an illusion condition, which includes a succession of 15 face flashes, and a control condition, which includes a single face flash and does not induce an illusion. Using these innovations, we quantify the strength of the face distortion illusion by comparing the response bias for identifying distorted faces between the illusion and control conditions. We find that our method successfully quantifies the face distortion, with subjects exhibiting a more liberal response bias in the illusion condition. Finally, we apply our new method to evaluate how the face distortion illusion is modulated by face eccentricity, face inversion, the temporal frequency of the face flashes, and presence of temporal gaps between consecutive faces. Our results demonstrate the utility of our objective method in quantifying the subjective illusion of face distortion. Critically, the method is general and can be applied to other phenomena that are inherently subjective.

Meaningful variation in internal states that impacts cognition and behavior remains challenging to discover and characterize. Here we leveraged trial-to-trial fluctuations in the brain-wide signal recorded using functional MRI to test if distinct sets of brain regions are activated on different trials when accomplishing the same task. Across three different perceptual decision-making experiments, we estimated the brain activations for each trial. We then clustered the trials based on their similarity using modularity-maximization, a data-driven classification method. In each experiment, we found multiple distinct but stable subtypes of trials, suggesting that the same task can be accomplished in the presence of widely varying brain activation patterns. Surprisingly, in all experiments, one of the subtypes exhibited strong activation in the default mode network, which is typically thought to decrease in activity during tasks that require externally focused attention. The remaining subtypes were characterized by activations in different task-positive areas. The default mode network subtype was characterized by behavioral signatures that were similar to the other subtypes exhibiting activation with task-positive regions. Finally, in a fourth experiment, we tested whether multiple activation patterns would also appear for a qualitatively different, working memory task. We again found multiple subtypes of trials with differential activation in frontoparietal control, dorsal attention, and ventral attention networks. Overall, these findings demonstrate that the same cognitive tasks are accomplished through multiple brain activation patterns.

It is becoming widely appreciated that human perceptual decision making is suboptimal but the nature and origins of this suboptimality remain poorly understood. Most past research has employed tasks with two stimulus categories, but such designs cannot fully capture the limitations inherent in naturalistic perceptual decisions where choices are rarely between only two alternatives. We conducted four experiments with tasks involving multiple alternatives and used computational modeling to determine the decision-level representation on which the perceptual decisions were based. The results from all four experiments pointed to the existence of robust suboptimality such that most of the information in the sensory representation was lost during the transformation to a decision-level representation. These results reveal severe limits in the quality of decision-level representations for multiple alternatives and have strong implications about perceptual decision making in naturalistic settings.

Transcranial magnetic stimulation (TMS) has become one of the major tools for establishing the causal role of specific brain regions in perceptual, motor, and cognitive processes. Nevertheless, a persistent limitation of the technique is the lack of clarity regarding its precise effects on neural dynamics. Here, we examined the effects of TMS intensity and frequency on concurrently recorded blood-oxygen level-dependent (BOLD) signals at the site of stimulation in dorsolateral prefrontal cortex. In Experiment 1, we delivered a series of pulses at high (100% of motor threshold) or low (50% of motor threshold) intensity, whereas in Experiment 2, we always used high intensity but delivered stimulation at four different frequencies (5, 8.33, 12.5, and 25 Hz). We found that the TMS intensity and frequency could be reliably decoded using multivariate analysis techniques even though TMS had no effect on overall BOLD activity at the site of stimulation in either experiment. These results provide important insight into the mechanisms through which TMS influences neural activity.

Perceptual decisions are naturally accompanied by a sense of confidence in the accuracy of the decision. However, it remains unclear whether perceptual decision making and confidence are supported by the same or different neural circuits. To address this question, we conducted two functional MRI (fMRI) experiments in which we dissociated the periods related to perceptual decision making and confidence by either decorrelating their respective regressors or asking for confidence ratings only in the second half of the experiment. We found that perceptual decision making and confidence were supported by large and mostly overlapping brain circuits including frontal, parietal, posterior, and cingulate regions with the results being remarkably consistent across the two experiments. Further, the confidence period recruited a number of unique regions, whereas there was no evidence for the decision period recruiting unique regions not involved in the confidence period. These results suggest that the neural circuits supporting perceptual decision making and confidence have a very high degree of overlap, which suggests largely shared computational mechanisms with unique components for the confidence but not for the perceptual judgments.

Converging human studies have demonstrated that brain activity patterns observed during task performance reemerge in the following restful awake state. Such “awake reactivation” has been demonstrated across higher-order cortex for complex images or associations. However, it remains unclear what specific training components are reactivated in these studies. Here we sought to provide evidence for the reactivation of a particular visual feature — Gabor orientation. Following extensive training on a visual task, we found robust reactivation in human V1 that lasted at least eight minutes. This effect was not present in higher retinotopic areas such as V2, V3, V3A, or V4v, demonstrating that the effects in V1 are not due to top-down processes such as conscious rehearsal. Furthermore, the amount of awake reactivation predicted the amount of performance improvement on the visual task. These results demonstrate that functionally-relevant awake reactivation of specific visual features occurs in early sensory cortex.