Abstract The study of visual working memory (VWM) has recently seen revitalization with the emergence of new insights and theories regarding its neural underpinnings. One crucial ingredient responsible for this progress is the rise of neural decoding techniques. These techniques promise to uncover the representational contents of neural signals, as well as the underlying code and the dynamic profile thereof. Here, we aimed to contribute to the field by subjecting human volunteers to a combined VWM/imagery task, while recording and decoding their neural signals as measured by MEG. At first sight, the results seem to provide evidence for a persistent, stable representation of the memorandum throughout the delay period. However, control analyses revealed that these findings can be explained by subtle, VWM-specific eye movements. As a potential remedy, we demonstrate the use of a functional localizer, which was specifically designed to target bottom-up sensory signals and as such avoids eye movements, to train the neural decoders. This analysis revealed a sustained representation for approximately 1 second, but no longer throughout the entire delay period. We conclude by arguing for more awareness of the potentially pervasive and ubiquitous effects of eye movement-related confounds. Significance statement Visual working memory is an important aspect of higher cognition and has been subject of much investigation within the field of cognitive neuroscience. Over recent years, these studies have increasingly relied on the use of neural decoding techniques. Here, we show that neural decoding may be susceptible to confounds induced by stimulus-specific eye movements. Such eye movements during working memory have been reported before, and may in fact be a common phenomenon. Given the widespread use of neural decoding and the potentially contaminating effects of eye movements, we therefore believe that our results are of significant relevance for the field.

ABSTRACT Perceptual decisions are biased towards previous decisions. Previous research suggests that this choice repetition bias is increased after previous decisions of high confidence, as inferred from response time measures (Urai et al., 2017), but also when previous decisions were based on weak sensory evidence (Akaishi et al., 2014). As weak sensory evidence is typically associated with low confidence, these previous findings appear conflicting. To resolve this conflict, we set out to investigate the effect of decision confidence on choice repetition more directly by measuring explicit confidence ratings in a motion coherence discrimination task. Moreover, we explored how choice and stimulus history jointly affect subsequent perceptual choices. We found that participants were more likely to repeat previous choices of high subjective confidence, as well as previous fast choices, confirming the boost of choice repetition with decision confidence. Furthermore, we discovered that current choices were biased away from the previous evidence direction, not previous choice, and that this effect grew with previous evidence strength. These findings point towards simultaneous biases of choice repetition, modulated by decision confidence, and adaptation, modulated by the strength of evidence, which bias current perceptual decisions in opposite directions.

Abstract Both spatial and temporal context play an important role in visual perception and behavior. Humans can extract statistical regularities from both forms of context to help processing the present and to construct expectations about the future. Numerous studies have found reduced neural responses to expected stimuli compared to unexpected stimuli, for both spatial and temporal regularities. However, it is largely unclear whether and how these forms of context interact. In the current fMRI study, thirty-three human volunteers were exposed to object stimuli that could be expected or surprising in terms of their spatial and temporal context. We found a reliable independent contribution of both spatial and temporal context in modulating the neural response. Specifically, neural responses to stimuli in expected compared to unexpected contexts were suppressed throughout the ventral visual stream. Interestingly, the modulation by spatial context was stronger in magnitude and more reliable than modulations by temporal context. These results suggest that while both spatial and temporal context serve as a prior that can modulate sensory processing in a similar fashion, predictions of spatial context may be a more powerful modulator in the visual system. Significance Statement Both temporal and spatial context can affect visual perception, however it is largely unclear if and how these different forms of context interact in modulating sensory processing. When manipulating both temporal and spatial context expectations, we found that they jointly affected sensory processing, evident as a suppression of neural responses for expected compared to unexpected stimuli. Interestingly, the modulation by spatial context was stronger than that by temporal context. Together, our results suggest that spatial context may be a stronger modulator of neural responses than temporal context within the visual system. Thereby, the present study provides new evidence how different types of predictions jointly modulate perceptual processing.

Abstract The ability to recognize and predict future spatiotemporal sequences is vital for perception. It has been proposed that the brain makes ‘intelligent guesses’ about future inputs by forward replaying these events. However, it is unknown whether and how this mechanism incorporates the probabilistic structure that is inherent to naturalistic environments. Here we tested forward replay in human V1 and hippocampus using a probabilistic cueing paradigm. Participants were exposed to two visual moving dot sequences (A and B) that shared the same starting point. Each stimulus sequence was paired with either a high or a low tone that predicted which sequence would follow with 80% cue validity (probabilistic context) or 50% cue validity (random context). We found that after exposure, the auditory cue together with the starting point triggered simultaneous forward replay of both the likely (A) and the less likely (B) stimulus sequence. Crucially, forward replay preserved the probabilistic relationship of the environment, such that the likely sequence was associated with greater anticipatory V1 activity compared to the less likely stimulus sequence. Analogous to V1, forward replay in hippocampus was also found to preserve the probabilistic cue-sequence relationship. Further, the anterior hippocampus was found to represent the predicted stimulus sequence, irrespective of the input, while the posterior hippocampus revealed a prediction error-like signal that was only observed when predictions were violated. These findings show how mnemonic and sensory areas coordinate predictive representations in probabilistic contexts to improve perceptual processing.

Summary Curiosity, which can be defined as “intrinsically motivated information-seeking”, is an important driving force in our everyday lives. Based on previous evidence demonstrating a link between information prediction errors and dopamine neuronal firing rates, we asked whether the drive to seek information varies with individual differences in dopamine synthesis capacity. In order to investigate this, we let participants perform a lottery task in which we independently manipulated outcome uncertainty, outcome valence (gains versus losses) and expected value, and asked participants to indicate their curiosity for each presented lottery. In a separate session, participants underwent an [ 18 F]DOPA PET scan to quantify their dopamine synthesis capacity. We replicate previous behavioral results, showing that curiosity is a function of outcome uncertainty as well as outcome valence (gain versus loss). However, we found no evidence that curiosity or the sensitivity to outcome uncertainty, outcome valence and expected value was related to participants’ dopamine synthesis capacity in the ventral striatum, the caudate nucleus or the putamen. These findings stress the need for further studies into the role of dopamine in (different types of) curiosity.

Abstract Alpha activity (8–14 Hz) is the dominant rhythm in the awake brain, and thought to play an important role in setting the brain’s internal state. Previous work has associated states of decreased alpha power with enhanced neural excitability. However, evidence is mixed on whether and how such excitability enhancement modulates sensory signals of interest versus noise differently, and what, if any, the consequences are for subsequent perception. Here, human subjects (male and female) performed a visual detection task in which we manipulated their decision criteria in a block-wise manner. While our manipulation led to substantial criterion shifts, these shifts were not reflected in pre-stimulus alpha-band changes. Rather, lower pre-stimulus alpha power in occipital-parietal areas improved perceptual sensitivity and enhanced information content decodable from neural activity patterns. Additionally, oscillatory alpha phase immediately before stimulus presentation modulated accuracy. Together, our results suggest that alpha-band dynamics modulate sensory signals of interest more strongly than noise. Significance statement The internal state of our brain fluctuates, giving rise to variability in perception and action. Neural oscillations, most prominently in the alpha-band, have been suggested to play a role in setting this internal state. Here, we show that ongoing alpha-band activity in occipital-parietal regions predicts the quality of visual information decodable in neural activity patterns, and subsequently human observer’s sensitivity in a visual detection task. Our results provide comprehensive evidence that visual representation is modulated by ongoing alpha-band activity, and advance our understanding on how, when faced with unchanging external stimuli, internal neural fluctuations influence perception and behavior.

Abstract Human agents build models of their environment, which enable them to anticipate and plan upcoming events. However, little is known about the properties of such predictive models. Recently, it has been proposed that hippocampal representations take the form of a predictive map-like structure, the so-called successor representation. Here we used human fMRI to probe whether activity in the early visual cortex (V1) and hippocampus adhere to the postulated properties of the successor representation after visual sequence learning. Participants were exposed to an arbitrary spatiotemporal sequence consisting of four items (A-B-C-D). We found that after repeated exposure to the sequence, merely presenting single sequence items (e.g., - B - -) resulted in V1 activation at the successor locations of the full sequence (e.g., C-D), but not at the predecessor locations (e.g., A). This highlights that visual representations are skewed toward future states, in line with the successor representation. Similar results were also found in the hippocampus. Moreover, the hippocampus developed a tuning profile that showed sensitivity to the temporal distance in sequence-space, with fading representations for sequence events in the more distant past and future. V1, in contrast, showed a tuning profile that was only sensitive to spatial distance in stimulus-space. Together, these results provide empirical evidence for the proposition that both visual and hippocampal cortex represent a predictive map of the visual world akin to the successor representation.

Abstract Visual scene context is well-known to facilitate the recognition of scene-congruent objects. Interestingly, however, according to the influential theory of predictive coding, scene congruency should lead to reduced (rather than enhanced) processing of congruent objects, compared to incongruent ones, since congruent objects elicit reduced prediction error responses. We tested this counterintuitive hypothesis in two online behavioural experiments with human participants (N = 300). We found clear evidence for impaired perception of congruent objects, both in a change detection task measuring response times as well as in a bias-free object discrimination task measuring accuracy. Congruency costs were related to independent subjective congruency ratings. Finally, we show that the reported effects cannot be explained by low-level stimulus confounds, response biases, or top-down strategy. These results provide convincing evidence for perceptual congruency costs during scene viewing, in line with predictive coding theory. Statement of Relevance The theory of the ‘Bayesian brain’, the idea that our brain is a hypothesis-testing machine, has become very influential over the past decades. A particularly influential formulation is the theory of predictive coding. This theory entails that stimuli that are expected, for instance because of the context in which they appear, generate a weaker neural response than unexpected stimuli. Scene context correctly ‘predicts’ congruent scene elements, which should result in lower prediction error. Our study tests this important, counterintuitive, and hitherto not fully tested, hypothesis. We find clear evidence in favour of it, and demonstrate that these ‘congruency costs’ are indeed evident in perception, and not limited to one particular task setting or stimulus set. Since perception in the real world is never of isolated objects, but always of entire scenes, these findings are important not just for the Bayesian brain hypothesis, but for our understanding of real-world visual perception in general.

Abstract Prediction errors have a prominent role in many forms of learning. For example, in reinforcement learning, agents learn by updating the association between states and outcomes as a function of the prediction error elicited by the event. One paradigm often used to study error-driven learning is blocking. In forward blocking, participants are first presented with stimulus A, followed by outcome X (A→X). In the second phase, A and B are presented together, followed by X (AB→X). Here, A→X blocks the formation of B→X, given that X is already fully predicted by A. In backward blocking, the order of phases is reversed. Here, the association between B and X that is formed during the first learning phase of AB→X is weakened when participants learn exclusively A→X in the second phase. The present study asked the question whether forward and backward blocking occur during visual statistical learning, the largely automatic and incidental learning of the statistical structure of the environment. In a series of studies, using both forward and backward blocking, we observed robust statistical learning of temporal associations among pairs of images. While we found no compelling evidence for forward blocking, we observed reliable backward blocking in visual statistical learning.

Abstract In a typical text, readers look much longer at some words than at others and fixate some words multiple times, while skipping others altogether. Historically, researchers explained this variation via low-level visual or oculomotor factors, but today it is primarily explained in terms of cognitive factors, such as how well word identity can be predicted from context or discerned from parafoveal preview. While the existence of these effects has been well established in experiments, the relative importance of prediction, preview and low-level factors for eye movement variation in natural reading is unclear. Here, we address this question in three large datasets (n=104, 1.5 million words), using a deep neural network and Bayesian ideal observer to model linguistic prediction and parafoveal preview from moment to moment in natural reading. Strikingly, neither prediction nor preview was important for explaining word skipping – the vast majority of skipping was explained by a simple oculomotor model. For reading times, by contrast, we found strong but independent contributions of both prediction and preview, with effect sizes matching those from controlled experiments. Together, these results challenge dominant models of eye movements in reading by showing that linguistic prediction and parafoveal preview are not important determinants of word skipping.