Abstract While feed-forward activity may suffice for recognizing objects in isolation, additional visual operations that aid object recognition might be needed for real-world scenes. One such additional operation is figure-ground segmentation; extracting the relevant features and locations of the target object while ignoring irrelevant features. In this study of 60 participants, we show objects on backgrounds of increasing complexity to investigate whether recurrent computations are increasingly important for segmenting objects from more complex backgrounds. Three lines of evidence show that recurrent processing is critical for recognition of objects embedded in complex scenes. First, behavioral results indicated a greater reduction in performance after masking objects presented on more complex backgrounds; with the degree of impairment increasing with increasing background complexity. Second, electroencephalography (EEG) measurements showed clear differences in the evoked response potentials (ERPs) between conditions around 200ms - a time point beyond feed-forward activity and object decoding based on the EEG signal indicated later decoding onsets for objects embedded in more complex backgrounds. Third, Deep Convolutional Neural Network performance confirmed this interpretation; feed-forward and less deep networks showed a higher degree of impairment in recognition for objects in complex backgrounds compared to recurrent and deeper networks. Together, these results support the notion that recurrent computations drive figure-ground segmentation of objects in complex scenes.

Abstract Central to human and animal cognition is the ability to learn from feedback in order to optimize future rewards. Such a learning signal might be encoded and broadcasted by the brain’s arousal systems, including the noradrenergic locus coeruleus. Pupil responses and the positive slow wave component of event-related potentials reflect rapid changes in the arousal level of the brain. Here we ask whether and how these variables may reflect surprise: the mismatch between one’s expectation about being correct and the outcome of a decision, when expectations fluctuate due to internal factors (e.g., engagement). We show that during an elementary decision-task in the face of uncertainty both physiological markers of phasic arousal reflect surprise. We further show that pupil responses and slow wave ERP are unrelated to each other, and that prediction error computations depend on feedback awareness. These results further advance our understanding of the role of central arousal systems in decision-making under uncertainty.

Abstract In the search for the neural basis of conscious experience, perception and the cognitive processes associated with reporting perception are typically confounded as neural activity is recorded while participants explicitly report what they experience. Here we present a novel way to disentangle perception from report using eye-movement analysis techniques based on convolutional neural networks and neurodynamical analyses based on information theory. We use a bistable visual stimulus that instantiates two well-known properties of conscious perception: integration and differentiation. At any given moment, observers either perceive the stimulus as one integrated unitary object or as two differentiated objects that are clearly distinct from each other. Using electroen-cephalography, we show that measures of integration and differentiation based on information theory closely follow participants’ perceptual experience of those contents when switches were reported. We observed increased information integration between anterior to posterior electrodes (front to back) prior to a switch to the integrated percept, and higher information differentiation of anterior signals leading up to reporting the differentiated percept. Crucially, information integration was closely linked to perception and even observed in a no-report condition when perceptual transitions were inferred from eye movements alone. In contrast, the link between neural differentiation and perception was observed solely in the active report condition. Our results, therefore, suggest that perception and the processes associated with report require distinct amounts of anterior-posterior network communication and anterior information differentiation. While front-to-back directed information is associated with changes in the content of perception when viewing bistable visual stimuli, regardless of report, frontal information differentiation was absent in the no-report condition and therefore is not directly linked to perception per se .

Abstract Predictions in the visual domain have been shown to modulate conscious access. Yet, little is known about how predictions may do so and to what extent they need to be consciously implemented to be effective. To address this, we administered an attentional blink (AB) task in which target 1 (T1) identity predicted target 2 (T2) identity, while participants rated their perceptual awareness of validly versus invalidly predicted T2s (Experiment 1 & 2) or reported T2 identity (Experiment 3). Critically, we tested the effects of conscious and non-conscious predictions, after seen and unseen T1s, on T2 visibility. We found that valid predictions increased subjective visibility reports and discrimination of T2s, but only when predictions were generated by a consciously accessed T1, irrespective of the timing at which the effects were measured (short vs. longs lags). These results further our understanding of the intricate relationship between predictive processing and consciousness.

Humans are remarkably capable of adapting their behaviour flexibly based on rapid situational changes: a capacity termed cognitive control. Intuitively, cognitive control is thought to be affected by the state of alertness, for example, when sleepy or drowsy, we feel less capable of adequately implementing effortful cognitive tasks. Although scientific investigations have focused on the effects of sleep deprivation and circadian time, little is known about how natural fluctuations in alertness in the regular awake state affect cognitive control. Here we combined a conflict task in the auditory domain with neurodynamics -EEG recordings- to test how neural and behavioural markers of conflict processing are affected by fluctuations in arousal. Using a novel computational method, we segregated alert and drowsy trials from a three hour testing session and observed that, although participants were generally slower, the typical slower responses to conflicting information, compared to non-conflicting information, was still intact, as well as the effect of previous trials (i.e. conflict adaptation). However, the behaviour was not matched by the typical neural markers of cognitive control -local medio-frontal theta-band power changes-, that participants showed during full alertness. Instead, a decrease in power of medio-frontal theta was accompanied by an increase in long-range information sharing (connectivity) between brain regions in the same frequency band. The results show the resilience of the human cognitive control system when affected by internal fluctuations of our arousal state and suggests a neural compensatory mechanism when the system is under physiological pressure due to diminished alertness.

Abstract Conscious reportability of visual input is associated with a bimodal neural response in primary visual cortex (V1): an early-latency response coupled to stimulus features and a late-latency response coupled to stimulus report or detection. This late wave of activity, central to major theories of consciousness, is thought to be driven by prefrontal cortex (PFC), responsible for “igniting” it. Here we analyzed two electrophysiological studies in mice performing different stimulus detection tasks, and characterize neural activity profiles in three key cortical regions: V1, posterior parietal cortex (PPC) and PFC. We then developed a minimal network model, constrained by known connectivity between these regions, reproducing the spatio-temporal propagation of visual-and report-related activity. Remarkably, while PFC was indeed necessary to generate report-related activity in V1, this occurred only through the mediation of PPC. PPC, and not PFC, had the final veto in enabling the report-related late wave of V1 activity.

This study investigates failures in conscious access resulting from either weak sensory input (perceptual blindness) or unattended input (attentional blindness). Participants viewed an illusory Kanizsa triangle within a rapid serial visual presentation of distractor stimuli while electroencephalogram (EEG) was recorded. Distinct neural patterns associated with feedforward, lateral, and local versus global feedback processes were identified by training and testing classifiers on specific stimulus features. Perceptual performance was equated between the perceptual (masking) and attentional (attentional blink) manipulation to circumvent common confounds related to conditional differences in task performance. Decoding analyses revealed that lateral and local feedback processes were impaired by masking but spared by the attentional blink, with feedforward processing left largely unaffected by either manipulation. Global feedback processes were directly related to perceptual and metacognitive performance (conscious access), independent of the manipulation. These findings contribute to a comprehensive understanding of four distinct neural stages leading to conscious access.

It is well known that top-down expectations affect perceptual processes. Yet, remarkably little is known about the relationship between expectations and conscious awareness We address three crucial questions that are outstanding: 1) How do predictions affect the likelihood of conscious stimulus perception?; 2) Does the brain register violations of predictions nonconsciously?; and 3) Do predictions need to be conscious to influence perceptual decisions? We performed three experiments in which we manipulated stimulus predictability within the attentional blink paradigm, while combining visual psychophysics with electrophysiological recordings. We found that valid stimulus expectations increase the likelihood of conscious access of stimuli. Furthermore, our findings suggest a clear dissociation in the interaction between expectations and consciousness: conscious awareness seems crucial for the implementation of top-down predictions, but not for the bottom-up generation of stimulus-evoked prediction errors. These results constrain and update influential theories about the role of consciousness in the predictive brain.

Attention can be involuntarily captured by physically salient stimuli, a phenomenon known as bottom-up attention. Typically, these salient stimuli occur unpredictably in time and space. Therefore, in a series of three behavioral experiments, we investigated the extent to which such bottom-up attentional capture is a function of one's prior expectations. In the context of an exogenous cueing task, we systematically manipulated participants' spatial (Experiment 1) or temporal (Experiment 2 and 3) expectations about an uninformative cue, and examined the extent of attentional capture by the cue. We anticipated larger attentional capture for unexpected compared to expected cues. However, while we observed robust attentional capture in all experiments, we did not find any evidence for a modulation of attentional capture by prior expectation. This underscores the automatic and reflexive nature of bottom-up attention.

Cognitive control over conflicting sensory input is central to adaptive human behavior. It might therefore not come as a surprise that past research has shown conflict detection in the absence of conscious awareness. This would suggest that the brain may detect conflict fully automatically, and that it can even occur without paying attention. Contrary to this intuition, we show that task-relevance is crucial for conflict detection. Univariate and multivariate analyses on electroencephalographic data from human participants revealed that when auditory stimuli are fully task-irrelevant, the brain disregards conflicting input entirely, whereas the same input elicits strong neural conflict signals when task-relevant. In sharp contrast, stimulus features were still processed, irrespective of task-relevance. These results show that stimulus properties are only integrated to allow conflict to be detected by prefrontal regions when sensory information is task-relevant and therefore suggests an attentional bottleneck at high levels of information analysis.