In 7 experiments, the authors explored whether visual attention (the ability to select relevant visual information) and visual working memory (the ability to retain relevant visual information) share the same content representations. The presence of singleton distractors interfered more strongly with a visual search task when it was accompanied by an additional memory task. Singleton distractors interfered even more when they were identical or related to the object held in memory, but only when it was difficult to verbalize the memory content. Furthermore, this content-specific interaction occurred for features that were relevant to the memory task but not for irrelevant features of the same object or for once-remembered objects that could be forgotten. Finally, memory-related distractors attracted more eye movements but did not result in longer fixations. The results demonstrate memory-driven attentional capture on the basis of content-specific representations.

Searching for an object within a cluttered, continuously changing environment can be a very timeconsuming process.The authors show that a simple auditory pip drastically decreases search times for a synchronized visual object that is normally very difficult to find.This effect occurs even though the pip contains no information on the location or identity of the visual object.The experiments also show that the effect is not due to general alerting (because it does not occur with visual cues), nor is it due to top-down cuing of the visual change (because it still occurs when the pip is synchronized with distractors on the majority of trials).Instead, we propose that the temporal information of the auditory signal is integrated with the visual signal, generating a relatively salient emergent feature that automatically draws attention.Phenomenally, the synchronous pip makes the visual object pop out from its complex environment, providing a direct demonstration of spatially nonspecific sounds affecting competition in spatial visual processing.

Abstract The visual system has the remarkable ability to integrate fragmentary visual input into a perceptually organized collection of surfaces and objects, a process we refer to as perceptual integration. Despite a long tradition of perception research, it is not known whether access to consciousness is required to complete perceptual integration. To investigate this question, we manipulated access to consciousness using the attentional blink. We show that behaviorally, the attentional blink impairs perceptual decisions about the presence of integrated surface structure from fragmented input. However, when applying a multivariate classifier to electroencephalogram (EEG) data, the ability to decode the presence of integrated percepts remains intact when conscious access is impaired. In contrast, when disrupting consciousness through masking, decisions about integrated percepts and decoding of integrated percepts are impaired in concert with each other, while leaving feedforward representations intact. Together, these data show a dissociation between access to consciousness and perceptual integration. Significance statement Our brain constantly selects salient and/or goal-relevant objects from the visual environment, so that it can operate on neural representations of these objects. But what is the fate of objects that are not selected? Are these discarded, so that the brain only has an impoverished non-perceptual representation of them? Or does the brain construct perceptually rich representations, even when objects are not consciously accessed by our cognitive system? Here we answer that question by manipulating the information that enters into awareness, while simultaneously measuring cortical activity using EEG. We show that objects that do not enter consciousness can nevertheless have a neural signature that is indistinguishable from perceptually rich representations that occur for objects that do enter into conscious awareness.

Abstract Human time perception is malleable and subject to many biases. For example, it has repeatedly been shown that stimuli that are physically intense or that are unexpected seem to last longer. Two hypotheses have been proposed to account for such biases: one states that these temporal illusions are the result of heightened arousal which speeds up neural clock dynamics, whereas the alternative ‘magnitude coding’ account states that the magnitude of sensory responses causally modulates perceived durations. Common experimental paradigms used to study temporal biases can not dissociate between these accounts, as arousal and sensory magnitude covary and modulate each other. Here, we present two temporal discrimination experiments where flashing stimuli demarcated the start and end of a to-be-timed interval. These stimuli could either be in the same or in a different location, which led to different sensory responses due to neural repetition suppression. Crucially, changes and repetitions were fully predictable, allowing us to explore effects of sensory response magnitude without changes in arousal or surprise. Intervals with changing markers were perceived as lasting longer than those with repeating markers. We measured EEG (Experiment 1) and pupil size (Experiment 2), and found that temporal perception related to changes in event-related potentials (P2) and pupil constriction, both of which have been related to responses in the sensory cortex. Conversely, correlates of surprise and arousal (P3 amplitude and pupil dilation) were unaffected by stimulus repetitions and changes. These results demonstrate that sensory magnitude affects time perception even under constant levels of arousal.

Abstract Different theories have been proposed to explain how the human brain derives an accurate sense of time. One specific class of theories, intrinsic clock theories, postulate that temporal information of a stimulus is represented much like other features such as color and location, bound together to form a coherent percept. Here we explored to what extent this holds for temporal information after it has been perceived and is held in working memory for subsequent comparison. We recorded EEG of participants who were asked to time stimuli at lateral positions of the screen followed by comparison stimuli presented in the center. Using well-established markers of working memory maintenance, we investigated whether the usage of temporal information evoked neural signatures that were indicative of the location where the stimuli had been presented, both during maintenance and during comparison. Behavior and neural measures including the contralateral delay activity, lateralized alpha suppression and decoding analyses through time all supported the same conclusion: the representation of location was strongly involved during perception of temporal information, but when temporal information was to be used for comparison it no longer showed a relation to spatial information. These results support a model where the initial perception of a stimulus involves intrinsic computations, but that this information is subsequently translated to a stimulus-independent format to be used to further guide behavior.

Findings from recent studies indicate that planning an action toward an object strengthens its visual working memory (VWM) representation, emphasizing the importance of sensorimotor links in VWM. In the present study, we investigated to what extent such sensorimotor links are modulated by how well-defined an action plan is. In three eye-tracking experiments, we asked participants to memorize a visual stimulus for a subsequent memory test, whereby they performed a specific hand movement toward memory-matching probes. We manipulated action uncertainty so that in the

Abstract Our visual environment is relatively stable over time and an optimized visual system ought to capitalize on this by not devoting any representational resources to objects that are still present. Subjective experience, however, suggests that externally available (i.e., perceived) information is more strongly represented in neural signals than memorized information. To distinguish between these possibilities, we use EEG multivariate pattern analysis to quantify the strength of representation of task-relevant features (color or spatial frequency) in anticipation of a change-detection task. Perceptual availability was manipulated between experimental blocks by either keeping the stimulus on the screen during a two second delay period (perception) or removing it shortly after its initial presentation for the same time period (memory). We find that task-relevant (i.e., attended) memorized features are more strongly represented than irrelevant features. More importantly, we find significantly weaker representations for available (perceived and attended) features than for unavailable (memorized and attended) features. Contrary to what subjective experience suggests, our findings demonstrate that vividly perceived and attended stimuli elicit weaker neural representations (in terms of detectable multivariate information) than stimuli maintained in visual working memory. We hypothesize that an efficient visual system spends little of its limited resources on the internal representation of information that is externally available anyway.

The human brain recurrently prioritizes task-relevant over task-irrelevant visual information. A central, question is whether multiple objects can be prioritized simultaneously. To answer this, we let observers search for two colored targets among distractors. Crucially, we independently varied the number of target colors that observers anticipated, and the number of target colors actually used to distinguish the targets in the display. This enabled us to dissociate the preparation of selection mechanisms from the actual engagement of such mechanisms. Multivariate classification of electroencephalographic activity allowed us to track selection of each target separately across time. The results revealed only small neural and behavioral costs associated with preparing for selecting two objects, but substantial costs when engaging in selection. Further analyses suggest this cost is the consequence of neural competition resulting in limited parallel processing, rather than a serial bottleneck. The findings bridge diverging theoretical perspectives on capacity limitations of feature-based attention.

Working memory is essential for intelligent behavior as it serves to guide behavior of humans and nonhuman primates when task-relevant stimuli are no longer present to the senses. Moreover, complex tasks often require that multiple working memory representations can be flexibly and independently maintained, prioritized, and updated according to changing task demands. Thus far, neural network models of working memory have been unable to offer an integrative account of how such control mechanisms are implemented in the brain and how they can be acquired in a biologically plausible manner. Here, we present WorkMATe, a neural network architecture that models cognitive control over working memory content and learns the appropriate control operations needed to solve complex working memory tasks. Key components of the model include a gated memory circuit that is controlled by internal actions, encoding sensory information through untrained connections, and a neural circuit that matches sensory inputs to memory content. The network is trained by means of a biologically plausible reinforcement learning rule that relies on attentional feedback and reward prediction errors to guide synaptic updates. We demonstrate that the model successfully acquires policies to solve classical working memory tasks, such as delayed match-to-sample and delayed pro-saccade/antisaccade tasks. In addition, the model solves much more complex tasks including the hierarchical 12-AX task or the ABAB ordered recognition task, which both demand an agent to independently store and updated multiple items separately in memory. Furthermore, the control strategies that the model acquires for these tasks subsequently generalize to new task contexts with novel stimuli. As such, WorkMATe provides a new solution for the neural implementation of flexible memory control.

Cognitive control can involve proactive (preparatory) and reactive (corrective) mechanisms. Using a gaze-contingent eye tracking paradigm combined with fMRI, we investigated the involvement of these different modes of control and their underlying neural networks, when switching between different targets in multiple-target search. Participants simultaneously searched for two possible targets presented among distractors, and selected one of them. In one condition, only one of the targets was available in each display, so that the choice was imposed, and reactive control would be required. In the other condition, both targets were present, giving observers free choice over target selection, and allowing for proactive control. Switch costs emerged only when targets were imposed and not when target selection was free. We found differential levels of activity in the frontoparietal control network depending on whether target switches were free or imposed. Furthermore, we observed core regions of the default mode network to be active during target repetitions, indicating reduced control on these trials. Free and imposed switches jointly activated parietal and posterior frontal cortices, while free switches additionally activated anterior frontal cortices. These findings highlight unique contributions of proactive and reactive control during visual search.