Abstract Humans are fast and accurate when they recognize familiar faces. Previous neurophysiological studies have shown enhanced representations for the dichotomy of familiar vs. unfamiliar faces. As familiarity is a spectrum, however, any neural correlate should reflect graded representations for more vs. less familiar faces along the spectrum. By systematically varying familiarity across stimuli, we show a neural familiarity spectrum using electroencephalography. We then evaluated the spatiotemporal dynamics of familiar face recognition across the brain. Specifically, we developed a novel informational connectivity method to test whether peri-frontal brain areas contribute to familiar face recognition. Results showed that feed-forward flow dominates for the most familiar faces and top-down flow was only dominant when sensory evidence was insufficient to support face recognition. These results demonstrate that perceptual difficulty and the level of familiarity influence the neural representation of familiar faces and the degree to which peri-frontal neural networks contribute to familiar face recognition.

Abstract The ability to rapidly and accurately recognise complex objects is a crucial function of the human visual system. To recognise an object, we need to bind incoming visual features such as colour and form together into cohesive neural representations and integrate these with our pre-existing knowledge about the world. For some objects, typical colour is a central feature for recognition; for example, a banana is typically yellow. Here, we applied multivariate pattern analysis on time-resolved neuroimaging (magnetoencephalography) data to examine how object-colour knowledge affects emerging object representations over time. Our results from 20 participants (11 female) show that the typicality of object-colour combinations influences object representations, although not at the initial stages of object and colour processing. We find evidence that colour decoding peaks later for atypical object-colour combinations in comparison to typical object-colour combinations, illustrating the interplay between processing incoming object features and stored object-knowledge. Taken together, these results provide new insights into the integration of incoming visual information with existing conceptual object knowledge. Significance Statement To recognise objects, we have to be able to bind object features such as colour and shape into one coherent representation and compare it to stored object knowledge. The magnetoencephalography data presented here provide novel insights about the integration of incoming visual information with our knowledge about the world. Using colour as a model to understand the interaction between seeing and knowing, we show that there is a unique pattern of brain activity for congruently coloured objects (e.g., a yellow banana) relative to incongruently coloured objects (e.g., a red banana). This effect of object-colour knowledge only occurs after single object features are processed, demonstrating that conceptual knowledge is accessed relatively late in the visual processing hierarchy.

Abstract There are many monitoring environments, such as railway control, in which lapses of attention can have tragic consequences. Problematically, sustained monitoring for rare targets is difficult, with more misses and longer reaction times over time. What changes in the brain underpin these “vigilance decrements”? We designed a multiple-object monitoring (MOM) paradigm to examine how the neural representation of information varied with target frequency and time performing the task. Behavioural performance decreased over time for the rare target (monitoring) condition, but not for a frequent target (active) condition. This was mirrored in the neural results: there was weaker coding of critical information during monitoring versus active conditions. We developed new analyses that can predict behavioural errors from the neural data more than a second before they occurred. This paves the way for pre-empting behavioural errors due to lapses in attention and provides new insight into the neural correlates of vigilance decrements.

Abstract Numerical format describes the way magnitude is conveyed, for example as a digit (‘3’) or Roman Numeral (‘III’). In the field of numerical cognition, there is an ongoing debate of whether magnitude representation is independent of numerical format. Here, we examine the time course of magnitude processing when using different symbolic formats. We presented participants with a series of digits and dice patterns corresponding to the magnitudes of 1 to 6 while performing a 1-back task on magnitude. Magnetoencephalography (MEG) offers an opportunity to record brain activity with high temporal resolution. Multivariate Pattern Analysis (MVPA) applied to MEG data allows us to draw conclusions about brain activation patterns underlying information processing over time. The results show that we can crossdecode magnitude when training the classifier on magnitude presented in one symbolic format and testing the classifier on the other symbolic format. This suggests similar representation of these numerical symbols. Additionally, results from a time-generalisation analysis show that digits were accessed slightly earlier than dice, demonstrating temporal asynchronies in their shared representation of magnitude. Together, our methods allow a distinction between format-specific signals and format-independent representations of magnitude showing evidence that there is a shared representation of magnitude accessed via different symbols.

Abstract A defining feature of human cognition is our ability to respond flexibly to what we see and hear, changing how we respond depending on our current goals. In fact, we can rapidly associate almost any input stimulus with any arbitrary behavioural response. This remarkable ability is thought to depend on a frontoparietal “multiple demand” circuit which is engaged by many types of cognitive demand and widely referred to as domain general. However, it is not clear how responses to multiple input modalities are structured within this system. Domain generality could be achieved by holding information in an abstract form that generalises over input modality, or in a modality-tagged form, which uses similar resources but produces unique codes to represent the information in each modality. We used a stimulus-response task, with conceptually identical rules in two sensory modalities (visual and auditory), to distinguish between these possibilities. Multivariate decoding of functional magnetic resonance imaging data showed that representations of visual and auditory rules recruited overlapping neural resources but were expressed in modality-tagged non-generalisable neural codes. Our data suggest that this frontoparietal system may draw on the same or similar resources to solve multiple tasks, but does not create modality-general representations of task rules, even when those rules are conceptually identical between domains.

Abstract Selective attention prioritises relevant information amongst competing sensory input. Time-resolved electrophysiological studies have shown stronger representation of attended compared to unattended stimuli, which has been interpreted as an effect of attention on information coding. However, because attention is often manipulated by making only the attended stimulus a target to be remembered and/or responded to, many reported attention effects have been confounded with target-related processes such as visual short-term memory or decision-making. In addition, the effects of attention could be influenced by temporal expectation. The aim of this study was to investigate the dynamic effect of attention on visual processing using multivariate pattern analysis of electroencephalography (EEG) data, while 1) controlling for target-related confounds, and 2) directly investigating the influence of temporal expectation. Participants viewed rapid sequences of overlaid oriented grating pairs at fixation while detecting a “target” grating of a particular orientation. We manipulated attention, one grating was attended and the other ignored, and temporal expectation, with stimulus onset timing either predictable or not. We controlled for target-related processing confounds by only analysing non-target trials. Both attended and ignored gratings were initially coded equally in the pattern of responses across EEG sensors. An effect of attention, with preferential coding of the attended stimulus, emerged approximately 230ms after stimulus onset. This attention effect occurred even when controlling for target-related processing confounds, and regardless of stimulus onset predictability. These results provide insight into the effect of attention on the dynamic processing of competing visual information, presented at the same time and location.

Abstract The way in which the brain prioritises processing of information relevant for our current goals is widely contested. Many studies implicate the dorsolateral prefrontal cortex (dlPFC), and propose that it drives brain-wide focus by biasing processing in favour of relevant information. An alternative, however, is that dlPFC is involved in the inhibition of irrelevant information. Here, we address this longstanding debate using the inferentially powerful approach of applying transcranial magnetic stimulation during functional magnetic resonance imaging (concurrent TMS-fMRI) and testing for changes in information coding using multivariate pattern analysis (MVPA). We ask whether dlPFC plays a causal role in prioritising information processing, and whether this is through selection of relevant information or inhibition of irrelevant information. Participants attended to one object feature whilst ignoring another feature of the same object. We reasoned that, if dlPFC is necessary for selection , active (disruptive) TMS should decrease coding of attended information compared to the low intensity (control) condition. Conversely, if right dlPFC is crucial for inhibition , active TMS should increase coding of irrelevant information relative to the control condition. The results showed that active TMS decreased coding of relevant information throughout the frontoparietal multiple demand regions, and that this impact was significantly stronger than the effect of TMS on irrelevant information coding, which was not statistically detectable. These data provide causal evidence for a specific role of dlPFC in supporting the representation of task-relevant information and demonstrate the crucial insights into high level cognitive-neural mechanisms possible with the combination of TMS-fMRI and MVPA.

Abstract Vicarious touch refers to the phenomenon where individuals experience tactile sensations when observing another person being touched. This study explored vicarious touch reports in 422 undergraduate students using videos from the Validated Touch-Video Database (VTD), rated for hedonic qualities, arousal, and perceived threat levels. A surprisingly large majority (84%) of participants reported vicarious sensations such as touch, tingling, pressure, and pain, predominantly matching the location of touch to the hands observed in the videos. Contrary to previous studies, we found that vicarious touch was more prevalent in women than men. Additionally, while earlier research suggested a correlation between vicarious sensations and emotional empathy, our data did not support this relationship. The nature and intensity of reported sensations varied strongly with the emotional content of the videos: pleasant touches evoked ticklish or warm sensations, while unpleasant touches often resulted in pain or pressure. Participants often described their sensations as either pleasant or unpleasant, indicating that the affective qualities of observed touch were mirrored in their experiences. Arousal and threat ratings taken from the VTD for each video strongly correlated with the prevalence and intensity of vicarious touch measured here, with painful, highly arousing touches eliciting the strongest responses. Even touch involving non-human objects occasionally triggered similar vicarious sensations. Using a new clustering approach, we identified three distinct profiles of vicarious touch, each characterised by unique sensory experiences, variations in the localisation and intensity of sensations, and differences in responses to human versus object touch. Overall, our results challenge the traditional view that conscious vicarious touch experiences are a rare phenomenon and underscore the diversity of vicarious sensory perception.

Attention and decision-making processes are fundamental to cognition. However, they are usually experimentally confounded, making it difficult to link neural observations to specific processes. Here we separated the effects of selective attention from the effects of decision-making on brain activity obtained from human participants (both sexes), using a two-stage task where the attended stimulus and decision were orthogonal and separated in time. Multivariate pattern analyses of multimodal neuroimaging data revealed the dynamics of perceptual and decision-related information coding through time (magnetoencephalography (MEG)), space (functional Magnetic Resonance Imaging (fMRI)), and their combination (MEG-fMRI fusion). Our MEG results showed an effect of attention before decision-making could begin, and fMRI results showed an attention effect in early visual and frontoparietal regions. Model-based MEG-fMRI fusion suggested that attention boosted stimulus information in frontoparietal and early visual regions before decision-making was possible. Together, our results suggest that attention affects neural stimulus representations in frontoparietal regions independent of decision-making.

Abstract The human brain is extremely flexible and capable of rapidly selecting relevant information in accordance with task goals. Regions of frontoparietal cortex flexibly represent relevant task information such as task rules and stimulus features when participants perform tasks successfully, but less is known about how information processing breaks down when participants make mistakes. This is important for understanding whether and when information coding recorded with neuroimaging is directly meaningful for behaviour. Here, we used magnetoencephalography (MEG) to assess the temporal dynamics of information processing, and linked neural responses with goal-directed behaviour by analysing how they changed on behavioural error. Participants performed a difficult stimulus-response task using two stimulus-response mapping rules. We used time-resolved multivariate pattern analysis to characterise the progression of information coding from perceptual information about the stimulus, cue and rule coding, and finally, motor response. Response-aligned analyses revealed a ramping up of perceptual information prior to a correct response, suggestive of internal evidence accumulation. Strikingly, when participants made a stimulus-related error, and not when they made other types of errors, patterns of activity initially reflected the stimulus presented, but later reversed, and accumulated towards a representation of the incorrect stimulus. This suggests that the patterns recorded at later timepoints reflect an internally generated stimulus representation that was used to make the (incorrect) decision. These results illustrate the orderly and overlapping temporal dynamics of information coding in perceptual decision-making and show a clear link between neural patterns in the late stages of processing and behaviour.