Although the mammalian neocortex has a clear laminar organization, layer-specific neuronal computations remain to be uncovered. Several studies suggest that gamma band activity in primary visual cortex (V1) is produced in granular and superficial layers and is associated with the processing of visual input [1Maier A. Adams G.K. Aura C. Leopold D.A. Distinct superficial and deep laminar domains of activity in the visual cortex during rest and stimulation.Front. Syst. Neurosci. 2010; 4: 31PubMed Google Scholar, 2Jensen O. Kaiser J. Lachaux J.P. Human gamma-frequency oscillations associated with attention and memory.Trends Neurosci. 2007; 30: 317-324Abstract Full Text Full Text PDF PubMed Scopus (857) Google Scholar, 3Fries P. Nikolić D. Singer W. The gamma cycle.Trends Neurosci. 2007; 30: 309-316Abstract Full Text Full Text PDF PubMed Scopus (817) Google Scholar]. Oscillatory alpha band activity in deeper layers has been proposed to modulate neuronal excitability associated with changes in arousal and cognitive factors [4Thut G. Miniussi C. New insights into rhythmic brain activity from TMS-EEG studies.Trends Cogn. Sci. 2009; 13: 182-189Abstract Full Text Full Text PDF PubMed Scopus (312) Google Scholar, 5Sauseng P. Klimesch W. Heise K.F. Gruber W.R. Holz E. Karim A.A. Glennon M. Gerloff C. Birbaumer N. Hummel F.C. Brain oscillatory substrates of visual short-term memory capacity.Curr. Biol. 2009; 19: 1846-1852Abstract Full Text Full Text PDF PubMed Scopus (475) Google Scholar, 6Klimesch W. Sauseng P. Hanslmayr S. EEG alpha oscillations: the inhibition-timing hypothesis.Brain Res. Brain Res. Rev. 2007; 53: 63-88Crossref PubMed Scopus (2418) Google Scholar, 7Jensen O. Bonnefond M. VanRullen R. An oscillatory mechanism for prioritizing salient unattended stimuli.Trends Cogn. Sci. 2012; 16: 200-206Abstract Full Text Full Text PDF PubMed Scopus (295) Google Scholar]. To investigate the layer-specific interplay between these two phenomena, we characterized the coupling between alpha and gamma band activity of the local field potential in V1 of the awake macaque. Using multicontact laminar electrodes to measure spontaneous signals simultaneously from all layers of V1, we found a robust coupling between alpha phase in the deeper layers and gamma amplitude in granular and superficial layers. Moreover, the power in the two frequency bands was anticorrelated. Taken together, these findings demonstrate robust interlaminar cross-frequency coupling in the visual cortex, supporting the view that neuronal activity in the alpha frequency range phasically modulates processing in the cortical microcircuit in a top-down manner [7Jensen O. Bonnefond M. VanRullen R. An oscillatory mechanism for prioritizing salient unattended stimuli.Trends Cogn. Sci. 2012; 16: 200-206Abstract Full Text Full Text PDF PubMed Scopus (295) Google Scholar].

Prestimulus oscillatory neural activity in the visual cortex has large consequences for perception and can be influenced by top-down control from higher-order brain regions. Making a causal claim about the mechanistic role of oscillatory activity requires that oscillations be directly manipulated independently of cognitive instructions. There are indications that a direct manipulation, or entrainment, of visual alpha activity is possible through visual stimulation. However, three important questions remain: (1) Can the entrained alpha activity be endogenously maintained in the absence of continuous stimulation?; (2) Does entrainment of alpha activity reflect a global or a local process?; and (3) Does the entrained alpha activity influence perception? To address these questions, we presented human subjects with rhythmic stimuli in one visual hemifield, and arhythmic stimuli in the other. After rhythmic entrainment, we found a periodic pattern in detection performance of near-threshold targets specific to the entrained hemifield. Using magnetoencephalograhy to measure ongoing brain activity, we observed strong alpha activity contralateral to the rhythmic stimulation outlasting the stimulation by several cycles. This entrained alpha activity was produced locally in early visual cortex, as revealed by source analysis. Importantly, stronger alpha entrainment predicted a stronger phasic modulation of detection performance in the entrained hemifield. These findings argue for a cortically focal entrainment of ongoing alpha oscillations by visual stimulation, with concomitant consequences for perception. Our results support the notion that oscillatory brain activity in the alpha band provides a causal mechanism for the temporal organization of visual perception.

Abstract During communication in real-life settings, the brain integrates information from auditory and visual modalities to form a unified percept of our environment. In the current magnetoencephalography (MEG) study, we used rapid invisible frequency tagging (RIFT) to generate steady-state evoked fields and investigated the integration of audiovisual information in a semantic context. We presented participants with videos of an actress uttering action verbs (auditory; tagged at 61 Hz) accompanied by a gesture (visual; tagged at 68 Hz, using a projector with a 1440 Hz refresh rate). Integration difficulty was manipulated by lower-order auditory factors (clear/degraded speech) and higher-order visual factors (congruent/incongruent gesture). We identified MEG spectral peaks at the individual (61/68 Hz) tagging frequencies. We furthermore observed a peak at the intermodulation frequency of the auditory and visually tagged signals (f visual - f auditory = 7 Hz), specifically when lower-order integration was easiest because signal quality was optimal. This intermodulation peak is a signature of nonlinear audiovisual integration, and was strongest in left inferior frontal gyrus and left temporal regions; areas known to be involved in speech-gesture integration. The enhanced power at the intermodulation frequency thus reflects the ease of lower-order audiovisual integration and demonstrates that speech-gesture information interacts in higher-order language areas. Furthermore, we provide a proof-of-principle of the use of RIFT to study the integration of audiovisual stimuli, in relation to, for instance, semantic context.

Abstract Visual scene context is well-known to facilitate the recognition of scene-congruent objects. Interestingly, however, according to the influential theory of predictive coding, scene congruency should lead to reduced (rather than enhanced) processing of congruent objects, compared to incongruent ones, since congruent objects elicit reduced prediction error responses. We tested this counterintuitive hypothesis in two online behavioural experiments with human participants (N = 300). We found clear evidence for impaired perception of congruent objects, both in a change detection task measuring response times as well as in a bias-free object discrimination task measuring accuracy. Congruency costs were related to independent subjective congruency ratings. Finally, we show that the reported effects cannot be explained by low-level stimulus confounds, response biases, or top-down strategy. These results provide convincing evidence for perceptual congruency costs during scene viewing, in line with predictive coding theory. Statement of Relevance The theory of the ‘Bayesian brain’, the idea that our brain is a hypothesis-testing machine, has become very influential over the past decades. A particularly influential formulation is the theory of predictive coding. This theory entails that stimuli that are expected, for instance because of the context in which they appear, generate a weaker neural response than unexpected stimuli. Scene context correctly ‘predicts’ congruent scene elements, which should result in lower prediction error. Our study tests this important, counterintuitive, and hitherto not fully tested, hypothesis. We find clear evidence in favour of it, and demonstrate that these ‘congruency costs’ are indeed evident in perception, and not limited to one particular task setting or stimulus set. Since perception in the real world is never of isolated objects, but always of entire scenes, these findings are important not just for the Bayesian brain hypothesis, but for our understanding of real-world visual perception in general.

Abstract Sounds enhance the detection of visual stimuli while concurrently biasing an observer’s decisions. To investigate the neural mechanisms that underlie such multisensory interactions, we decoded time-resolved signal detection theory (SDT) sensitivity and criterion parameters from neural activity using magnetoencalography, while participants performed a visual detection task. Using temporal generalization analysis, we found that sounds improve visual detection by enhancing the maintenance of the most informative perceptual samples over time. In parallel, criterion decoding analyses revealed that sounds evoke patterns of activity that resembled the patterns evoked by an actual visual stimulus. These two complementary mechanisms of audiovisual interaction differed in terms of their automaticity: Whereas the sound-induced enhancement in visual information maintenance depended on participants being actively engaged in a detection task, sounds evoked visual activity patterns in the visual cortex in a bottom-up fashion, challenging the classical assumption that sound- induced reductions in criterion correspond to decision-level biases.

Abstract Expectations shape our experience of music. However, the internal model upon which listeners form melodic expectations is still debated. Do expectations stem from Gestalt-like principles or statistical learning? If the latter, does long-term experience play an important role, or are short-term regularities sufficient? And finally, what length of context informs contextual expectations? To answer these questions, we presented human listeners with diverse naturalistic compositions from Western classical music, while recording neural activity using MEG. We quantified note-level melodic surprise and uncertainty using various computational models of music, including a state-of-the-art transformer neural network. A time-resolved regression analysis revealed that neural activity over fronto-temporal areas tracked melodic surprise particularly around 200 ms and 300–500 ms after note onset. This neural surprise response was dissociated from sensory-acoustic and adaptation effects. Neural surprise was best predicted by computational models that incorporated long-term statistical learning – rather than by simple, Gestalt-like principles. Yet, intriguingly, the surprise reflected primarily short-range musical contexts of less than ten notes. We present a full replication of our novel MEG results in an openly available EEG dataset. Together, these results elucidate the internal model that shapes melodic predictions during naturalistic music listening.

Abstract The analysis of EEG and MEG data typically requires a lengthy and complicated sequence of analysis steps, often requiring large amounts of computations, which are ideally represented in analysis scripts. These scripts are often written by researchers without formal training in computer science, resulting in the quality and readability of these analysis scripts to be highly dependent on individual coding expertise and style. Even though the computational outcomes and interpretation of the results can be correct, the inconsistent style and quality of analysis scripts make reviewing the details of the analysis difficult for other researchers that are either involved in the study or not, and the quality of the scripts might compromise the reproducibility of obtained results. This paper describes the design and implementation of a strategy that allows complete reproduction of MATLAB-based scripts with little extra efforts on behalf of the user, which we have implemented as part of the FieldTrip toolbox. Starting from the researchers’ idiosyncratic pipeline scripts, this new functionality allows researchers to automatically create and publish analysis pipeline scripts in a standardized format, along with all relevant intermediate data. We demonstrate the functionality and validate its effectiveness by applying it to the analysis of a recently published MEG study.

Abstract Sustained attention has long been thought to benefit perception in a continuous fashion, but recent evidence suggests that it affects perception in a discrete, rhythmic way. Periodic fluctuations in behavioral performance over time, and modulations of behavioral performance by the phase of spontaneous oscillatory brain activity point to an attentional sampling rate in the theta or alpha frequency range. We investigated whether such discrete sampling by attention is reflected in periodic fluctuations in the decodability of visual stimulus orientation from magnetoencephalographic (MEG) brain signals. In this exploratory study, human subjects attended one of two grating stimuli while MEG was being recorded. We assessed the strength of the visual representation of the attended stimulus using a support vector machine (SVM) to decode the orientation of the grating (clockwise vs. counterclockwise) from the MEG signal. We tested whether decoder performance depended on the theta/alpha phase of local brain activity. While the phase of ongoing activity in visual cortex did not modulate decoding performance, theta/alpha phase of activity in the FEF and parietal cortex, contralateral to the attended stimulus did modulate decoding performance. These findings suggest that phasic modulations of visual stimulus representations in the brain are caused by frequency- specific top-down activity in the fronto-parietal attention network.

Abstract The human visual system is equipped to rapidly and implicitly learn and exploit the statistical regularities in our environment. Within visual search, contextual cueing demonstrates how implicit knowledge of scenes can improve search performance. This is commonly interpreted as spatial context in the scenes becoming predictive of the target location, which leads to a more efficient guidance of attention during search. However, what drives this enhanced guidance is unknown. First, it is unclear whether improved attentional guidance is enabled by target enhancement or distractor suppression. Second, it is unknown whether the entire scene (global context) or more local context drives this phenomenon. In the present MEG experiment, we leveraged Rapid Invisible Frequency Tagging (RIFT) to answer these two outstanding questions. We found that the improved performance when searching implicitly familiar scenes was accompanied by a stronger neural representation of the target stimulus, at the cost specifically of those distractors directly surrounding the target. Crucially, this biasing of local attentional competition was behaviorally relevant when searching familiar scenes, indicating that it is the local, and not global, spatial context that is modulated, culminating in a search advantage for familiar scenes. Taken together, we conclude that implicitly learned spatial predictive context improves how we search our environment by sharpening the attentional field.

Abstract Recent years have seen the emergence of a visual stimulation protocol called Rapid Invisible Frequency Tagging (RIFT) in cognitive neuroscience. In RIFT experiments, visual stimuli are presented at a rapidly and sinusoidally oscillating luminance, using high refresh rate projection equipment. Such stimuli result in strong steady-state responses in visual cortex, measurable extracranially using EEG or MEG. The high signal-to-noise ratio of these neural signals, combined with the alleged invisibility of the manipulation, make RIFT a potentially promising technique to study the neural basis of visual processing. In this study, we set out to resolve two fundamental, yet still outstanding, issues regarding RIFT; as well as to open up a new avenue for taking RIFT beyond frequency tagging per se. First, we provide robust evidence that RIFT is indeed subjectively undetectable, going beyond previous anecdotal reports. Second, we demonstrate that full-amplitude luminance or contrast manipulation offer the best tagging results. Third and finally, we demonstrate that, in addition to frequency tagging, phase tagging can reliably be used in RIFT studies, opening up new avenues for constructing RIFT experiments. Together, this provides a solid foundation for using RIFT in visual cognitive neuroscience.