ABSTRACT The most prominent acoustic features in speech are intensity modulations, represented by the amplitude envelope of speech. Synchronization of neural activity with these modulations is vital for speech comprehension. As the acoustic modulation of speech is related to the production of syllables, investigations of neural speech tracking rarely distinguish between lower-level acoustic (envelope modulation) and higher-level linguistic (syllable rate) information. Here we manipulated speech intelligibility using noise-vocoded speech and investigated the spectral dynamics of neural speech processing, across two studies at cortical and subcortical levels of the auditory hierarchy, using magnetoencephalography. Overall, cortical regions mostly track the syllable rate, whereas subcortical regions track the acoustic envelope. Furthermore, with less intelligible speech, tracking of the modulation rate becomes more dominant. Our study highlights the importance of distinguishing between envelope modulation and syllable rate and provides novel possibilities to better understand differences between auditory processing and speech/language processing disorders. Abstract Figure

Abstract Over the last decades, cognitive neuroscience has identified a distributed set of brain regions that are critical for attention - one of the key principles of adaptive behavior. A strong anatomical overlap with brain regions critical for oculomotor processes suggests a joint network for attention and eye movements. However, the role of this shared network in complex, naturalistic environments remains understudied. Here, we investigated eye movements in relation to (un)attended sentences of natural speech in simultaneously recorded eye tracking and magnetoencephalographic (MEG) data. Using temporal response functions (TRF), we show that eye gaze tracks acoustic features (envelope and acoustic onsets) of attended speech, a phenomenon we termed ocular speech tracking . Ocular speech envelope tracking even differentiates a target from a distractor in a multi speaker context and is further related to intelligibility. Moreover, we provide evidence for its contribution to neural differences in speech processing, emphasizing the necessity to consider oculomotor activity in future research and in the interpretation of neural differences in auditory cognition. Our results extend previous findings of a joint network of attention and eye movement control as well as motor theories of speech. They provide valuable new directions for research into the neurobiological mechanisms of the phenomenon, its dependence on learning and plasticity, and its functional implications in social communication.

ABSTRACT The power of electrophysiologically measured cortical activity decays 1/f X . The slope of this decay (i.e. the spectral exponent) is modulated by various factors such as age, cognitive states or psychiatric/neurological disorders. Interestingly, a mostly parallel line of research has also uncovered similar effects for the spectral slope in the electrocardiogram (ECG). This raises the question whether these bodywide changes in spectral slopes are (in-)dependent. Focusing on well-established age-related changes in spectral slopes we analyzed a total of 1282 recordings of magnetoencephalography (MEG) resting state measurements with concurrent ECG in an age-diverse sample. We show that the aperiodic signal recorded using surface electrodes/sensors originates from multiple physiological sources. In particular, significant parts of age-related changes in aperiodic activity normally interpreted to be of neural origin can be explained by cardiac activity. Moreover, our results suggest that changes (flattening/steepening) of the spectral slope with age are dependent on the recording site and investigated frequency range. Our results highlight the complexity of aperiodic activity while raising concerns when interpreting aperiodic activity as “cortical“ without considering physiological influences.

ABSTRACT Listening can be conceptualized as a process of active inference, in which the brain forms internal models to predict and integrate auditory information in a complex interaction of bottom-up and top-down processes. Whether inter-individual “prediction tendencies” shape listening experiences of real-world stimuli such as speech is, however, unknown. In the current study, we used a passive paradigm presenting tone sequences of varying entropy level, to independently quantify auditory prediction tendency (as the tendency to anticipate low-level acoustic features according to their contextual probability) for each individual. This measure was then used to predict the magnitude of cortical speech (envelope) tracking in a multi speaker listening task, where participants listened to audiobooks narrated by a target speaker in isolation or interfered by 1 or 2 distractors. Furthermore, rare semantic violations were introduced into the story, enabling us to also examine effects of word surprisal during continuous speech processing. Our results show that individual prediction tendency facilitates cortical speech tracking. Furthermore, we find interactions between individual prediction tendency and background noise as well as word surprisal in disparate brain regions. In sum, our findings suggest that individual prediction tendencies are generalizable across different listening situations and may serve as a valuable element to explain interindividual differences in natural listening experience.

Introduction: Early language development in infants is being increasingly studied, though only recently with direct measurements of brain activity rather than with behavioral or physiological measurements. In the current study, we use electroencephalographic (EEG) recordings of 2-week-old infants to look for signs of prenatal learning and to investigate newborns' abilities to process language. We also look at the influence of prenatal stress factors and at the predictive value of the newborns' language processing abilities for later language development. Methods: Sixty pregnant women played a rhyme to their abdomen twice a day from the 34th week of pregnancy until birth, to familiarize the fetus with the rhyme. At around 2 weeks after delivery (mean age 16 days), the newborns were exposed to the familiar rhyme as well as to an unfamiliar one while their EEG was recorded. Additionally, three manipulations of the familiar rhyme were played: (1) low-pass filtered, (2) with changed rhythm, and (3) inverted and played backwards. The data was analyzed to see how well the infant brain signal followed the speech envelope in each condition. Accounting for the heterogenous approach used for neural speech tracking in the literature, we used four methods, namely: (1) coherence, (2) Hilbert coherence, (3) temporal response functions (TRF), and (4) mutual information (MI). The maternal prenatal depression was evaluated with Edinburgh Prenatal Depression Score and the chronic fetal stress was measured from the hair cortisol levels of the 2 week-olds. The language development at 6 months of age was evaluated with the Bayley Scales. Results and discussion: Overall, the results indicate the presence of prenatal learning, with the unfamiliar rhyme eliciting stronger cortical tracking (higher coherence and MI) than the familiar rhyme, which suggests stronger brain-to-speech coupling for the unfamiliar rhyme, perhaps deriving from more effort to process the unexpected stimulus. However, the original version of the familiar rhyme proved to be the easiest to track compared to the language- and rhythm-manipulations, (higher MI for the original rhyme than the language manipulation and higher coherence and mTRF correlation coefficients for the original rhyme than the rhythm manipulation). This indicates language discrimination and a prosodic-based learning of the familiar rhyme. Furthermore, there is an indication of phonotactic sensitivity at this young age, with less tracking (lower Hilbert coherence and lower mTRF correlation coefficients) of the low-pass filtered rhyme than the original version, indicating that the phonological cues erased by the filtering were important for the newborn's ability to follow the rhyme. Furthermore, the mothers' depression scores positively correlated with the infant's tracking ability for the familiar rhyme. This suggests that a slightly lower mood was more stimulative for the fetal language development. The chronic fetal stress levels, however, were negatively correlated with the cortical tracking abilities. Importantly, the newborn's cortical tracking was positively correlated with the infant's language development at 6 months of age, underlining the predictive value of the early assessment of language processing. Conclusion: Prenatal learning is well established, but evidence including (healthy) brain data in the first weeks of life is scarce. The current study shows that newborns can discriminate between a familiar and unfamiliar rhyme, while also highlighting the role of prosody in early language processing, and bringing new evidence of their sensitivity to phonotactic cues in auditory stimuli. Furthermore, the newborn's ability to track a rhyme is correlated with their language development at 6 months. The newborn's cortical tracking of the familiar rhyme is further increased by moderately low maternal mood, but decreased by fetal stress. Future studies with similar fine-grained linguistic designs but of older infants should teach us the timeline of what exactly is learned prenatally and at very early age in respect to language.

ABSTRACT Auditory speech comprehension is a multi-faceted process in which attention, prediction, and sensorimotor integration (via active sensing) interact with or complement each other. Although different conceptual models that focus on one of these aspects exist, we still lack a unified understanding of their role in speech processing. Here, we replicated and extended two recently published studies from our lab to investigate the influence of prediction tendency on ocular and neural tracking of attended speech. We propose that selective attention guides ocular speech tracking, which in turn mediates neural encoding of speech. In contrast, individual prediction tendency and its relation to neural speech tracking seem to be largely independent of attention. Importantly, prediction tendency and ocular speech tracking seem to be unrelated. With the current work, we propose a framework that aims to bridge the gaps between attention, prediction, and active (ocular) sensing in order to contribute to a holistic understanding of neural speech processing.

Several subcortical nuclei along the auditory pathway are involved in the processing of sounds. One of the most commonly used methods of measuring the activity of these nuclei is the auditory brainstem response (ABR). Due to its low signal-to-noise ratio, ABR’s have to be derived by averaging over thousands of artificial sounds such as clicks or tone bursts. This approach cannot be easily applied to natural listening situations (e.g. speech, music), which limits auditory cognitive neuroscientific studies to investigate mostly cortical processes.We propose that by training a backward encoding model to reconstruct evoked ABRs from high-density electrophysiological data, spatial filters can be tuned to auditory brainstem activity. Since these filters can be applied (i.e. generalized) to any other data set using the same spatial coverage, this could allow for the estimation of auditory brainstem activity from any continuous sensor level data. In this study, we established a proof-of-concept by using a backward encoding model generated using a click stimulation rate of 30 Hz to predict ABR activity recorded using EEG from an independent measurement using a stimulation rate of 9 Hz. We show that individually predicted and measured ABR’s are highly correlated ( r ∼ 0.7). Importantly these predictions are stable even when applying the trained backward encoding model to a low number of trials, mimicking a situation with an unfavorable signal-to-noise ratio. Overall, this work lays the necessary foundation to use this approach in more interesting listening situations.

Abstract Listening to speech with poor signal quality is challenging. Neural speech tracking of degraded speech has been used to advance the understanding of how brain processes and speech intelligibility are interrelated, however the temporal dynamics of neural speech tracking are not clear. In the present MEG study, we thereby exploited temporal response functions (TRFs) and generated signal-degraded speech to depict the temporal evolution of speech intelligibility modulation on neural speech tracking. In addition, we inter-related facets of neural speech tracking (e.g., speech envelope reconstruction, speech-brain coherence, and components of broadband coherence spectra) to endorse our findings in TRFs. Our TRF analysis yielded marked temporally differential effects of vocoding: reduction of intelligibility went along with large increases of early peak responses (∼50-110 ms, M50 TRF ), but strongly reduced responses around 175-230 ms (M200 TRF ). For the late responses 315-380 ms (M350 TRF ), the maximum response occurred for degraded speech that was still comprehensible then declined with reduced intelligibility. Furthermore, we related the TRF components to our other neural “tracking“ measures and found that M50 TRF and M200 TRF play a differential role in the shifting center frequency of the broadband coherence spectra. Overall, our study highlights the importance of time-resolved computation and parametrization of coherence spectra on neural speech tracking and provides a better understanding of degraded speech processing. Highlights We use MEG to show that speech intelligibility differentially impacts the temporal evolution of neural speech tracking. TRF responses around 200 ms show the strongest relationship with behaviour. Relating TRF effects to parameterized coherence spectra using FOOOF suggests that M50 TRF and M200 TRF reflect shifts in which speech features are tracked over time.

Behavioral and neuroscientific studies have shown that watching a speaker's lip movements aids speech comprehension. Intriguingly, even when videos of speakers are presented silently, various cortical regions track auditory features, such as the envelope. Recently, we demonstrated that eye movements track low-level acoustic information when attentively listening to speech. In this study we investigated whether ocular speech tracking occurs during visual speech and how it influences cortical silent speech tracking. Furthermore, we compared the data of hearing individuals with congenitally deaf individuals, and those with acquired deafness or hearing loss (DHH; Deaf or hard of hearing) to assess how auditory deprivation (early vs. late onset) affects neural and ocular speech tracking during silent lip-reading. Using magnetoencephalography (MEG), we examined ocular and neural speech tracking of 75 participants observing silent videos of a speaker played forward and backward. Our main finding is a clear ocular unheard speech tracking effect with a dominance <1 Hz, which was not present for the lip movements. Similarly, we observed a <=1.3 Hz effect of neural unheard speech tracking in temporal regions for hearing participants. Importantly, neural tracking was not directly linked to ocular tracking in this study. Strikingly, across different listening groups, deaf participants with auditory listening experience showed higher ocular speech tracking than hearing participants, while no ocular speech tracking effect was revealed for congenitally deaf participants in a very small sample. This study extends our previous work by demonstrating the involvement of eye movements in speech processing, even in the absence of acoustic input.