Abstract Temporal coordination during infant-caregiver social interaction is thought to be crucial for supporting early language acquisition and cognitive development. Despite a growing prevalence of theories suggesting that increased inter-brain synchrony associates with many key aspects of social interactions such as mutual gaze, little is known about how this arises during development. Here, we investigated the role of mutual gaze onsets as a potential driver of inter-brain synchrony. We extracted dual EEG activity around naturally occurring gaze onsets during infant-caregiver social interactions in N=55 dyads (mean age 12 months). We differentiated between two types of gaze onset, depending on each partners’ role. ‘Sender’ gaze onsets were defined at a time when either the adult or the infant made a gaze shift towards their partner at a time when their partner was either already looking at them (mutual) or not looking at them (non-mutual). ‘Receiver’ gaze onsets were defined at a time when their partner made a gaze shift towards them at a time when either the adult or the infant was already looking at their partner (mutual) or not (non-mutual). Contrary to our hypothesis we found that, during a naturalistic interaction, both mutual and non-mutual gaze onsets were associated with changes in the sender, but not the receiver’s brain activity and were not associated with increases in inter-brain synchrony above baseline. Further, we found that mutual, compared to non-mutual gaze onsets were not associated with increased inter brain synchrony. Overall, our results suggest that the effects of mutual gaze are strongest at the intra-brain level, in the ‘sender’ but not the ‘receiver’ of the mutual gaze.

Abstract Current approaches typically measure the connectivity between interacting physiological systems as a time-invariant property. This approach obscures crucial information about how connectivity between interacting systems is established and maintained. Here, we describe methods, and present computational algorithms, that will allow researchers to address this deficit. We focus on how two different approaches to measuring connectivity, namely concurrent (e.g., power correlations, phase locking) and sequential (e.g., Granger causality), can be applied to three aspects of the brain signal, namely amplitude, power, and phase. We guide the reader through worked examples using mainly simulated data on how to leverage these methods to measure changes in interbrain connectivity between adults and children/infants relative to events identified within continuous EEG data during a free-flowing naturalistic interaction. For each, we aim to provide a detailed explanation of the interpretation of the analysis and how they can be usefully used when studying early social interactions.

Whether speech prosody truly and naturally reflects a speaker's subjective confidence, rather than other dimensions such as objective accuracy, is unclear. Here, using a new approach combing psychophysics with acoustic analysis and automatic classification of verbal reports, we tease apart the contributions of sensory evidence, accuracy, and subjective confidence to speech prosody. We find that subjective confidence and objective accuracy are distinctly reflected in the loudness, duration and intonation of verbal reports. Strikingly, we show that a speaker's accuracy is encoded in speech prosody beyond their own metacognitive awareness, and that it can be automatically decoded from this information alone with performances up to 60%. These findings demonstrate that confidence and accuracy have separable prosodic signatures that are manifested with different timings, and on different acoustic dimensions. Thus, both subjective mental states of confidence, and objective states related to competence, can be directly inferred from this natural behavior.

Traditional neurobiological theories of musical emotions explain well why extreme music such as punk, hardcore or metal, whose vocal and instrumental characteristics share much similarity with acoustic threat signals, should evoke unpleasant feelings for a large proportion of listeners. Why it doesn't for metal music fans, however, remains a theoretical challenge: metal fans may differ from non-fans in how they process acoustic threat signals at the sub-cortical level, showing deactivated or reconditioned responses that differ from controls. Alternatively, it is also possible that appreciation for metal depends on the inhibition by cortical circuits of a normal low-order response to auditory threat. In a series of three experiments, we show here that, at a sensory level, metal fans actually react equally negatively, equally fast and even more accurately to cues of auditory threat in vocal and instrumental contexts than non-fans. Conversely, cognitive load somewhat appears to reduce fans' appreciation of metal to the level reported by non-fans. Taken together, these results are not compatible with the idea that extreme music lovers do so because of a different low-level response to threat, but rather, highlight a critical contribution of higher-order cognition to the aesthetic experience. These results are discussed in the light of recent higher-order theories of emotional consciousness, which we argue should be generalized to the emotional experience of music across musical genres.

Emotional reactions are usually accompanied by vocalizations whose acoustic features are largely impacted by the physiological state of the body. While many theoretical frameworks emphasize the role played by the perception of bodily changes in the emergence of emotional feelings, few attempts have been made to assess the impact of vocal self-perception in this process. Here, we address this question by asking participants to deliberate out loud about how they would feel in various imaginary situations while we covertly manipulate their voices in order to make them sound emotional. Perceiving these artificial expressive cues in their own voice altered participants inferences about how they would feel. Crucially, this effect of vocal self-perception on felt emotions was abolished when participants detected our manipulation either explicitly or implicitly. Beyond demonstrating that vocal self-perception plays a role in the emergence of emotions, these results provide causal evidence for self-perception theories.

Abstract Almost all early cognitive development takes place in social contexts. At the moment, however, we know little about the neural and micro-interactive mechanisms that support infants’ attention during social interactions. Recording EEG during naturalistic caregiver-infant interactions (N=66), we compare two different accounts. Traditional, didactic perspectives emphasise the role of the caregiver in structuring the interaction, whilst active learning models focus on motivational factors, endogenous to the infant, that guide their attention. Our results show that, already by 12-months, intrinsic cognitive processes control infants’ attention: fluctuations in endogenous oscillatory neural activity associated with changes in infant attentiveness. In comparison, infant attention was not forwards-predicted by caregiver gaze or vocal behaviours. Instead, caregivers rapidly modulated their behaviours in response to changes in infant attention and cognitive engagement, and greater reactive changes associated with longer infant attention. Our findings suggest that shared attention develops through interactive but asymmetric, infant-led processes that operate across the caregiver-child dyad.

Abstract Neural entrainment to slow modulations in the amplitude envelope of infant-directed speech is thought to drive early language learning. Most previous research with infants examining speech-brain tracking has been conducted in controlled, experimental settings, which are far from the complex environments of everyday interactions. Whilst recent work has begun to investigate speech-brain tracking to naturalistic speech, this work has been conducted in semi-structured paradigms, where infants listen to live adult speakers, without engaging in free-flowing social interactions. Here, we test the applicability of mTRF modelling to measure speech-brain tracking in naturalistic and bidirectional free-play interactions of 9-12-month-olds with their caregivers. Using a backwards modelling approach, we test individual and generic training procedures, and examine the effects of data quantity and quality on model fitting. We show model fitting is most optimal using an individual approach, trained on continuous segments of interaction data. Corresponding to previous findings, individual models showed significant speech-brain tracking at delta modulation frequencies, but not in alpha and theta bands. These findings open new methods for studying the interpersonal micro-processes that support early language learning. In future work, it will be important to develop a mechanistic framework for understanding how our brains track naturalistic speech during infancy.

Over the past few years, the field of visual social cognition and face processing has been dramatically impacted by a series of data-driven studies employing computer-graphics tools to synthesize arbitrary meaningful facial expressions. In the auditory modality, reverse correlation is traditionally used to characterize sensory processing at the level of spectral or spectro-temporal stimulus properties, but not higher-level cognitive processing of e.g. words, sentences or music, by lack of tools able to manipulate the stimulus dimensions that are relevant for these processes. Here, we present an open-source audio-transformation toolbox, called CLEESE, able to systematically randomize the prosody/melody of existing speech and music recordings. CLEESE works by cutting recordings in small successive time segments (e.g. every successive 100 milliseconds in a spoken utterance), and applying a random parametric transformation of each segment's pitch, duration or amplitude, using a new Python-language implementation of the phase-vocoder digital audio technique. We present here two applications of the tool to generate stimuli for studying intonation processing of interrogative vs declarative speech, and rhythm processing of sung melodies.