Abstract Humans produce two forms of cognitively complex vocalizations: speech and song. It is debated whether these differ based primarily on culturally specific, learned features, or if acoustical features can reliably distinguish them. We study the spectro-temporal modulation patterns of vocalizations produced by 369 people living in 21 urban, rural, and small-scale societies across six continents. Specific ranges of spectral and temporal modulations, overlapping within categories and across societies, significantly differentiate speech from song. Machine-learning classification shows that this effect is cross-culturally robust, vocalizations being reliably classified solely from their spectro-temporal features across all 21 societies. Listeners unfamiliar with the cultures classify these vocalizations using similar spectro-temporal cues as the machine learning algorithm. Finally, spectro-temporal features are better able to discriminate song from speech than a broad range of other acoustical variables, suggesting that spectro-temporal modulation—a key feature of auditory neuronal tuning—accounts for a fundamental difference between these categories.

Abstract Semantic representation emerges from distributed multisensory modalities, yet a comprehensive understanding of the functional changing pattern within convergence zones or hubs integrating multisensory semantic information remains elusive. In this study, employing information-theoretic metrics, we quantified gesture and speech information, alongside their interaction, utilizing entropy and mutual information (MI). Neural activities were assessed via interruption effects induced by High-Definition transcranial direct current stimulation (HD-tDCS). Additionally, chronometric double-pulse transcranial magnetic stimulation (TMS) and high-temporal event-related potentials were utilized to decipher dynamic neural changes resulting from various information contributors. Results showed gradual inhibition of both inferior frontal gyrus (IFG) and posterior middle temporal gyrus (pMTG) as degree of gesture-speech integration, indexed by MI, increased. Moreover, a time-sensitive and staged progression of neural engagement was observed, evidenced by distinct correlations between neural activity patterns and entropy measures of speech and gesture, as well as MI, across early sensory and lexico-semantic processing stages. These findings illuminate the gradual nature of neural activity during multisensory gesture-speech semantic processing, shaped by dynamic gesture constraints and speech encoding, thereby offering insights into the neural mechanisms underlying multisensory language processing.

Abstract Recruitment of neural activity or functional connectivity is commonly observed in older adults but poorly understood. We measured brain activity with fMRI during speech-in-noise tasks and assessed whether accumulated reserve accrued through musical training bolsters or holds back age-related neural compensation. Older musicians exhibited less upregulation of task-induced functional connectivity than older non-musicians in dorsal regions, which predicted better behavioral performance in older musicians. The findings suggest that accumulated reserve may hold back neural recruitment. Besides functional connectivity strength, we also found that older musicians showed more youth-like fine spatial patterns of functional connectivity than older non-musicians. However, benefits from visual lip movements were not specific to either hypothesis. Aligning with enhanced benefits in behavioral performance, older musicians showed more extensive functional connectivity enhancement, specifically in the right hemisphere, than older non-musicians. Our findings enlightened the intricate interplay between accumulated reserve and age-related neural compensation during speech in noise perception.

Understanding how the human brain adapts to varying cognitive demands is crucial in neuroscience. Here, we examined how networks involved in controlled semantic retrieval reconfigure themselves to generate neurocognitive states appropriate to different task contexts. We parametrically varied the demands of two semantic tasks - global association and feature matching judgments - and contrasted these effects of cognitive control with those of non-semantic tasks. We then characterized these effects on the cortical surface and within a whole-brain state space, anchored by the top three dimensions of intrinsic connectivity. Our results revealed that demanding semantic association tasks elicited more activation in the anterior regions of the prefrontal and temporal cortex. In contrast, difficult semantic feature matching tasks produced more posterior activation, aligning closely with regions engaged during multiple demanding non-semantic tasks. In both semantic feature matching and non-semantic contexts, the difficulty effects were situated towards the controlled end of a dimension capturing functional separation between cognitive control and default mode regions. Conversely, in semantic association tasks, the difficulty effects elicited similar responses across both cognitive control and default mode networks. Furthermore, controlled association and non-semantic control were located towards the heteromodal end of a heteromodal-unimodal dimension, while semantic feature matching involved a brain state that was more visual and unimodal. These findings demonstrate that a variety of brain states underpin controlled cognition. Specifically, cognitive control regions interact with heteromodal semantic knowledge system to identify contextually relevant conceptual overlaps (e.g., associating 'DOG' with 'BEACH'), and separate from heteromodal memory regions for modality-specific conceptual overlaps (e.g., connecting 'DALMATIAN' with 'BLACK AND WHITE').

Abstract Speech perception is believed to recruit the left motor cortex. However, the exact role of the laryngeal subregion and its right counterpart in speech perception, as well as their temporal patterns of involvement remain unclear. To address these questions, we conducted a hypothesis-driven study, utilizing transcranial magnetic stimulation on the left or right dorsal laryngeal motor cortex (dLMC) when participants performed perceptual decision on Mandarin lexical tone or consonant (voicing contrast) presented with or without noise. We used psychometric function and hierarchical drift-diffusion model to disentangle perceptual sensitivity and dynamic decision-making parameters. Results showed that bilateral dLMCs were engaged with effector specificity, and this engagement was left-lateralized with right upregulation in noise. Furthermore, the dLMC contributed to various decision stages depending on the hemisphere and task difficulty. These findings substantially advance our understanding of the hemispherical lateralization and temporal dynamics of bilateral dLMC in sensorimotor integration during speech perceptual decision-making.

Abstract Musical training can offset age-related decline in speech-in-noise perception. However, how lifelong musical expertise affects the functional reorganization of older brain in speech-in-noise perception has not yet been systematically investigated. Here, we address this issue by analyzing fMRI responses of older musicians, older non-musicians and, young non-musicians identifying noise-masked audiovisual syllables. First, we confirmed that older musicians outperformed older non-musicians and even equaled young non-musicians. Then, we showed that both older groups showed decreased auditory activation and increased visual activation compared to young non-musicians, while older musicians showed higher activation in speech motor regions and greater deactivation of default mode network (DMN) regions than older non-musicians. Next, we revealed that musical expertise counteracted the age-related neural dedifferentiation of speech representation, making older musicians exhibit higher neural alignment-to-young in bilateral sensorimotor areas. Finally, we disentangled that greater activation in speech motor areas and stronger deactivation in DMN regions were correlated with higher neural alignment in sensorimotor areas, which strongly predicted better performance in older adults. Together, long-term musical expertise mitigates age-related deficits in audiovisual speech-in-noise processing through enhanced compensatory scaffolding that reserves youth-like representation in sensorimotor areas. Our findings provide a comprehensive perspective on understanding age- and experience-related brain reorganization during speech perception.

During the past decade, cognitive neuroscience has been calling for population diversity to address the challenge of validity and generalizability, ushering in a new era of population neuroscience. The developing Chinese Color Nest Project (devCCNP, 2013-2022), a ten-year pilot stage of the lifespan CCNP (2013-2032), is an ongoing project focusing on brain-mind development. The project aims to create and share a large-scale, longitudinal and multimodal dataset of typically developing children and adolescents (ages 6.0-17.9 at enrolment) in the Chinese population. The devCCNP houses not only phenotypes measured by demographic, biophysical, psychological and behavioural, cognitive, affective, and ocular-tracking assessments but also neurotypes measured with magnetic resonance imaging (MRI) of brain morphometry, resting-state function, naturalistic viewing function and diffusion structure. This Data Descriptor introduces the first data release of devCCNP including a total of 864 visits from 479 participants. Herein, we provided details of the experimental design, sampling strategies, and technical validation of the devCCNP resource. We demonstrate and discuss the potential of a multicohort longitudinal design to depict normative brain growth curves from the perspective of developmental population neuroscience. The devCCNP resource is shared as part of the 'Chinese Data-sharing Warehouse for In-vivo Imaging Brain' in the Chinese Color Nest Project (CCNP) - Lifespan Brain-Mind Development Data Community (https://www.scidb.cn/en/c/ccnp) at the Science Data Bank.

Musical training can offset age-related decline of speech perception in noisy environments. However, whether functional compensation or functional preservation the older musicians adopt to counteract the adverse effects of aging is unclear yet, so do older non-musicians. Here, we employed the fundamental brain organization feature named functional lateralization, and calculated network-based lateralization indices (LIs) of resting-state functional connectivity (FC) in 23 older musicians (OM), 23 older non-musicians (ONM), and 24 young non-musicians (YNM). OM outperformed ONM and almost equalized YNM in speech-in-noise/speech tasks. In parallel, ONM exhibited reduced lateralization than YNM in LI of intrahemispheric FC (LI_intra) in cingulo-opercular network (CON) and interhemispheric heterotopic FC (LI_he) in language network (LAN). Moreover, OM showed higher neural alignment to YNM (i.e., similar lateralization pattern) than ONM in LI_intra in CON, LAN, frontoparietal network (FPN) and default mode network (DMN) and LI_he in DMN. These findings suggest that musical training contributes to the preservation of youth-like lateralization in older adults. Furthermore, stronger left-lateralized and lower alignment-to-young of LI_intra in somatomotor network (SMN) and dorsal attention network (DAN) and LI_he in DMN correlated with better speech performance in ONM. In contrast, stronger right-lateralized LI_intra in FPN and DAN and higher alignment-to-young of LI_he in LAN correlated with better performance in OM. Thus, functional preservation and compensation of lateralization may play different roles in speech perception in noise for the elderly with and without musical expertise, respectively. Our findings provide insight into successful aging theories from the unique perspective of functional lateralization and speech perception.

Music, as a hierarchically organized art form, profoundly influences perception and mood through its rich information and intense emotion. While previous research has demonstrated that music can shape visual perception, its influences on visual awareness in aesthetic scenes remain largely unclear. In a series of five experiments involving 138 participants, we used the binocular rivalry paradigm to investigate how sad or lively Chinese folk music influences the perception of traditional Chinese paintings with varying aesthetic emotion (bleak vs. vivid). Paintings were presented in upright or inverted orientations or replaced by patches. Results revealed that sad music significantly increased both the average dominance duration and the predominance score of bleak paintings. Conversely, lively music with a faster tempo accelerated the switch rate of both paintings and patches. These effects were interdependent, exclusively for meaningful (upright) paintings, and correlated with individual sensitivity to musical reward. Our findings support the hierarchical predictive coding model of binocular rivalry, demonstrating that musical aesthetic emotion exerts top-down modulation, while musical tempo provides bottom-up entrainment, jointly shaping visual awareness of paintings.

Withdrawal Statement The authors have withdrawn this manuscript due to a duplicate posting of manuscript number BIORXIV/2022/517759. Therefore, the authors do not wish this work to be cited as reference for the project. If you have any questions, please contact the corresponding author. The correct preprint can be found at doi: 10.1101/2022.11.23.517759