JH
Jasmine Hect
Author with expertise in Neural Mechanisms of Auditory Processing and Perception
Achievements
Open Access Advocate
Key Stats
Upvotes received:
0
Publications:
4
(75% Open Access)
Cited by:
0
h-index:
15
/
i10-index:
17
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

A hierarchy of processing complexity and timescales for natural sounds in human auditory cortex

Kyle Rupp et al.May 26, 2024
Abstract Efficient behavior is supported by humans’ ability to rapidly recognize acoustically distinct sounds as members of a common category. Within auditory cortex, there are critical unanswered questions regarding the organization and dynamics of sound categorization. Here, we performed intracerebral recordings in the context of epilepsy surgery as 20 patient-participants listened to natural sounds. We built encoding models to predict neural responses using features of these sounds extracted from different layers within a sound-categorization deep neural network (DNN). This approach yielded highly accurate models of neural responses throughout auditory cortex. The complexity of a cortical site’s representation (measured by the depth of the DNN layer that produced the best model) was closely related to its anatomical location, with shallow, middle, and deep layers of the DNN associated with core (primary auditory cortex), lateral belt, and parabelt regions, respectively. Smoothly varying gradients of representational complexity also existed within these regions, with complexity increasing along a posteromedial-to-anterolateral direction in core and lateral belt, and along posterior-to-anterior and dorsal-to-ventral dimensions in parabelt. When we estimated the time window over which each recording site integrates information, we found shorter integration windows in core relative to lateral belt and parabelt. Lastly, we found a relationship between the length of the integration window and the complexity of information processing within core (but not lateral belt or parabelt). These findings suggest hierarchies of timescales and processing complexity, and their interrelationship, represent a functional organizational principle of the auditory stream that underlies our perception of complex, abstract auditory information.
1

Categorical encoding of voice in human superior temporal cortex

Kyle Rupp et al.Nov 23, 2021
Abstract The ability to recognize abstract features of voice during auditory perception is a complex, yet poorly understood, feat of human audition. For the listener, this occurs in near-automatic fasion to seamlessly extract complex cues from a highly variable auditory signal. Voice perception depends on specialized regions of auditory cortex, including superior temporal gyrus (STG) and superior temporal sulcus (STS). However, the nature of voice encoding at the cortical level remains poorly understoood. We leverage intracerebral recordings across human auditory cortex during presentation of voice and non-voice acoustic stimuli to examine voice encoding in auditory cortex, in eight patient-participants undergoing epilepsy surgery evaluation. We show that voice-selectivity increases along the auditory hierarchy from supratemporal plane (STP) to the STG and STS. Results show accurate decoding of vocalizations from human auditory cortical activity even in the complete absence of linguistic content. These findings show an early, less-selective temporal window of neural activity in the STG and STS followed by a sustained, strongly voice-selective window. We then developed encoding models that demonstrate divergence in the encoding of acoustic features along the auditory hierarchy, wherein STG/STS responses were best explained by voice category as opposed to the acoustic features of voice stimuli. This is in contrast to neural activity recorded from STP, in which responses were accounted for by acoustic features. These findings support a model of voice perception that engages categorical encoding mechanisms within STG and STS. Significance Statement Voice perception occurs via specialized networks in higher order auditory cortex, yet how voice features are encoded remains a central unanswered question. With human intracerebral recordings of auditory cortex, we provide evidence for categorical encoding of voice in STG and STS and occurs in the absence of linguistic content. This selectivity strengthens after an initial onset response and cannot be explained by simple acoustic features. Together, these data support the existence of sites within STG and STS that are specialized for voice perception.