ABSTRACT Speech neuroprosthetics aim to provide a natural communication channel to individuals who are unable to speak due to physical or neurological impairments. Real-time synthesis of acoustic speech directly from measured neural activity could enable natural conversations and significantly improve quality of life, particularly for individuals who have severely limited means of communication. Recent advances in decoding approaches have led to high quality reconstructions of acoustic speech from invasively measured neural activity. However, most prior research utilizes data collected during open-loop experiments of articulated speech, which neglects the critical human-in-the-loop aspect of a practical speech neuroprosthetic. Here we present an approach that synthesizes audible speech in real-time for both imagined and whispered speech conditions. Using a participant implanted with stereotactic depth electrodes, we were able to reliably generate audible speech in real-time. The decoding models rely predominately on frontal activity suggesting that speech processes have similar representations when vocalized, whispered, or imagined. Our real-time synthesis approach represents an essential step towards investigating how patients will learn to operate a closed-loop speech neuroprosthesis, as well as the development of techniques that incorporate co-adaptation of the user and system for optimized performance.

Abstract Using brain activity directly as input for assistive tool control can circumvent muscular dysfunction and increase functional independence for physically impaired people. Most invasive motor decoding studies focus on decoding neural signals from the primary motor cortex, which provides a rich but superficial and spatially local signal. Initial non-primary motor cortex decoding endeavors have used distributed recordings to demonstrate decoding of motor activity by grouping electrodes in mesoscale brain regions. While these studies show that there is relevant and decodable movement related information outside the primary motor cortex, these methods are still exclusionary to other mesoscale areas, and do not capture the full informational content of the motor system. In this work, we recorded intracranial EEG of 8 epilepsy patients, including all electrode contacts except those contacts in or adjacent to the central sulcus. We show that executed and imagined movements can be decoded from non-motor areas; combining all non-motor contacts into a lower dimensional representation provides enough information for a Riemannian decoder to reach an area under the curve of 0.83 ± 0.11. Additionally, by training our decoder on executed and testing on imagined movements, we demonstrate that between these two conditions there exists shared distributed information in the beta frequency range. By combining relevant information from all areas into a lower dimensional representation, the decoder was able to achieve high decoding results without information from the primary motor cortex. This representation makes the decoder more robust to perturbations, signal non-stationarities and neural tissue degradation. Our results indicate to look beyond the motor cortex and open up the way towards more robust and more versatile brain-computer interfaces.

ABSTRACT Neural activity is presumed to be correlated with motor behavior almost everywhere in the brain, implying that many different brain processes are involved in generating a behavioral output. Recent studies in multiple non-human species have observed pervasive brain-wide neural activity directly related to motor output. However, similar brain-wide investigations in humans with high-temporal resolution are lacking to date. Here, we recorded invasive data from brain-wide distributed electrodes in humans and reveal global neural dynamics that are predictive of movement across tasks and across participants. The dynamics are remarkably stable between participants with substantially varying electrode configurations and to loss of information. We demonstrate that these global neural dynamics are near brain-wide and present in all participants. Uncovering these global neural dynamics may allow for a more holistic and network-based perspective on motor-related neural activity.

Abstract Objective To investigate whether local lesions created by stereo‐electroencephalography (SEEG)–guided radiofrequency thermocoagulation (RFTC) affect distant brain connectivity and excitability in patients with focal, drug‐resistant epilepsy (DRE). Methods Ten patients with focal DRE underwent SEEG implantation and subsequently 1 Hz bipolar repetitive electrical stimulation (RES) for 30 s before and after RFTC. Root mean square (RMS) of cortico‐cortical evoked potentials (CCEPs) was calculated for 15 ms to 300 ms post‐stimulation with baseline correction. Contact pairs were categorized as both coagulated, hybrid, or both non‐coagulated. The data were divided into nine categories based on the stimulating and recording contact pair combinations. RMS of CCEPs was compared before and after (<12 h) RFTC using a two‐sample t test (Hochberg corrected, p < 0.05) for each patient. Boost score, indicating power increase during seizures before RFTC relative to baseline, was analyzed in 4 s windows with 1 s overlap during seizure duration. Results RFTC altered connectivity across all categories. Of interest, decreases and increases in RMS were observed in connections between non‐coagulated contacts distant from coagulation site (range: 1.09–85 mm, median = 17.7 mm, interquartile range [IQR] 10.1–32.3). Contact pairs involved in significantly altered non‐coagulated connections showed a higher boost score correlation in the theta, beta, and gamma bands, as well as a stronger maximum correlation with coagulated sites in the delta band than contacts for which connectivity did not change after RFTC. Significance This study highlights how local lesions alter distant brain connectivity, providing insights for future research on epilepsy network changes and seizure outcomes following RFTC.

Periventricular nodular heterotopias (PVNH) are developmental abnormalities with neurons abnormally clustered around the cerebral ventricles. Patients frequently present with focal drug-resistant epilepsy (DRE). However, the relationship between PVNH and the seizure onset zone (SOZ) is complex. Stereo-electroencephalography (SEEG) is an invasive diagnostic procedure for patients with DRE. In selected patients, the SEEG may be converted into a therapeutic procedure, lesioning the probable (SOZ) with pulsed radiofrequency thermocoagulation (RFTC). The aim of our study was to evaluate the efficacy and safety of SEEG-RFTC in a series of DRE patients with PVNH.

Abstract Ideally, decisions are made based on prior knowledge, which allows for informed choices. Real life, however, often requires us to make decisions arbitrarily, without sufficient information. Decoding decision making processes from neural activity could allow for cognitive neuroprostheses and Brain-Computer Interfaces (BCIs) to support decision processes in rapid human-machine interactions, weigh decision-making confidence, and further enable neuromodulation protocols for the treatment of reward-related dysfunctions. To understand the differences between the decision-making processes in arbitrary and informed decisions, we recorded intracranial electroencephalography in a large number of cortical and subcortical areas from 5 patients during a categorization task. We demonstrate that individual decisions can be decoded from Local Field Potentials (LFPs) before motor response, in both arbitrary and informed conditions. Our analysis revealed dissimilar spatio-temporal patterns between arbitrary and informed decision-making, with arbitrary decisions being decodable in fewer brain regions and earlier in time compared to informed decisions.

ABSTRACT Speech production is an intricate process involving a large number of muscles and cognitive processes. The neural processes underlying speech production are not completely understood. As speech is a uniquely human ability, it can not be investigated in animal models. High-fidelity human data can only be obtained in clinical settings and is therefore not easily available to all researchers. Here, we provide a dataset of 10 participants reading out individual words while we measured intracranial EEG from a total of 1103 electrodes. The data, with its high temporal resolution and coverage of a large variety of cortical and sub-cortical brain regions, can help in understanding the speech production process better. Simultaneously, the data can be used to test speech decoding and synthesis approaches from neural data to develop speech Brain-Computer Interfaces and speech neuroprostheses.