A fundamental scientific question concerns the neuronal basis of perceptual consciousness, which encompasses the perceptual experience and reflexive monitoring associated with a sensory event. Although recent human studies identified individual neurons reflecting stimulus visibility, their functional role for perceptual consciousness remains unknown. Here, we provide neuronal and computational evidence indicating that perceptual and reflexive consciousness are governed by an all-or-none process involving accumulation of perceptual evidence. We recorded single-neuron activity in a participant with a microelectrode implant in the posterior parietal cortex, considered a substrate for evidence accumulation, while he detected vibrotactile stimuli around detection threshold and provided confidence estimates. We found that detected stimuli elicited firing rate patterns resembling evidence accumulation during decision-making, irrespective of response effectors. Similar neurons encoded the intensity of task-irrelevant stimuli, suggesting their role for consciousness per se, irrespective of report. We generalized these findings in healthy volunteers using electroencephalography and reproduced their behavioral and neural responses with a computational model. This model considered stimulus detection if accumulated evidence reached a bound, and confidence as the distance between maximal evidence and that bound. Applying this mechanism to our neuronal data, we were able to decode single-trial confidence ratings both for detected and undetected stimuli. Our results show that the specific gradual changes in neuronal dynamics during evidence accumulation govern perceptual consciousness and reflexive monitoring in humans.

Summary Reconstructing intended speech from neural activity using brain-computer interfaces (BCIs) holds great promises for people with severe speech production deficits. While decoding overt speech has progressed, decoding imagined speech have met limited success, mainly because the associated neural signals are weak and variable hence difficult to decode by learning algorithms. Using three electrocorticography datasets totalizing 1444 electrodes from 13 patients who performed overt and imagined speech production tasks, and based on recent theories of speech neural processing, we extracted consistent and specific neural features usable for future BCIs, and assessed their performance to discriminate speech items in articulatory, phonetic, vocalic, and semantic representation spaces. While high-frequency activity provided the best signal for overt speech, both low- and higher-frequency power and local cross-frequency contributed to successful imagined speech decoding, in particular in phonetic and vocalic, i.e. perceptual, spaces. These findings demonstrate that low-frequency power and cross-frequency dynamics contain key information for imagined speech decoding, and that exploring perceptual spaces offers a promising avenue for future imagined speech BCIs.

Abstract The maintenance of items in working memory relies on a widespread network of cortical areas and hippocampus where synchronization between electrophysiological recordings reflects functional coupling. We investigated the direction of information flow between auditory cortex and hippocampus while participants heard and then mentally replayed strings of letters in working memory by activating their phonological loop. We recorded LFP from the hippocampus, reconstructed beamforming sources of scalp EEG, and - additionally in 3 participants – recorded from subdural cortical electrodes. When analyzing Granger causality, the information flow was from auditory cortex to hippocampus with a peak in the 4-8 Hz range while participants heard the letters. This flow was subsequently reversed during maintenance while participants maintained the letters in memory. The functional interaction between hippocampus and the cortex and the reversal of information flow provide a physiological basis for the encoding of memory items and their active replay during maintenance.

Transcranial electric stimulation (TES) is an emerging technique, developed to non-invasively modulate brain function. However, the spatiotemporal distribution of the intracranial electric fields induced by TES remains poorly understood. In particular, it is unclear how much current actually reaches the brain, and how it distributes across the brain. Lack of this basic information precludes a firm mechanistic understanding of TES effects. In this study we directly measure the spatial and temporal characteristics of the electric field generated by TES using stereotactic EEG (s-EEG) electrode arrays implanted in cebus monkeys and surgical epilepsy patients. We found a small frequency dependent decrease (10%) in magnitudes of TES induced potentials and negligible phase shifts over space. Electric field strengths were strongest in superficial brain regions with maximum values of about 0.5 mV/mm. Our results provide crucial information for the interpretation of human TES studies and the optimization and design of TES stimulation protocols. In addition, our findings have broad implications concerning electric field propagation in non-invasive recording techniques such as EEG/MEG.

A ubiquitous characteristic of human cortical networks is their tendency to rapidly change their response properties upon repetition. While this phenomenon has been amply documented using simple sensory-motor tasks, it is still unclear to what extent brain activations change on a short time scale when we are engaged in high level, complex tasks. Here, we examined this question using three types of high-level visual problems. We analyzed data from intracranial recordings performed in eight patients, focusing on the location and type of changes and on their relationship to overt behavior. Our results show significant repetition effects, manifested as signal decrease with repetition, in three different groups of electrodes: Visual sites, which increased their activity during stimuli presentation; Processing Positive sites, which demonstrated increased activity throughout the experimental trial; and Processing Negative sites, which demonstrated suppression of activity during the trial as compared to baseline. Interestingly, despite these significant repetition effects, response time remained unchanged with repetition. These findings bear directly upon our ability to interpret results aggregated across multiple repetitions of the same complex task.

A key hallmark of visual perceptual awareness is robustness to instabilities arising from unnoticeable eye and eyelid movements. In previous human intracranial (iEEG) work (Golan et al., 2016) we found that excitatory broadband high-frequency activity transients, driven by eye blinks, are suppressed in higher-level but not early visual cortex. Here, we utilized the broad anatomical coverage of iEEG recordings in 12 eye-tracked neurosurgical patients to test whether a similar stabilizing mechanism operates following small saccades. We compared saccades (1.3°-3.7°) initiated during inspection of large individual visual objects with similarly-sized external stimulus displacements. Early visual cortex sites responded with positive transients to both conditions. In contrast, in both dorsal and ventral higher-level sites the response to saccades (but not to external displacements) was suppressed. These findings indicate that early visual cortex is highly unstable compared to higher-level visual regions which apparently constitute the main target of stabilizing extra-retinal oculomotor influences.

Background: Intracranial electrical recordings (iEEG) and brain stimulation (iEBS) are invaluable human neuroscience methodologies. However, the value of such data is often unrealized as many laboratories lack tools for localizing electrodes relative to anatomy. To remedy this, we have developed a MATLAB toolbox for intracranial electrode localization and visualization, iELVis. New Method: iELVis uses existing tools (BioImage Suite, FSL, and FreeSurfer) for preimplant magnetic resonance imaging (MRI) segmentation, neuroimaging coregistration, and manual identification of electrodes in postimplant neuroimaging. Subsequently, iELVis implements methods for correcting electrode locations for postimplant brain shift with millimeter-scale accuracy and provides interactive visualization on 3D surfaces or in 2D slices with optional functional neuroimaging overlays. iELVis also localizes electrodes relative to FreeSurfer-based atlases and can combine data across subjects via the FreeSurfer average brain. Results: It takes 30-60 minutes of user time and 12-24 hours of computer time to localize and visualize electrodes from one brain. We demonstrate iELVis's functionality by showing that three methods for mapping primary hand somatosensory cortex (iEEG, iEBS, and functional MRI) provide highly concordant results. Comparison with Existing Methods iELVis is the first public software for electrode localization that corrects for brain shift, maps electrodes to an average brain, and supports neuroimaging overlays. Moreover, its interactive visualizations are powerful and its tutorial material is extensive. Conclusions: iELVis promises to speed the progress and enhance the robustness of intracranial electrode research. The software and extensive tutorial materials are freely available as part of the EpiSurg software project: https://github.com/episurg/episurg

ABSTRACT Background The maintenance of items in working memory (WM) relies on a widespread network of brain areas where synchronization between electrophysiological recordings may reflect functional coupling. While the coupling from hippocampus to scalp EEG is well established, we provide here direct cortical recordings for a fine-grained analysis. Methods A patient performed a WM task where a string of letters was presented all at once, thus separating the encoding period from the maintenance period. We recorded sEEG from the hippocampus, temporo-parietal ECoG from a 64-contact grid electrode, and scalp EEG. Results Power spectral density (PSD) showed a clear task dependence: PSD in the posterior parietal lobe (10 Hz) and in the hippocampus (20 Hz) peaked towards the end of the maintenance period. Inter-area synchronization was characterized by the phase locking value (PLV). WM maintenance enhanced PLV between hippocampal sEEG and scalp EEG specifically in the theta range [6 7] Hz. PLV from hippocampus to parietal cortex increased during maintenance in the [9 10] Hz alpha and the 20 Hz range. When analyzing the information flow to and from auditory cortex by Granger causality, the flow was from auditory cortex to hippocampus with a peak in the [8 18] Hz range while letters were presented, and this flow was subsequently reversed during maintenance, while letters were maintained in memory. Conclusions The increased functional interaction between hippocampus and cortex through synchronized oscillatory activity and the directed information flow provide physiological basis for reverberation of memory items during maintenance. This points to a network for working memory that is bound by coherent oscillations involving cortical areas and hippocampus. SIGNIFICANCE STATEMENT Hippocampal activity is known for its role in cognitive tasks involving episodic memory or spatial navigation, but its role in working memory and its sensitivity to workload is still under debate. Here, we investigated hippocampal and cortical activity while a subject maintained sets of letters in verbal working memory for a few seconds to guide action. After confirming the coupling between hippocampal oscillations and oscillations on the scalp, we found during maintenance that hippocampal oscillations increased coupling differentially to several areas of cortex by recording directly from the cortex.. During encoding of the letters, information flow was from auditory cortex to hippocampus and subsequently reversed during maintenance, thus providing a physiological basis for memory encoding and maintenance. This demonstrates a network for working memory that is bound by coherent oscillations that underlie the functional connectivity between cortical areas and hippocampus.

Natural conversation is multisensory: when we can see the speaker’s face, visual speech cues influence our perception of what is being said. The neuronal basis of this phenomenon remains unclear, though there is indication that phase modulation of neuronal oscillations—ongoing excitability fluctuations of neuronal populations in the brain—provides a mechanistic contribution. Investigating this question using naturalistic audiovisual speech with intracranial recordings in humans, we show that neuronal populations in auditory cortex track the temporal dynamics of unisensory visual speech using the phase of their slow oscillations and phase-related modulations in high-frequency activity. Auditory cortex thus builds a representation of the speech stream’s envelope based on visual speech alone, at least in part by resetting the phase of its ongoing oscillations. Phase reset could amplify the representation of the speech stream and organize the information contained in neuronal activity patterns.SIGNIFICANCE STATEMENT Watching the speaker can facilitate our understanding of what is being said. The mechanisms responsible for this influence of visual cues on the processing of speech remain incompletely understood. We studied those mechanisms by recording the human brain’s electrical activity through electrodes implanted surgically inside the skull. We found that some regions of cerebral cortex that process auditory speech also respond to visual speech even when it is shown as a silent movie without a soundtrack. This response can occur through a reset of the phase of ongoing oscillations, which helps augment the response of auditory cortex to audiovisual speech. Our results contribute to discover the mechanisms by which the brain merges auditory and visual speech into a unitary perception.### Competing Interest StatementThe authors have declared no competing interest.

Despite the massive accumulation of systems neuroscience findings, their functional meaning remains tentative, largely due to the absence of realistically performing models. The discovery that deep convolutional networks achieve human performance in realistic tasks offers fresh opportunities for such modeling. Here we show that the face-space topography of face-selective columns recorded intra-cranially in 32 patients significantly matches that of a DCNN having human-level face recognition capabilities. Three modeling aspects converge in pointing to a role of human face areas in pictorial rather than person identification: First, the match was confined to intermediate layers of the DCNN. Second, identity preserving image manipulations abolished the brain to DCNN correlation. Third, DCNN neurons matching face-column tuning displayed view-point selective receptive fields. Our results point to a "convergent evolution" of pattern similarities in biological and artificial face perception. They demonstrate DCNNs as a powerful modeling approach for deciphering the function of human cortical networks.