Abstract Whether visual categorization, i.e., specific responses to a certain class of visual events across a wide range of exemplars, is graded or all-or-none in the human brain is largely unknown. We address this issue with an original frequency-sweep paradigm probing the evolution of responses between the minimum and optimal presentation times required to elicit both neural and behavioral face categorization responses. In a first experiment, widely variable natural images of nonface objects are progressively swept from 120 to 3 Hz (8.33 to 333 ms duration) in rapid serial visual presentation sequences; variable face exemplars appear every 1 s, enabling an implicit frequency-tagged face-categorization electroencephalographic (EEG) response at 1 Hz. In a second experiment, faces appear non-periodically throughout such sequences at fixed presentation rates, while participants explicitly categorize faces. Face-categorization activity emerges with stimulus durations as brief as 17 ms for both neural and behavioral measures (17 – 83 ms across individual participants neurally; 33 ms at the group level). The face-categorization response amplitude increases until 83 ms stimulus duration (12 Hz), implying graded categorization responses. However, a strong correlation with behavioral accuracy suggests instead that dilution from missed categorizations, rather than a decreased response to each face stimulus, may be responsible. This is supported in the second experiment by the absence of neural responses to behaviorally uncategorized faces, and equivalent amplitudes of isolated neural responses to only behaviorally categorized faces across presentation rates, consistent with the otherwise stable spatio-temporal signatures of face-categorization responses in both experiments. Overall, these observations provide original evidence that visual categorization of faces, while being widely variable across human observers, occurs in an all-or-none fashion in the human brain.

Abstract Some familiar objects are associated with specific colors, e.g., rubber ducks with yellow. Whether and at what stage neural responses occur to these color associations remain open questions. We tested for frequency-tagged electroencephalogram (EEG) responses to periodic presentations of yellow-associated objects, shown among sequences of non-periodic blue-, red-, and green-associated objects. Both color and grayscale versions of the objects elicited yellow-specific responses, indicating an automatic activation of color knowledge from object shape. Follow-up experiments replicated these effects with green-specific responses, and demonstrated modulated responses for incongruent color-object associations. Importantly, the onset of color-specific responses was as early to grayscale as actually colored stimuli (before 100 ms), the latter additionally eliciting a conventional later response (approximately 140-230 ms) to actual stimulus color. This suggests that the neural representation of familiar objects includes both diagnostic shape and color properties, such that shape can elicit associated color-specific responses before actual color-specific responses occur.

Abstract This study is designed to determine the proper electrical signals that induce various perceptual qualities. These perceptions are chosen from a wide range of feelings, comfort and even surface qualities such as smoothness or flatness. The goal is to derive the relationship between the electrical signal properties (i.e. voltage, frequency and duty cycle) and the perceived qualities which are understood by human observers and reveal any pattens in their reports. A total of 144 measurements are collected from 8 participants. The results are analyzed using numerous statistical methods. In the end, the governing factors are identified and a signal with specific properties is is determined for each of the perception qualities. A great number of plots are included in this study to facilitate the process of choosing the appropriate signal for each factor.

Abstract This paper presents our recent development on a portable and refreshable text reading and sensory substitution system for the blind or visually impaired (BVI), called Finger-eye. The system mainly consists of an opto-text processing unit and a compact electro-tactile based display that can deliver text-related electrical signals to the fingertip skin through a wearable and Braille-dot patterned electrode array and thus delivers the electro-stimulation based Braille touch sensations to the fingertip. To achieve the goal of aiding BVI to read any text not written in Braille through this portable system, in this work, a Rapid Optical Character Recognition (R-OCR) method is firstly developed for real-time processing text information based on a Fisheye imaging device mounted at the finger-wearable electrotactile display. This allows real-time translation of printed text to electro-Braille along with natural movement of user’s fingertip as if reading any Braille display or book. More importantly, an electro-tactile neuro-stimulation feedback mechanism is proposed and incorporated with the R-OCR method, which facilitates a new opto-electrotactile feedback based text line tracking control approach that enables text line following by user fingertip during reading. Multiple experiments were designed and conducted to test the ability of blindfolded participants to read through and follow the text line based on the opto-electrotactile-feedback method. The experiments show that as the result of the opto-electrotactile-feedback, the users were able to maintain their fingertip within a 2 mm distance of the text while scanning a text line. This research is a significant step to aid the BVI users with a portable means to translate and follow to read any printed text to Braille, whether in the digital realm or physically, on any surface.

ABSTRACT Sensorimotor synchronization (SMS) is the temporal coordination of motor movements with external or imagined stimuli. Finger‐tapping studies indicate better SMS performance with auditory or tactile stimuli compared to visual. However, SMS with a visual rhythm can be improved by enriching stimulus properties (e.g., spatiotemporal content) or individual differences (e.g., one's vividness of auditory imagery). We previously showed that higher self‐reported vividness of auditory imagery led to more consistent synchronization–continuation performance when participants continued without a guiding visual rhythm. Here, we examined the contribution of imagery to the SMS performance of proficient imagers , including an auditory or visual distractor task during the continuation phase. While the visual distractor task had minimal effect, SMS consistency was significantly worse when the auditory distractor task was present. Our electroencephalography analysis revealed beat‐related neural entrainment, only when the visual or auditory distractor tasks were present. During continuation with the auditory distractor task, the neural entrainment showed an occipital electrode distribution, suggesting the involvement of visual imagery. Unique to SMS continuation with the auditory distractor task, we found neural and sub‐vocal (measured with electromyography) entrainment at the three‐beat pattern frequency. In this most difficult condition, proficient imagers employed both beat‐ and pattern‐related imagery strategies. However, this combination was insufficient to restore SMS consistency to that observed with visual or no distractor task. Our results suggest that proficient imagers effectively utilized beat‐related imagery in one modality when imagery in another modality was limited.

Investigating peripheral visual processing in individuals with early auditory deprivation is a critical research area in the field of neuroscience, since it helps understanding the phenomenon of sensory adaptation and brain plasticity after sensory loss. Prior research has already demonstrated that the absence of auditory input, which is crucial to detect events occurring out of the central egocentric visual space, leads to an improved processing of visual and tactile stimuli occurring in peripheral regions of the sensory space. Nevertheless, no prior studies have explored whether such enhanced processing also takes place within the domain of action, particularly when individuals are required to perform actions that produce peripheral sensory outcomes. To test this hypothesis, we recruited 15 hearing (31 ±3.3 years) and 15 early deaf adults (42 ± 2.6 years) for a neuro-behavioral experiment involving: 1) a behavioral task where participants executed a simple motor action (i.e., a button press) and received a visual feedback either in the center or in a peripheral region of the visual field, and 2) the electrophysiological recording of brain electrical potentials (EEG). We measured and compared neural activity preceding the motor action (the readiness potentials) and visual evoked responses (the N1 and P2 ERP components) and found that deaf individuals did not exhibit more pronounced modulation of neural responses when their motor actions resulted in peripheral visual stimuli compared to their hearing counterparts. Instead they showed a reduced modulation when visual stimuli were presented in the center. Our results suggest a redistribution of attentional resources from center to periphery in deaf individuals during sensorimotor coupling.