In immersive virtual environments (IVEs), users can control their virtual viewpoint by moving their tracked head and walking through the real world. Usually, movements in the real world are mapped one-to-one to virtual camera motions. With redirection techniques, the virtual camera is manipulated by applying gains to user motion so that the virtual world moves differently than the real world. Thus, users can walk through large-scale IVEs while physically remaining in a reasonably small workspace. In psychophysical experiments with a two-alternative forced-choice task, we have quantified how much humans can unknowingly be redirected on physical paths that are different from the visually perceived paths. We tested 12 subjects in three different experiments: (E1) discrimination between virtual and physical rotations, (E2) discrimination between virtual and physical straightforward movements, and (E3) discrimination of path curvature. In experiment E1, subjects performed rotations with different gains, and then had to choose whether the visually perceived rotation was smaller or greater than the physical rotation. In experiment E2, subjects chose whether the physical walk was shorter or longer than the visually perceived scaled travel distance. In experiment E3, subjects estimate the path curvature when walking a curved path in the real world while the visual display shows a straight path in the virtual world. Our results show that users can be turned physically about 49 percent more or 20 percent less than the perceived virtual rotation, distances can be downscaled by 14 percent and upscaled by 26 percent, and users can be redirected on a circular arc with a radius greater than 22 m while they believe that they are walking straight.

The advent of inexpensive consumer virtual reality equipment enables many more researchers to study perception with naturally moving observers. One such system, the HTC Vive, offers a large field-of-view, high-resolution head mounted display together with a room-scale tracking system for less than a thousand U.S. dollars. If the position and orientation tracking of this system is of sufficient accuracy and precision, it could be suitable for much research that is currently done with far more expensive systems. Here we present a quantitative test of the HTC Vive's position and orientation tracking as well as its end-to-end system latency. We report that while the precision of the Vive's tracking measurements is high and its system latency (22 ms) is low, its position and orientation measurements are provided in a coordinate system that is tilted with respect to the physical ground plane. Because large changes in offset were found whenever tracking was briefly lost, it cannot be corrected for with a one-time calibration procedure. We conclude that the varying offset between the virtual and the physical tracking space makes the HTC Vive at present unsuitable for scientific experiments that require accurate visual stimulation of self-motion through a virtual world. It may however be suited for other experiments that do not have this requirement.

Abstract Blinks occur frequently in normal life and have increasingly been linked to perceptual and cognitive effects. However, the oculomechanics of blink-related eye movements are much less researched than other types of eye movements. While it has been observed that the eye is being pulled back into its socket during a blink, possibly due to co-contraction of extraocular muscles, this elusive eye motion has not been studied in detail due to the technical difficulties that go along with a closed eyelid. Here we use dynamic magnetic resonance imaging (MRI) to obtain videos of this motion and analyse the kinematics with the recently developed MREyeTrack algorithm. We show that the eye is not only retracted but also lifted up during a blink. For some participants we observed eyeball lifting by up to 3 mm, far exceeding the amount of translation believed to occur during natural eye movements. Slow blinks can be accompanied by large tonic rotations of up to 15°. Furthermore, we collected evidence that the co-contraction of extraocular muscles leads to a slight compression of the eyeball. These findings demonstrate the surprising complexity of ocular motility and offer new opportunities to study orbital mechanics in health and disease.

Abstract Vision requires that we rotate our eyes frequently to look at informative structures in the scene. Eye movements are planned by the brain but their execution depends on the mechanical properties of the oculomotor plant, i.e, the arrangement of eyeball position, muscle insertions and pulley locations. Therefore, the biomechanics of rotations is sensitive to eyeball translation because it changes muscle levers. Eyeball translations are little researched as they are difficult to measure with conventional techniques. Here we study the effects of eyeball translation on the coordination of gaze rotation by high-speed MRI recordings of saccadic eye movements during blinks, which are known to produce strong translations. We found that saccades during blinks massively overshoot their targets, and that these overshoots occur in a transient fashion such that the eye is back on target at the time the blink ends. These dynamic overshoots were tightly coupled to the eyeball translation, both in time and in size. Saccades made without blinks were also accompanied by small amounts of transient eyeball retraction, the size of which scaled with saccade amplitude. These findings demonstrate the complex interaction between rotation and translation movements of the eye. The mechanical consequences of eyeball translation on oculomotor control should be considered along with the neural implementation in the brain to understand the generation of eye movements and their disorders.

ABSTRACT The blind spot is both a necessity and a nuisance for seeing. It is the portion of the visual field projecting to where the optic nerve crosses the retina, a region devoid of photoreceptors and hence visual input. The precise way in which vision transitions into blindness at the blind spot border is to date unknown. A chief challenge to map this transition is the incessant movement of the eye, which unavoidably smears measurements across space. In this study, we used high-resolution eye-tracking and state-of-the-art retinal stabilization to finely map the blind spot borders. Participants reported the onset of tiny high-contrast probes that were briefly flashed at precise positions around the blind spot. This method has sufficient resolution to enable mapping of blood vessels from psychophysical measurements. Our data show that, even after accounting for eye movements, the transition zones at the edges of the blind spot are considerable. On the horizontal meridian, the regions with detection rates between 80% and 20% span approximately 25% of the overall width of the blind spot. These borders also vary considerably in size across different axes. These data show that the transition from full visibility to blindness at the blind spot border is not abrupt but occurs over a broad area.

Abstract The cerebellum implements error-based motor learning via synaptic gain adaptation of an inverse model, i.e. the mapping of a spatial movement goal onto a motor command. Recently, we modeled the motor and perceptual changes during learning of saccadic eye movements, showing that learning is actually a threefold process. Besides motor recalibration of the inverse model (1), learning also comprises perceptual recalibration of the visuospatial target map (2) and of a forward dynamics model that estimates the saccade size from corollary discharge (3). Yet, the site of perceptual recalibration remains unclear. Here we dissociate cerebellar contributions to the three stages of learning by modeling the learning data of eight cerebellar patients and eight healthy controls. Results showed that cerebellar pathology restrains short-term recalibration of the visuospatial target map and of the inverse model while the forward dynamics model is well informed about the reduced saccade change. Moreover, patients showed uncompensated oculomotor fatigue caused by insufficient upregulation of saccade duration. According to our model, this could induce long-term perceptual compensation, consistent with the overestimation of target eccentricity found in the patients’ baseline data. We conclude that the cerebellum mediates short-term adaptation of the visuospatial target map and of the inverse model, especially by control of saccade duration. The forward dynamics model was not affected by cerebellar pathology. Author Summary Achieving a fine-grained understanding of how the cerebellum continuously recalibrates our movements is an ongoing challenge in sensorimotor neuroscience. Recently, we showed that recalibration of saccadic eye movements does not only operate in motor space, i.e. by adjusting the motor command, but also in external and internal visual space, i.e. by adjusting the spatial representation of the target and the internal saccade size. For this purpose, (1) we developed a paradigm that allowed us to monitor changes of the internal saccade size estimated from trans-saccadic target localizations, and (2) we unified the three learning processes in one computational modeling framework. Here we apply this approach to the saccade learning data of patients with a neurodegenerative cerebellar disease. First, we dissociate the cerebellar role in recalibration of these three sites of learning. Second, we show how learning is transposed to saccade kinematics. Third, we provide first insights into the perceptual consequences of cerebellar pathology that, according to our model, may be a mechanism to recover from disease-specific motor deficits. Our modeling framework may help to dissociate the contribution of specific sensorimotor areas to adaptive behavior as well as to improve the understanding of learning deficits and compensatory strategies in the clinical context.

When one walks toward a crowd of pedestrians, dealing with their biological motion while controlling one's own self-motion is a difficult perceptual task. Limb articulation of a walker is naturally coupled to the walker's translation through the scene and allows the separation of optic flow generated by self-motion from the biological motion of other pedestrians. Recent research has shown that if limb articulation and translation mismatch, such as for walking in place, self-motion perception becomes biased. This bias may reflect an illusory motion attributed to the pedestrian crowd from the articulation of their limbs. To investigate this hypothesis, we presented observers with a simulation of forward self-motion toward a laterally moving crowd of point-light walkers and asked them to report the perceived lateral speed of the crowd. To investigate the dependence of the crowd speed percept on biological motion, we also included conditions in which the points of the walker were spatially scrambled to destroy body form and limb articulation. We observed illusory crowd speed percepts that were related to the articulation rate of the biological motion. Scrambled walkers also produced illusory motion but it was not related to articulation rate. We conclude that limb articulation induces percepts of crowd motion that can be used for interpreting self-motion toward crowds.

The interplay between attention, alertness and motor planning is crucial for our manual interactions. To investigate the neural bases of this interaction, and challenging the views that attention cannot be disentangled from motor planning, we instructed human volunteers of both sexes to plan and execute reaching movements while attending to the target, while attending elsewhere, or without constraining attention. We recorded reaction times to reach initiation and pupil diameter and interfered with the functions of the medial posterior parietal cortex (mPPC) with online repetitive transcranial magnetic stimulation to test the causal role of this cortical region in the interplay between spatial attention and reaching. We found that mPPC plays a key role in the spatial association of reach planning and covert attention. Moreover, we have found that alertness, measured by pupil size, is a good predictor of the promptness of reach initiation only if we plan a reach to attended targets, and mPPC is causally involved in this coupling. Different from previous understanding, we suggest that mPPC is neither involved in reach planning per se , nor in sustained covert attention in absence of a reach plan, but it is specifically involved in attention functional to reaching. Significance Statement Attention is required to perform dexterous arm movements. In this work we show the neural bases of the interplay between attention and reaching preparation, with the aim to provide information useful to address effective rehabilitation strategies to treat functional deficits observed in attention-related diseases. We discuss how brain areas are involved in orchestrating attention and reaching by signaling the alignment of their spatial coordinates. Moreover, we found that pupil size changes during reach preparation are related to reach initiation, suggesting a coordination between vigilance and reach promptness when preparing a reach to attended targets.