Abstract Visual perception often fails to recover the veridical 3D shape of objects in the environment due to ambiguity and variability in the available depth cues. However, we rely heavily on 3D shape estimates when planning movements, for example reaching to pick up an object from a slanted surface. Given the wide variety of distortions that can affect 3D perception, how do our actions remain accurate across different environments? One hypothesis is that the visuomotor system performs selective filtering of 3D information to minimize distortions. Indeed, some studies have found that actions appear to preferentially target stereo information when it is put in conflict with texture information. However, since these studies analyze averages over multiple trials, this apparent preference could be produced by sensorimotor adaptation. In Experiment 1, we create a set of cue-conflict stimuli where one available depth cue is affected by a constant bias. Sensory feedback rapidly aligns the motor output with physical reality in just a few trials, which can make it seem as if action planning selectively relies on the reinforced cue—yet no change in the relative influences of the cues is necessary to eliminate the constant errors. In contrast, when one depth cue becomes less correlated with physical reality, variable movement errors will occur, causing canonical adaptation to fail as the opposite error corrections cancel out. As a result, canonical adaptation cannot explain the preference for stereo found in studies with variable errors. However, Experiment 2 shows that persistent errors can produce a novel form of adaptation that gradually reduces the relative influence of an unreliable depth cue. These findings show that grasp control processes are continuously modified based on sensory feedback to compensate for both biases and noise in 3D visual processing, rather than having a hardwired preference for one type of depth information.

Visual perception often fails to recover the veridical 3D shape of objects in the environment due to ambiguity and variability in the available depth cues. However, we rely heavily on 3D shape estimates when planning movements, for example reaching to pick up an object from a slanted surface. Given the wide variety of distortions that can affect 3D perception, how do our actions remain accurate across different environments? One hypothesis is that the visuomotor system performs selective filtering of 3D information to minimize distortions. Indeed, some studies have found that actions appear to preferentially target stereo information when it is put in conflict with texture information. However, since these studies analyze averages over multiple trials, this apparent preference could be produced by sensorimotor adaptation. In Experiment 1, we create a set of cue-conflict stimuli where one available depth cue is affected by a constant bias. Sensory feedback rapidly aligns the motor output with physical reality in just a few trials, which can make it seem as if action planning selectively relies on the reinforced cue--yet no change in the relative influences of the cues is necessary to eliminate the constant errors. In contrast, when one depth cue becomes less correlated with physical reality, variable movement errors will occur, causing canonical adaptation to fail as the opposite error corrections cancel out. As a result, canonical adaptation cannot explain the preference for stereo found in studies with variable errors. However, Experiment 2 shows that persistent errors can produce a novel form of adaptation that gradually reduces the relative influence of an unreliable depth cue. These findings show that grasp control processes are continuously modified based on sensory feedback to compensate for both biases and noise in 3D visual processing, rather than having a hardwired preference for one type of depth information.

To perform accurate movements, the sensorimotor system must maintain a delicate calibration of the mapping between visual inputs and motor outputs. Previous work has focused on the mapping between visual inputs and individual locations in egocentric space, but little attention has been paid to the mappings that support interactions with 3D objects. In this study, we investigated sensorimotor adaptation of grasping movements targeting the depth dimension of 3D paraboloid objects. Object depth was specified by separately manipulating binocular disparity (stereo) and texture gradients. At the end of each movement, the fingers closed down on a physical object consistent with one of the two cues, depending on the condition (haptic-for-texture or haptic-for-stereo). Unlike traditional adaptation paradigms, where relevant spatial properties are determined by a single dimension of visual information, this method enabled us to investigate whether adaptation processes can selectively adjust the influence of different sources of visual information depending on their relationship to physical depth. In two experiments, we found short-term changes in grasp performance consistent with a process of cue-selective adaptation: the slope of the grip aperture with respect to a reliable cue (correlated with physical reality) increased, whereas the slope with respect to the unreliable cue (uncorrelated with physical reality) decreased. In contrast, slope changes did not occur during exposure to a set of stimuli where both cues remained correlated with physical reality, but one was rendered with a constant bias of 10 mm; the grip aperture simply became uniformly larger or smaller, as in standard adaptation paradigms. Overall, these experiments support a model of cue-selective adaptation driven by correlations between error signals and input values (i.e., supervised learning), rather than mismatched haptic and visual signals.

Modern virtual reality (VR) devices offer 6 degree-of-freedom kinematic data with high spatial and temporal resolution, making them powerful tools for research on sensorimotor and cognitive functions. We introduce Ouvrai, an open-source solution that facilitates the design and execution of remote VR studies, capitalizing on the surge in VR headset ownership. This tool allows researchers to develop sophisticated experiments using cutting-edge web technologies like the WebXR Device API for browser-based VR, without compromising on experimental design. Ouvrai's features include easy installation, intuitive JavaScript templates, a component library managing front- and back-end processes, and a streamlined workflow. It also integrates APIs with Prolific, Amazon Mechanical Turk, and Firebase, offering data processing utilities for analysis. Unlike other tools, Ouvrai remains free, with researchers managing their web hosting and cloud database via personal Firebase accounts. Through three distinct motor learning experiments, we confirm Ouvrai's efficiency and viability for conducting remote VR studies.

Abstract The fundamental question of how the brain derives 3D information from the inherently ambiguous visual input has been approached during the last two decades with probabilistic theories of 3D perception. Probabilistic models, such as the Maximum Likelihood Estimation (MLE) model, derive from multiple independent depth cues the most probable 3D interpretations. These estimates are then combined by weighing them according to their uncertainty to obtain the most accurate and least noisy estimate. In three experiments we tested an alternative theory of cue integration termed the Intrinsic Constraint (IC) theory. This theory postulates that the visual system does not derive the most probable interpretation of the visual input, but the most stable interpretation amid variations in viewing conditions. This goal is achieved with the Vector Sum model, that represents individual cue estimates as components of a multidimensional vector whose norm determines the combined output. In contrast with the MLE model, individual cue estimates are not accurate, but linearly related to distal 3D properties through a deterministic mapping. In Experiment 1, we measured the cue-specific biases that arise when viewing single-cue stimuli of various simulated depths and show that the Vector Sum model accurately predicts an increase in perceived depth when the same cues are presented together in a combined-cue stimulus. In Experiment 2, we show how Just Noticeable Differences (JNDs) are accounted for by the IC theory and demonstrate that the Vector Sum model predicts the classic finding of smaller JNDs for combined-cue versus single-cue stimuli. Most importantly, this prediction is made through a radical re-interpretation of the JND, a hallmark measure of stimulus discriminability previously thought to estimate perceptual uncertainty. In Experiment 3, we show that biases found in cue-integration experiments cannot be attributed to flatness cues, as assumed by the MLE model. Instead, we show that flatness cues produce no measurable difference in perceived depth for monocular (3A) or binocular viewing (3B), as predicted by the Vector Sum model.

Abstract The ability to predict the dynamics of objects, linking applied force to motion, underlies our capacity to perform many of the tasks we carry out on a daily basis. Thus, a fundamental question is how the dynamics of the myriad objects we interact with are organized in memory. Using a custom-built three-dimensional robotic interface that allowed us to simulate objects of varying appearance and weight, we examined how participants learned the weights of sets of objects that they repeatedly lifted. We find strong support for the novel hypothesis that motor memories of object dynamics are organized categorically, in terms of families, based on covariation in their visual and mechanical properties. A striking prediction of this hypothesis, supported by our findings and not predicted by standard associative map models, is that outlier objects with weights that deviate from the family-predicted weight will never be learned despite causing repeated lifting errors.