Abstract Visual perception often fails to recover the veridical 3D shape of objects in the environment due to ambiguity and variability in the available depth cues. However, we rely heavily on 3D shape estimates when planning movements, for example reaching to pick up an object from a slanted surface. Given the wide variety of distortions that can affect 3D perception, how do our actions remain accurate across different environments? One hypothesis is that the visuomotor system performs selective filtering of 3D information to minimize distortions. Indeed, some studies have found that actions appear to preferentially target stereo information when it is put in conflict with texture information. However, since these studies analyze averages over multiple trials, this apparent preference could be produced by sensorimotor adaptation. In Experiment 1, we create a set of cue-conflict stimuli where one available depth cue is affected by a constant bias. Sensory feedback rapidly aligns the motor output with physical reality in just a few trials, which can make it seem as if action planning selectively relies on the reinforced cue—yet no change in the relative influences of the cues is necessary to eliminate the constant errors. In contrast, when one depth cue becomes less correlated with physical reality, variable movement errors will occur, causing canonical adaptation to fail as the opposite error corrections cancel out. As a result, canonical adaptation cannot explain the preference for stereo found in studies with variable errors. However, Experiment 2 shows that persistent errors can produce a novel form of adaptation that gradually reduces the relative influence of an unreliable depth cue. These findings show that grasp control processes are continuously modified based on sensory feedback to compensate for both biases and noise in 3D visual processing, rather than having a hardwired preference for one type of depth information.

Abstract Motor learning in visuomotor adaptation tasks results from both explicit and implicit processes, each responding differently to an error signal. While the motor output side of these processes is extensively studied, their visual input side is relatively unknown. We investigated if and how depth perception affects the computation of error information by explicit and implicit motor learning. Two groups of participants threw virtual darts at a virtual dartboard while receiving perturbed endpoint feedback. The Delayed group was allowed to re-aim and their feedback was delayed to emphasize explicit learning, while the Clamped group received clamped cursor feedback which they were told to ignore, and continued to aim straight at the target to emphasize implicit adaptation. Both groups played this game in a highly detailed virtual environment (Depth condition) and in an empty environment (No-Depth condition). The Delayed group showed an increase in error sensitivity under Depth relative to No-Depth conditions. In contrast, the Clamped group adapted to the same degree under both conditions. The movement kinematics of the Delayed participants also changed under the Depth condition, consistent with the target appearing more distant, unlike the Clamped group. A comparison of the Delayed behavioral data with a perceptual task from the same individuals showed that the effect of the Depth condition on the re-aiming direction was consistent with an increase in the scaling of the error distance and size. These findings suggest that explicit and implicit learning processes may rely on different sources of perceptual information. New & Noteworthy We leveraged a classic sensorimotor adaptation task to perform a first systematic assessment of the role of perceptual cues in the estimation of an error signal in the 3D space during motor learning. We crossed two conditions presenting different amounts of depth information, with two manipulations emphasizing explicit and implicit learning processes. Explicit learning responded to the visual conditions, consistent with perceptual reports, while implicit learning appeared to be independent of them.

Abstract In a previous series of experiments using virtual stimuli, we found evidence that 3D shape estimation agrees to a superadditivity rule of depth-cue combination. According to this rule, adding depth cues leads to greater perceived depth magnitudes and, in principle, to depth overestimation. The mechanism underlying the superadditivity effect can be fully accounted for by a normative theory of cue integration, through the adaptation of a model of cue integration termed the Intrinsic Constraint (IC) model. As for its nature, it remains unclear whether superadditivity is a byproduct of the artificial nature of virtual environments, causing explicit reasoning to infiltrate behavior and inflate the depth judgments when a scene is richer in depth cues, or the genuine output of the process of depth-cue integration. In the present study, we addressed this question by testing whether the IC model’s prediction of superadditivity generalizes beyond VR environments to real world situations. We asked participants to judge the perceived 3D shape of cardboard prisms through a matching task. To assay the potential influence of explicit control over those perceptual estimates, we also asked participants to reach and hold the same objects with their fingertips and we analyzed the in-flight grip size during the reaching. Using physical objects ensured that all visual information was fully consistent with the stimuli’s 3D structure without computer-generated artifacts. We designed a novel technique to carefully control binocular and monocular 3D cues independently from one another, allowing to add or remove depth information from the scene seamlessly. Even with real objects, participants exhibited a clear superadditivity effect in both explicit and implicit tasks. Furthermore, the magnitude of this effect was accurately predicted by the IC model. These results confirm that superadditivity is an inherent feature of depth estimation.

Visual perception often fails to recover the veridical 3D shape of objects in the environment due to ambiguity and variability in the available depth cues. However, we rely heavily on 3D shape estimates when planning movements, for example reaching to pick up an object from a slanted surface. Given the wide variety of distortions that can affect 3D perception, how do our actions remain accurate across different environments? One hypothesis is that the visuomotor system performs selective filtering of 3D information to minimize distortions. Indeed, some studies have found that actions appear to preferentially target stereo information when it is put in conflict with texture information. However, since these studies analyze averages over multiple trials, this apparent preference could be produced by sensorimotor adaptation. In Experiment 1, we create a set of cue-conflict stimuli where one available depth cue is affected by a constant bias. Sensory feedback rapidly aligns the motor output with physical reality in just a few trials, which can make it seem as if action planning selectively relies on the reinforced cue--yet no change in the relative influences of the cues is necessary to eliminate the constant errors. In contrast, when one depth cue becomes less correlated with physical reality, variable movement errors will occur, causing canonical adaptation to fail as the opposite error corrections cancel out. As a result, canonical adaptation cannot explain the preference for stereo found in studies with variable errors. However, Experiment 2 shows that persistent errors can produce a novel form of adaptation that gradually reduces the relative influence of an unreliable depth cue. These findings show that grasp control processes are continuously modified based on sensory feedback to compensate for both biases and noise in 3D visual processing, rather than having a hardwired preference for one type of depth information.

To perform accurate movements, the sensorimotor system must maintain a delicate calibration of the mapping between visual inputs and motor outputs. Previous work has focused on the mapping between visual inputs and individual locations in egocentric space, but little attention has been paid to the mappings that support interactions with 3D objects. In this study, we investigated sensorimotor adaptation of grasping movements targeting the depth dimension of 3D paraboloid objects. Object depth was specified by separately manipulating binocular disparity (stereo) and texture gradients. At the end of each movement, the fingers closed down on a physical object consistent with one of the two cues, depending on the condition (haptic-for-texture or haptic-for-stereo). Unlike traditional adaptation paradigms, where relevant spatial properties are determined by a single dimension of visual information, this method enabled us to investigate whether adaptation processes can selectively adjust the influence of different sources of visual information depending on their relationship to physical depth. In two experiments, we found short-term changes in grasp performance consistent with a process of cue-selective adaptation: the slope of the grip aperture with respect to a reliable cue (correlated with physical reality) increased, whereas the slope with respect to the unreliable cue (uncorrelated with physical reality) decreased. In contrast, slope changes did not occur during exposure to a set of stimuli where both cues remained correlated with physical reality, but one was rendered with a constant bias of 10 mm; the grip aperture simply became uniformly larger or smaller, as in standard adaptation paradigms. Overall, these experiments support a model of cue-selective adaptation driven by correlations between error signals and input values (i.e., supervised learning), rather than mismatched haptic and visual signals.

Abstract The fundamental question of how the brain derives 3D information from the inherently ambiguous visual input has been approached during the last two decades with probabilistic theories of 3D perception. Probabilistic models, such as the Maximum Likelihood Estimation (MLE) model, derive from multiple independent depth cues the most probable 3D interpretations. These estimates are then combined by weighing them according to their uncertainty to obtain the most accurate and least noisy estimate. In three experiments we tested an alternative theory of cue integration termed the Intrinsic Constraint (IC) theory. This theory postulates that the visual system does not derive the most probable interpretation of the visual input, but the most stable interpretation amid variations in viewing conditions. This goal is achieved with the Vector Sum model, that represents individual cue estimates as components of a multidimensional vector whose norm determines the combined output. In contrast with the MLE model, individual cue estimates are not accurate, but linearly related to distal 3D properties through a deterministic mapping. In Experiment 1, we measured the cue-specific biases that arise when viewing single-cue stimuli of various simulated depths and show that the Vector Sum model accurately predicts an increase in perceived depth when the same cues are presented together in a combined-cue stimulus. In Experiment 2, we show how Just Noticeable Differences (JNDs) are accounted for by the IC theory and demonstrate that the Vector Sum model predicts the classic finding of smaller JNDs for combined-cue versus single-cue stimuli. Most importantly, this prediction is made through a radical re-interpretation of the JND, a hallmark measure of stimulus discriminability previously thought to estimate perceptual uncertainty. In Experiment 3, we show that biases found in cue-integration experiments cannot be attributed to flatness cues, as assumed by the MLE model. Instead, we show that flatness cues produce no measurable difference in perceived depth for monocular (3A) or binocular viewing (3B), as predicted by the Vector Sum model.