During motor adaptation the nervous system constantly uses error information to improve future movements. Today's mainstream models simply assume that the nervous system adapts linearly and proportionally to errors. However, not all movement errors are relevant to our own action. The environment may transiently disturb the movement production—for example, a gust of wind blows the tennis ball away from its intended trajectory. Apparently the nervous system should not adapt its motor plan in the subsequent tennis strokes based on this irrelevant movement error. We hypothesize that the nervous system estimates the relevance of each observed error and adapts strongly only to relevant errors. Here we present a Bayesian treatment of this problem. The model calculates how likely an error is relevant to the motor plant and derives an ideal adaptation strategy that leads to the most precise movements. This model predicts that adaptation should be a nonlinear function of the size of an error. In reaching experiments we found strong evidence for the predicted nonlinear strategy. The model also explains published data on saccadic gain adaptation, adaptation to visuomotor rotations, and force perturbations. Our study suggests that the nervous system constantly and effortlessly estimates the relevance of observed movement errors for successful motor adaptation.

The sensorimotor system can recalibrate itself without our conscious awareness, a type of procedural learning whose computational mechanism remains undefined. Recent findings on implicit motor adaptation, such as over-learning from minor perturbations and swift saturation for increasing perturbation size, challenge existing theories based on sensory errors. We argue that perceptual error, arising from the optimal combination of movement-related cues, is the primary driver of implicit adaptation. Central to our theory is the linear relationship between the sensory uncertainty of visual cues and perturbation, validated through perceptual psychophysics (Experiment 1). Our theory predicts diverse features of implicit adaptation across a spectrum of perturbation conditions on trial-by-trial basis (Experiment 2) and explains proprioception changes and their relation to visual perturbation (Experiment 3). By altering visual uncertainty in perturbation, we induced unique adaptation responses (Experiment 4). Overall, our perceptual error framework outperforms existing models, suggesting that Bayesian cue integration underpins the sensorimotor system9s implicit adaptation.

Mixed reality (MR) has promise for learning, design, and entertainment, and for use during everyday life. However, when interacting with objects in mixed reality, will moving objects make us fall or perturb our postural stability? To address this question, we recruited participants, instructed them to stand quietly, and measured how much virtual objects presented in mixed reality (Microsoft HoloLens) affected their stance. We analyzed the effects of solid object and text, in both a static and a dynamic setting. Mixed reality events induced some movements, but the effect, while significant, was exceptionally small (< 1 mm & < 0.5° perturbations in terms of mean distance and angle rotations). We conclude that induced movement in “real reality” should not be too much of a concern when designing mixed reality applications.

Accumulating evidence indicates that the human's proprioception map appears subject-specific. However, whether the idiosyncratic pattern persists across time with good within-subject consistency has not been quantitatively examined. Here we measured the proprioception by a hand visual-matching task in multiple sessions over two days. We found that people improved their proprioception when tested repetitively without performance feedback. Importantly, despite the reduction of average error, the spatial pattern of proprioception errors remained idiosyncratic. Based on individuals' proprioceptive performance, a standard convolutional neural network classifier could identify people with good accuracy. We also found that subjects' baseline proprioceptive performance could not predict their motor performance in a visual trajectory-matching task even though both tasks require accurate mapping of hand position to visual targets in the same workspace. Using a separate experiment, we not only replicated these findings but also ruled out the possibility that performance feedback during a few familiarization trials caused the observed improvement in proprioception. We conclude that the conventional proprioception test itself, even without feedback, can improve proprioception but leave the idiosyncrasy of proprioception unchanged.

As a part of self-consciousness, sense of agency (SoA) refers to our sensation that we initiate actions that lead to ensuing perceptual consequences. Previous neuroimaging studies manipulated voluntary actions to create differential levels of SoA, and found that the SoA network largely overlaps with the sensorimotor network. It is thus unclear whether effects observed in these regions are attributable to SoA or some specific aspects of action processes (e.g., intentionality of action) related to voluntary action control, or both. To disentangle the effect of action processes, here we utilized virtual reality (VR) technology to induce an illusive SoA in the absence of voluntary action, and examined it by functional magnetic resonance imaging (fMRI). Participants' experience of controlling an avatar hand elicited a persistent increase in temporal binding, a behavioral marker of SoA, when they merely observed the avatar hand's movement in the scanner. fMRI results showed that the SoA with the non-action was associated with a cluster centered in right angular gyrus, extending to right inferior parietal lobule and the right precuneus. These high-level associative areas have been implicated in SoA with voluntary actions for their role in perceptual-motor mismatch detection and action awareness. Other traditional SoA areas, especially those governing action intentionality and motor planning, were not implicated. Hence, controlling a virtual body can generate a salient SoA whose neural correlates are distinct from those supporting action control but partially overlapping with those governing post voluntary-action SoA processes. These findings also highlight the role of angular gyrus in giving rise to the self-consciousness changes associated with virtual body embodiment in VR and metaverse.