Abstract Perhaps the most recognizable sensory map in all of neuroscience is the somatosensory homunculus. Though it seems straightforward, this simple representation belies the complex link between an activation in a somatotopic map and the associated touch location on the body. Any isolated activation is spatially ambiguous without a neural decoder that can read its position within the entire map, but how this is computed by neural networks is unknown. We propose that the somatosensory system implements multilateration, a common computation used by surveying and GPS systems to localize objects. Specifically, to decode touch location on the body, multilateration estimates the relative distance between the afferent input and the boundaries of a body part (e.g., the joints of a limb). We show that a simple feedforward neural network, which captures several fundamental receptive field properties of cortical somatosensory neurons, can implement a Bayes-optimal multilateral computation. Simulations demonstrated that this decoder produced a pattern of localization variability between two boundaries that was unique to multilateration. Finally, we identify this computational signature of multilateration in actual psychophysical experiments, suggesting that it is a candidate computational mechanism underlying tactile localization.

ABSTRACT The sense of touch is not restricted to the body but can also extend to external objects. When we use a hand-held tool to contact an object, we feel the touch on the tool and not in the hand holding the tool. The ability to perceive touch on a tool actually extends along its entire surface, allowing the user to accurately localize where it is touched similarly as they would on their body. While the neural mechanisms underlying the ability to localize touch on the body have been largely investigated, those allowing to localize touch on a tool are still unknown. We aimed to fill this gap by recording the EEG signal of participants while they localized tactile stimuli on a hand-held rod. We focused on oscillatory activity in the alpha (7-14 Hz) and beta (15-30 Hz) range, as they have been previously linked to distinct spatial codes used to localize touch on the body. Beta activity reflects the mapping of touch in skin-based coordinates, whereas alpha activity reflects the mapping of touch in external space. We found that alpha activity was solely modulated by the location of tactile stimuli applied on a hand-held rod. Source reconstruction suggested that this alpha power modulation was localized in a network of fronto-parietal regions previously implicated in higher-order tactile and spatial processing. These findings are the first to implicate alpha oscillations in tool-extended sensing and suggest an important role for processing touch in external space when localizing touch on a tool.

Abstract The spatial limits of sensory acquisition (its sensory horizon ) is a fundamental property of any sensorimotor system. In the present study, we sought to determine the sensory horizon for the human haptic modality. At first blush, it seems obvious that the haptic system is bounded by the space where the body can interact with the environment (e.g., the arm span). However, the human somatosensory system is exquisitely tuned to sensing with tools—blind-cane navigation being a classic example of this. The horizon of haptic perception therefore extends beyond body space, but to what extent is unknown. We first used neuromechanical modelling to determine the theoretical horizon, which we pinpointed as six meters. We then used a psychophysical localization paradigm to behaviorally confirm that humans can haptically localize objects using a six-meter rod. This finding underscores the incredibly flexibility of the brain’s sensorimotor representations, as they can be adapted to sense with an object many times longer than the user’s own body.

Abstract It is often claimed that tools are embodied by the user, but whether the brain actually repurposes its body-based computations to perform similar tasks with tools is not known. A fundamental computation for localizing touch on the body is trilateration . Here, the location of touch on a limb is computed by integrating estimates of the distance between sensory input and its boundaries (e.g., elbow and wrist of the forearm). As evidence of this computational mechanism, tactile localization on a limb is most precise near its boundaries and lowest in the middle. We show that the brain repurposes trilateration to localize touch on a tool. In a large sample of participants, we found that localizing touch on a tool produced the signature of trilateration, with highest precision close to the base and tip of the tool. A computational model of trilateration provided a good fit to the observed localization behavior. To further demonstrate the computational plausibility of repurposing trilateration, we implemented it in a three-layer neural network that was based on principles of probabilistic population coding. This network determined hit location in tool-centered coordinates by using a tool’s unique pattern of vibrations when contacting an object. Simulations demonstrated the expected signature of trilateration, in line with the behavioral patterns. Our results have important implications for how trilateration may be implemented by somatosensory neural populations. We conclude that trilateration is a fundamental spatial computation that unifies limbs and tools.

ABSTRACT Numerous studies have suggested that tools become incorporated into a representation of our body. A prominent hypothesis suggests that our brain re-uses body-based computations when we use tools. However, little is known about how this is implemented at the neural level. Here we used the ability to localize touch on both tools and body parts as a case study to fill this gap. Neural oscillations in the alpha (8-13 Hz) and beta (15-25 Hz) frequency bands are involved in mapping touch on the body in distinct reference frames. Alpha activity reflects the mapping of touch in external coordinates, whereas beta activity reflects the mapping of touch in skin-centered coordinates. Here, we aimed at pinpointing the role of these oscillations during tool-extended sensing. We recorded participants’ oscillatory activity while tactile stimuli were applied to either hands or the tips of hand-held rods. The posture of the hands/tool-tips was uncrossed or crossed at participants’ body midline in order for us to disentangle brain responses related to different coordinate systems. We found that alpha-band activity was modulated similarly across postures when localizing touch on hands and on tools, reflecting the position of touch in external space. Source reconstruction also indicated a similar network of cortical regions involved for tools and hands. Our findings strongly suggest that the brain uses similar oscillatory mechanisms for mapping touch on the body and tools, supporting the idea of neural processes being repurposed for tool-use. SIGNIFICANCE STATEMENT Tool use is one of the defining traits of humankind. Tools allow us to explore our environment and expand our sensorimotor abilities. A prominent hypothesis suggests that our brain re-uses body-based neural processing to swiftly adapt to the use of tools. However, little is known about how this is implemented at the neural level. In the present study we used the ability to map touch on both tools and body parts as a case study to fill this gap. We found that the brain uses similar oscillatory mechanisms for mapping touch on a hand-held tool and on the body. These results provide novel and compelling support to the idea that neural processes devoted to body-related information are re-purposed for tool-use.

Tools can extend the sense of touch beyond the body, allowing the user to extract sensory information about distal objects in their environment. Though research on this topic has trickled in over the last few decades, little is known about the neurocomputational mechanisms of extended touch. In 2016, along with our late collaborator Vincent Hayward, we began a series of studies that attempted to fill this gap. We specifically focused on the ability to localize touch on the surface of a rod, as if it were part of the body. We have conducted eight behavioral experiments over the last several years, all of which have found that humans are incredibly accurate at tool-extended tactile localization. In the present article, we perform a model-driven re-analysis of these findings with an eye toward estimating the underlying parameters that map sensory input into spatial perception. This re-analysis revealed that users can almost perfectly localize touch on handheld tools. This raises the question of how humans can be so good at localizing touch on an inert noncorporeal object. The remainder of the paper focuses on three aspects of this process that occupied much of our collaboration with Vincent: the mechanical information used by participants for localization; the speed by which the nervous system can transform this information into a spatial percept; and whether body-based computations are repurposed for tool-extended touch. In all, these studies underscore the special relationship between bodies and tools.

Abstract Current models of mental body representations (MBRs) indicate that tactile inputs feed several of them for different functions, implying that altering tactile inputs may affect MBRs differently. Here we tested this hypothesis by leveraging Repetitive Somatosensory Stimulation (RSS), known to improve tactile perception by modulating primary somatosensory cortex (SI) activity, and measured its effects over the body image , the body model and the superficial schema in a randomized sham-controlled, double-blind cross-over study. Results show that RSS affected the body image , participants perceiving their finger size as being smaller after RSS. While previous work showed increase of finger size perception after tactile anesthesia (Gandevia & Phegan 1999), these findings reveal that tactile inputs can diametrically modulate the body image. In contrast, RSS did not alter the body model or superficial schema . In addition, we report a novel mislocalization pattern, with a bias towards the middle finger in the distal phalanges that reverses towards the thumb in the proximal phalanx, enriching the known distortions of the superficial schema . Overall, these findings provide novel insights into the functional organization of MBRs and their relationships with somatosensory information. Reducing the perceived body size through RSS could be useful in helping treat body image disturbance.

To sense and interact with objects in the environment, we effortlessly configure our fingertips at desired locations. It is therefore reasonable to assume the underlying control mechanisms rely on accurate knowledge about the structure and spatial dimensions of our hand and fingers. This intuition, however, is challenged by years of research showing drastic biases in the perception of finger geometry. This perceptual bias has been taken as evidence that the brain internal representation of the body geometry is distorted, leading to an apparent paradox with the skillfulness of our actions. Here, we propose an alternative explanation of the biases in hand perception: They are the result of the Bayesian integration of noisy, but unbiased somatosensory signals about finger geometry and posture. To address this hypothesis, we combined Bayesian reverse-engineering with behavioral experimentation on joint and fingertip localization of the index finger. We modelled the Bayesian integration either in sensory or in space-based coordinates, showing that the latter model variant led to biases in finger perception despite accurate representations of finger length. Behavioral measures of joint and fingertip localization responses showed similar biases, which were well-fitted by the space-based but not the sensory-based model variant. Our results suggest that perceptual distortions of finger geometry do not reflect a distorted hand model but originate from near-optimal Bayesian inference on somatosensory signals. These findings demand a reinterpretation of previous work on hand model distortions.

Abstract There is evidence that the sensorimotor system builds fine-grained spatial maps of the limbs based on somatosensory signals. Can a hand-held tool be mapped in space with a comparable spatial resolution? Do spatial maps change following tool use? In order to address these questions, we used a spatial mapping task on healthy participants to measure the accuracy and precision of spatial estimates pertaining to several locations on their arm and on a hand-held tool. To study spatial accuracy, we first fitted linear regressions with real location as predictor and estimated location as dependent variables. Intercepts and slopes, representing constant offset and estimation error, were compared between arm and tool, and before to after tool use. We further investigated changes induced by tool use in terms of variable error associated with spatial estimates, representing their precision. We found that the spatial maps for the arm and tool were comparably accurate, suggesting that holding the tool provides enough information to the sensorimotor system to map it in space. Further, using the tool fine-tuned the user’s spatial maps, increasing the precision of the tool map to a greater extent than their arm map. Furthermore, this increased precision is focal to specific tool locations, i.e., the tool tip, which may work as a spatial anchor following tool use. Our results demonstrate that tool users possess dynamic maps of tool space that are comparable to body space.