The design of modern scientific experiments requires the control and monitoring of many different data streams. However, the serial execution of programming instructions in a computer makes it a challenge to develop software that can deal with the asynchronous, parallel nature of scientific data. Here we present Bonsai, a modular, high-performance, open-source visual programming framework for the acquisition and online processing of data streams. We describe Bonsai's core principles and architecture and demonstrate how it allows for the rapid and flexible prototyping of integrated experimental designs in neuroscience. We specifically highlight some applications that require the combination of many different hardware and software components, including video tracking of behavior, electrophysiology and closed-loop control of stimulation.

To guide behavior and learn from its consequences, the brain must represent time over many scales. Yet, the neural signals used to encode time in the seconds-to-minute range are not known. The striatum is a major input area of the basal ganglia associated with learning and motor function. Previous studies have also shown that the striatum is necessary for normal timing behavior. To address how striatal signals might be involved in timing, we recorded from striatal neurons in rats performing an interval timing task. We found that neurons fired at delays spanning tens of seconds and that this pattern of responding reflected the interaction between time and the animals’ ongoing sensorimotor state. Surprisingly, cells rescaled responses in time when intervals changed, indicating that striatal populations encoded relative time. Moreover, time estimates decoded from activity predicted timing behavior as animals adjusted to new intervals, and disrupting striatal function led to a decrease in timing performance. These results suggest that striatal activity forms a scalable population code for time, providing timing signals that animals use to guide their actions.

Time is a subjective experience Time, like space, is one of the fundamental dimensions of all our experiences. However, organisms do not work like clocks, and our judgment about the passage of time is variable, depending on circumstances. Soares et al. systematically investigated midbrain dopaminergic neurons during timing behavior in mice (see the Perspective by Simen and Matell). When measuring and manipulating mouse activity, the authors observed that dopaminergic neurons controlled temporal judgments on a time scale of seconds. Science , this issue p. 1273 ; see also p. 1231

ABSTRACT Behavior arises from the coordinated activity of numerous anatomically and functionally distinct brain regions. Modern experimental tools allow unprecedented access to large neural populations spanning many interacting regions brain-wide. Yet, understanding such large-scale datasets necessitates both scalable computational models to extract meaningful features of inter-region communication and principled theories to interpret those features. Here, we introduce Current-Based Decomposition (CURBD), an approach for inferring brain-wide interactions using data-constrained recurrent neural network models that directly reproduce experimentally-obtained neural data. CURBD leverages the functional interactions inferred by such models to reveal directional currents between multiple brain regions. We first show that CURBD accurately isolates inter-region currents in simulated networks with known dynamics. We then apply CURBD to multi-region neural recordings obtained from mice during running, macaques during Pavlovian conditioning, and humans during memory retrieval to demonstrate the widespread applicability of CURBD to untangle brain-wide interactions underlying behavior from a variety of neural datasets.

Summary Imbalance between action suppression and production characterizes several basal ganglia (BG) disorders. Relatedly, the direct and indirect pathways of the BG are hypothesized to promote and suppress actions, respectively. Yet striatal direct (dMSNs) and indirect (iMSNs) medium spiny neurons are coactive around movement, apparently contradicting direct-indirect functional opponency. In the dorsolateral striatum of mice, we observed coactivation around movements, but elevated and diminished activity of iMSNs and dMSNs, respectively, during action suppression. Furthermore, relative activity of the two hemispheres evolved in opposite directions in the two pathways as the need to suppress movements to either side of the body developed over time. Lastly, optogenetic inhibition experiments revealed the necessity of iMSNs but not dMSNs for the proactive suppression of specific actions, and dMSNs but not iMSNs for generalized action vigor. These data demonstrate distinct yet still broadly opponent roles for the direct and indirect pathways in behavioral control.

Abstract The neural correlates of decision-making have been investigated extensively, and recent work aims to identify under what conditions cortex is actually necessary for making accurate decisions. We discovered that mice with distinct cognitive experiences, beyond sensory and motor learning, use different cortical areas and neural activity patterns to solve the same task, revealing past learning as a critical determinant of whether cortex is necessary for decision-making. We used optogenetics and calcium imaging to study the necessity and neural activity of multiple cortical areas in mice with different training histories. Posterior parietal cortex and retrosplenial cortex were mostly dispensable for accurate decision-making in mice performing a simple navigation-based decision task. In contrast, these areas were essential for the same simple task when mice were previously trained on complex tasks with delay periods or association switches. Multi-area calcium imaging showed that, in mice with complex-task experience, single-neuron activity had higher selectivity and neuron-neuron correlations were weaker, leading to codes with higher task information. Therefore, past experience sets the landscape for how future tasks are solved by the brain and is a key factor in determining whether cortical areas have a causal role in decision-making.

Abstract Reward expectations based on internal knowledge of the external environment are a core component of adaptive behavior. However, internal knowledge may be inaccurate or incomplete due to errors in sensory measurements. Some features of the environment may also be encoded inaccurately to minimise representational costs associated with their processing. We investigate how reward expectations are affected by differences in internal representations by studying rodents’ behaviour and dopaminergic activity while they make time based decisions. Several possible representations allow a reinforcement learning agent to model animals’ choices during the task. However, only a small subset of highly compressed representations simultaneously reproduce, both, animals’ behaviour and dopaminergic activity. Strikingly, these representations predict an unusual distribution of response times that closely matches animals’ behaviour. These results can inform how constraints of representational efficiency may be expressed in encoding representations of dynamic cognitive variables used for reward based computations.

The striatum is an input structure of the basal ganglia implicated in several time-dependent functions including reinforcement learning, decision making, and interval timing. To determine whether striatal ensembles drive subjects' judgments of duration, we manipulated and recorded from striatal neurons in rats performing a duration categorization psychophysical task. We found that the dynamics of striatal neurons predicted duration judgments, and that simultaneously recorded ensembles could judge duration as well as the animal. Furthermore, striatal neurons were necessary for duration judgments, as muscimol infusions produced a specific impairment in animals' duration sensitivity. Lastly, we show that time as encoded by striatal populations ran faster or slower when rats judged a duration as longer or shorter, respectively. These results demonstrate that the speed with which striatal population state changes supports the fundamental ability of animals to judge the passage of time.

Research in neuroscience relies increasingly on the mouse, a mammalian species that affords unparalleled genetic tractability and brain atlases. Here we introduce high-yield methods for probing mouse visual decisions. Mice are head-fixed, which facilitates repeatable visual stimulation, eye tracking, and brain access. They turn a steering wheel to make two-alternative choices, forced or unforced. Learning is rapid thanks to intuitive coupling of stimuli to wheel position. The mouse decisions deliver high-quality psychometric curves for detection and discrimination, and conform to the predictions of a simple probabilistic observer model. The task is readily paired with two-photon imaging of cortical activity. Optogenetic inactivation reveals that the task requires the visual cortex. Mice are motivated to perform the task by fluid reward or optogenetic stimulation of dopaminergic neurons. This stimulation elicits larger number of trials and faster learning. These methods provide a platform to accurately probe mouse vision and its neural basis.

Characterizing animal behavior requires methods to distill 3D movements from video data. Though keypoint tracking has emerged as a widely used solution to this problem, it only provides a limited view of pose, reducing the body of an animal to a sparse set of experimenter-defined points. To more completely capture 3D pose, recent studies have fit 3D mesh models to subjects in image and video data. However, despite the importance of mice as a model organism in neuroscience research, these methods have not been applied to the 3D reconstruction of mouse behavior. Here, we present ArMo, an articulated mesh model of the laboratory mouse, and demonstrate its application to multi-camera recordings of head-fixed mice running on a spherical treadmill. Using an end-to-end gradient based optimization procedure, we fit the shape and pose of a dense 3D mouse model to data-derived keypoint and point cloud observations. The resulting reconstructions capture the shape of the animal’s surface while compactly summarizing its movements as a time series of 3D skeletal joint angles. ArMo therefore provides a novel alternative to the sparse representations of pose more commonly used in neuroscience research.