Many naturalistic behaviors are built from modular components that are expressed sequentially. Although striatal circuits have been implicated in action selection and implementation, the neural mechanisms that compose behavior in unrestrained animals are not well understood. Here, we record bulk and cellular neural activity in the direct and indirect pathways of dorsolateral striatum (DLS) as mice spontaneously express action sequences. These experiments reveal that DLS neurons systematically encode information about the identity and ordering of sub-second 3D behavioral motifs; this encoding is facilitated by fast-timescale decorrelations between the direct and indirect pathways. Furthermore, lesioning the DLS prevents appropriate sequence assembly during exploratory or odor-evoked behaviors. By characterizing naturalistic behavior at neural timescales, these experiments identify a code for elemental 3D pose dynamics built from complementary pathway dynamics, support a role for DLS in constructing meaningful behavioral sequences, and suggest models for how actions are sculpted over time.

Striatal dopamine and acetylcholine are essential for the selection and reinforcement of motor actions and decision-making1. In vitro studies have revealed an intrastriatal circuit in which acetylcholine, released by cholinergic interneurons (CINs), drives the release of dopamine, and dopamine, in turn, inhibits the activity of CINs through dopamine D2 receptors (D2Rs). Whether and how this circuit contributes to striatal function in vivo is largely unknown. Here, to define the role of this circuit in a living system, we monitored acetylcholine and dopamine signals in the ventrolateral striatum of mice performing a reward-based decision-making task. We establish that dopamine and acetylcholine exhibit multiphasic and anticorrelated transients that are modulated by decision history and reward outcome. Dopamine dynamics and reward encoding do not require the release of acetylcholine by CINs. However, dopamine inhibits acetylcholine transients in a D2R-dependent manner, and loss of this regulation impairs decision-making. To determine how other striatal inputs shape acetylcholine signals, we assessed the contribution of cortical and thalamic projections, and found that glutamate release from both sources is required for acetylcholine release. Altogether, we uncover a dynamic relationship between dopamine and acetylcholine during decision-making, and reveal multiple modes of CIN regulation. These findings deepen our understanding of the neurochemical basis of decision-making and behaviour.

Abstract In probabilistic and nonstationary environments, individuals must use internal and external cues to flexibly make decisions that lead to desirable outcomes. To gain insight into the process by which animals choose between actions, we trained mice in a task with time-varying reward probabilities. In our implementation of such a “two-armed bandit” task, thirsty mice use information about recent action and action-outcome histories to choose between two ports that deliver water probabilistically. Here, we comprehensively modeled choice behavior in this task, including the trial-to-trial changes in port selection – i.e. action switching behavior. We find that mouse behavior is, at times, deterministic and, at others, apparently stochastic. The behavior deviates from that of a theoretically optimal agent performing Bayesian inference in a Hidden Markov Model (HMM). We formulate a set of models based on logistic regression, reinforcement learning, and ‘sticky’ Bayesian inference that we demonstrate are mathematically equivalent and that accurately describe mouse behavior. The switching behavior of mice in the task is captured in each model by a stochastic action policy, a history-dependent representation of action value, and a tendency to repeat actions despite incoming evidence. The models parsimoniously capture behavior across different environmental conditionals by varying the ‘stickiness’ parameter, and, like the mice, they achieve nearly maximal reward rates. These results indicate that mouse behavior reaches near-maximal performance with reduced action switching and can be described by a set of equivalent models with a small number of relatively fixed parameters. Significance To obtain rewards in changing and uncertain environments, animals must adapt their behavior. We found that mouse choice and trial-to-trial switching behavior in a dynamic and probabilistic two-choice task could be modeled by equivalent theoretical, algorithmic, and descriptive models. These models capture components of evidence accumulation, choice history bias, and stochasticity in mouse behavior. Furthermore, they reveal that mice adapt their behavior in different environmental contexts by modulating their level of ‘stickiness’ to their previous choice. Despite deviating from the behavior of a theoretically ideal observer, the empirical models achieve comparable levels of near-maximal reward. These results make predictions to guide interrogation of the neural mechanisms underlying flexible decision-making strategies.

Abstract Within the basal ganglia, striatal dopamine (DA) and acetylcholine (Ach) are essential for the selection and reinforcement of motor actions and decision making. In vitro studies have revealed a circuit local to the striatum by which each of these two neurotransmitters directly regulates release of the other. Ach, released by a unique population of cholinergic interneurons (CINs), drives DA release via direct axonal depolarization. In turn, DA inhibits CIN activity via dopamine D2 receptors (D2R). Whether and how this circuit contributes to striatal function in vivo remains unknown. To define the in vivo role of this circuit, we monitored Ach and DA signals in the ventrolateral striatum of mice performing a reward-based decision-making task. We establish that DA and Ach exhibit multiphasic and anticorrelated transients that are modulated by decision history and reward outcome. However, CIN perturbations reveal that DA dynamics and reward-prediction error encoding do not require Ach release by CINs. On the other hand, CIN-specific deletion of D2Rs shows that DA inhibits Ach levels in a D2R-dependent manner, and loss of this regulation impairs decision-making. To determine how other inputs to striatum shape Ach signals, we assessed the contribution of projections from cortex and thalamus and found that glutamate release from both sources is required for Ach release. Altogether, we uncover a dynamic relationship between DA and Ach during decision making and reveal modes of CIN regulation by local DA signals and long-range cortical and thalamic inputs. These findings deepen our understanding of the neurochemical basis of decision making and behavior.

Animals adapt to environmental conditions by modifying the function of their internal organs, including the brain. To be adaptive, alterations in behavior must be coordinated with the functional state of organs throughout the body. Here, we find that thyroid hormone-a regulator of metabolism in many peripheral organs-directly activates cell-type-specific transcriptional programs in the frontal cortex of adult male mice. These programs are enriched for axon-guidance genes in glutamatergic projection neurons, synaptic regulatory genes in both astrocytes and neurons, and pro-myelination factors in oligodendrocytes, suggesting widespread plasticity of cortical circuits. Indeed, whole-cell electrophysiology revealed that thyroid hormone alters excitatory and inhibitory synaptic transmission, an effect that requires thyroid hormone-induced gene regulatory programs in presynaptic neurons. Furthermore, thyroid hormone action in the frontal cortex regulates innate exploratory behaviors and causally promotes exploratory decision-making. Thus, thyroid hormone acts directly on the cerebral cortex in males to coordinate exploratory behaviors with whole-body metabolic state.

Animals adapt to varying environmental conditions by modifying the function of their internal organs, including the brain. To be adaptive, alterations in behavior must be coordinated with the functional state of organs throughout the body. Here we find that thyroid hormone- a prominent regulator of metabolism in many peripheral organs- activates cell-type specific transcriptional programs in anterior regions of cortex of adult mice via direct activation of thyroid hormone receptors. These programs are enriched for axon-guidance genes in glutamatergic projection neurons, synaptic regulators across both astrocytes and neurons, and pro-myelination factors in oligodendrocytes, suggesting widespread remodeling of cortical circuits. Indeed, whole-cell electrophysiology recordings revealed that thyroid hormone induces local transcriptional programs that rewire cortical neural circuits via pre-synaptic mechanisms, resulting in increased excitatory drive with a concomitant sensitization of recruited inhibition. We find that thyroid hormone bidirectionally regulates innate exploratory behaviors and that the transcriptionally mediated circuit changes in anterior cortex causally promote exploratory decision-making. Thus, thyroid hormone acts directly on adult cerebral cortex to coordinate exploratory behaviors with whole-body metabolic state.

Abstract The basal ganglia (BG) are an evolutionarily conserved and phylogenetically old set of sub-cortical nuclei that guide action selection, evaluation, and reinforcement. The entopeduncular nucleus (EP) is a major BG output nucleus that contains a population of GABA/glutamate cotransmitting neurons (EP Sst+ ) that specifically target the lateral habenula (LHb) and whose function in behavior remains mysterious. Here we use a probabilistic switching task that requires an animal to maintain flexible relationships between action selection and evaluation to examine when and how GABA/glutamate cotransmitting neurons contribute to behavior. We find that EP Sst+ neurons are strongly engaged during this task and show bidirectional changes in activity during the choice and outcome periods of a trial. We then tested the effects of either permanently blocking cotransmission or modifying the GABA/glutamate ratio on behavior in well-trained animals. Neither manipulation produced detectable changes in behavior despite significant changes in synaptic transmission in the LHb, demonstrating that the outputs of these neurons are not required for on-going action-outcome updating in a probabilistic switching task.