Abstract Although midbrain dopamine (DA) neurons have been thought to primarily encode reward prediction error (RPE), recent studies have also found movement-related DAergic signals. For example, we recently reported that DA neurons in mice projecting to dorsomedial striatum are modulated by choices contralateral to the recording side. Here, we introduce, and ultimately reject, a candidate resolution for the puzzling RPE vs movement dichotomy, by showing how seemingly movement-related activity might be explained by an action-specific RPE. By considering both choice and RPE on a trial-by-trial basis, we find that DA signals are modulated by contralateral choice in a manner that is distinct from RPE, implying that choice encoding is better explained by movement direction. This fundamental separation between RPE and movement encoding may help shed light on the diversity of functions and dysfunctions of the DA system.

While there is emerging evidence of sex differences in decision-making behavior, the neural substrates that underlie such differences remain largely unknown. Here, we demonstrate that in mice performing a value-based decision-making task, while choices are similar between the sexes, motivation to engage in the task is modulated by action value in females more strongly than in males. Inhibition of activity in anterior cingulate cortex (ACC) neurons that project to the dorsomedial striatum (DMS) disrupts this relationship between value and motivation preferentially in females, without affecting choice in either sex. In line with these effects, in females compared to males, ACC-DMS neurons have stronger representations of negative outcomes, and more neurons are active when the value of the chosen option is low. In contrast, the representation of each choice is similar between the sexes. Thus, we identify a neural substrate that contributes to sex-specific modulation of motivation by value.

How are actions linked with subsequent outcomes to guide choices? The nucleus accumbens (NAc), which is implicated in this process, receives glutamatergic inputs from the prelimbic cortex (PL) and midline regions of the thalamus (mTH). However, little is known about what is represented in PL or mTH neurons that project to NAc (PL-NAc and mTH-NAc). By comparing these inputs during a reinforcement learning task in mice, we discovered that i) PL-NAc preferentially represents actions and choices, ii) mTH-NAc preferentially represents cues, iii) choice-selective activity in PL-NAc is organized in sequences that persist beyond the outcome. Through computational modeling, we demonstrate that these sequences can support the neural implementation of temporal difference learning, a powerful algorithm to connect actions and outcomes across time. Finally, we test and confirm predictions of our circuit model by direct manipulation of PL-NAc neurons. Thus, we integrate experiment and modeling to suggest a neural solution for credit assignment.

Social interactions are crucial to the survival and well-being of all mammals, including humans. Although the prelimbic cortex (PL, part of medial prefrontal cortex) has been implicated in social behavior, it is not clear which neurons are relevant, nor how they contribute. We found that the PL contains anatomically and molecularly distinct subpopulations of neurons that target 3 downstream regions that have been implicated in social behavior: the nucleus accumbens (NAc), the amygdala, and the ventral tegmental area. Activation of NAc-projecting PL neurons (PL-NAc), but not the other subpopulations, decreased preference for a social target, suggesting an unique contribution of this population to social behavior. To determine what information PL-NAc neurons convey, we recorded selectively from them, and found that individual neurons were active during social investigation, but only in specific spatial locations. Spatially-specific inhibition of these neurons prevented the formation of a social-spatial association at the inhibited location. In contrast, spatially nonspecific inhibition did not affect social behavior. Thus, the unexpected combination of social and spatial information within the PL-NAc population appears to support socially motivated behavior by enabling the formation of social-spatial associations.