Summary Goal-directed choices that are not triggered by external cues arise from internal representations of the outcomes. The use of a stimulus to specify when to act, which option to take, or whether to explore, has led to consider the reward circuit as a feedforward set of modules carrying independent computations. Here, we develop an uncued task in which mice self-determine the initiation, direction, vigor and pace of their actions based on their knowledge of the outcomes. Using electrophysiological recordings, pharmacology and optogenetics, we identify a sequence of oscillations and firing in the ventral tegmental area (VTA), orbitofrontal (OFC) and prefrontal cortices (PFC) that co-encodes and co-determines self-initiation and choices. This sequence appeared with learning as an unguided realignment of spontaneous dynamics. The interactions between the structures depended on the reward context, in particular regarding the uncertainty associated with the different options. We suggest that self-generated choices arise from a distributed circuit based on an OFC-VTA core setting whether to wait or to initiate actions, while the PFC is specifically engaged by reward uncertainty to participate in both the selection and pace of actions. Highlights Self-paced actions arise from contextual reorganization of mesocortical dynamics. VTA, PFC and OFC complementarily encode predictions and errors about outcomes. Distributed firing-then-oscillations dynamics set the goal, initiation and pace of actions. VTA and PFC antagonistically promote and inhibit motivation by reward uncertainty.

ABSTRACT Phasic variations in dopamine levels are interpreted as a teaching signal reinforcing rewarded behaviors. However, behavior also depends on the online, neuromodulatory effect of phasic dopamine signaling. Here, we unravel a new neurodynamical principle that reconciles these roles. In a biophysical recurrent network-based decision architecture, we showed that dopamine-mediated synaptic plasticity stabilized neural assemblies representing rewarded locations as latent, local attractors. Dopamine-modulated synaptic excitability activated these attractors online, and they became accessible as internal goals, even from remote animal positions. We experimentally validated these predictions in mice, using optogenetics, by demonstrating that online dopamine signaling specifically attracts animals toward rewarded locations, without off-target motor effects. We therefore propose that online dopamine signaling reveals potential goals by widening and deepening the basin of dopamine-built attractors representing rewards.