Abstract Animals’ choice behavior is characterized by two main tendencies: taking actions that led to rewards and repeating past actions. Theory suggests these strategies may be reinforced by different types of dopaminergic teaching signals: reward prediction error (RPE) to reinforce value-based associations and movement-based action prediction errors to reinforce value-free repetitive associations. Here we use an auditory-discrimination task in mice to show that movement-related dopamine activity in the tail of the striatum encodes the hypothesized action prediction error signal. Causal manipulations reveal that this prediction error serves as a value-free teaching signal that supports learning by reinforcing repeated associations. Computational modeling and experiments demonstrate that action prediction errors cannot support reward-guided learning but when paired with the RPE circuity they serve to consolidate stable sound-action associations in a value-free manner. Together we show that there are two types of dopaminergic prediction errors that work in tandem to support learning.

Abstract Sleep is critical for consolidating all forms of memory 1-3 , from episodic experience to the development of motor skills 4-6 . A core feature of the consolidation process is offline replay of neuronal firing patterns that occur during experience 7,8 . This replay is thought to originate in the hippocampus and trigger the reactivation of ensembles of cortical and subcortical neurons 1,3,9-18 . However, non-declarative memories do not require the hippocampus for learning or for sleep-dependent consolidation 19-26 meaning what drives their consolidation is unknown. Here we show, using an unsupervised method, that replay occurs in the dorsal striatum of mice during offline consolidation of a non-declarative, procedural, memory and that this replay is generated independently of the hippocampus. Replay occurred at both real-world and time-compressed speeds and was also prioritised both at the level of the individual neurons and the type of neural sequence. Complete bilateral lesions of the hippocampus had no effect on any feature of this replay. Our results demonstrate that procedural replay during consolidation of a non-declarative memory is independent of the hippocampus. These results support the view that replay drives active consolidation of all types of memory during sleep but challenges the idea that the hippocampus is the source of this replay.