Midbrain dopamine (DA) neurons fire in 2 characteristic modes, tonic and phasic, which are thought to modulate distinct aspects of behavior. However, the inability to selectively disrupt these patterns of activity has hampered the precise definition of the function of these modes of signaling. Here, we addressed the role of phasic DA in learning and other DA-dependent behaviors by attenuating DA neuron burst firing and subsequent DA release, without altering tonic neural activity. Disruption of phasic DA was achieved by selective genetic inactivation of NMDA-type, ionotropic glutamate receptors in DA neurons. Disruption of phasic DA neuron activity impaired the acquisition of numerous conditioned behavioral responses, and dramatically attenuated learning about cues that predicted rewarding and aversive events while leaving many other DA-dependent behaviors unaffected.

The ground-breaking research of patient H.M. brought to light the importance of the hippocampus for our memories of everyday and special events. Three quarters of a century of intense neurobiological and neuropsychological research would follow as scientists sought to understand why the hippocampus is such an important memory structure in the brain. Navigating a career during this time required adaptive research strategies as new evidence emerged. Although exciting progress has been made, complex challenges remain.

Flexible decision-making requires a balance between exploring features of an environment and exploiting prior knowledge. Behavioral flexibility is typically measured by how long it takes subjects to consistently make accurate choices after reward contingencies switch or task rules change. This measure, however, only allows for tracking flexibility across multiple trials, and does not assess the degree of flexibility. Plus, although increases in decision-making accuracy are strong indicators of learning, other decision-making behaviors have also been suggested as markers of flexibility, such as the on-the-fly decision reversals known as vicarious trial and error (VTE) or switches to a different, but incorrect, strategy. We sought to relate flexibility, learning, and neural activity by comparing choice history-derived evaluation of strategy use with changes in decision-making accuracy and VTE behavior while recording from the medial prefrontal cortex (mPFC) in rats. Using a set-shifting task that required rats to repeatedly switch between spatial decision-making strategies, we show that a previously developed strategy likelihood estimation procedure could identify putative learning points based on decision history. We confirm the efficacy of learning point estimation by showing increases in decision-making accuracy aligned to the learning point. Additionally, we show increases in the rate of VTE behavior surrounding identified learning points. By calculating changes in strategy likelihoods across trials, we tracked flexibility on a trial-by-trial basis and show that flexibility scores also increased around learning points. Further, we demonstrate that VTE behaviors could be separated into indecisive and deliberative subtypes depending on whether they occurred during periods of high or low flexibility and whether they led to correct or incorrect choice outcomes. Field potential recordings from the mPFC during decisions exhibited increased beta band activity on trials with VTE compared to non-VTE trials, as well as increased gamma during periods when learned strategies could be exploited compared to prelearning, exploratory periods. This study demonstrates that increased behavioral flexibility and VTE rates are often aligned to task learning. These relationships can break down, however, suggesting that VTE is not always an indicator of deliberative decision-making. Additionally, we further implicate the mPFC in decision-making and learning by showing increased beta-based activity on VTE trials and increased gamma after learning.

In many real-life situations, decisions involve temporal delays between actions and their outcomes. During these intervals, waiting is an active process that requires maintaining motivation and anticipating future rewards. This study aimed to explore the role of the midbrain reticular formation (MRF) in delay-based decision-making. We recorded neural activity in the MRF while rats performed delay discounting and reward discrimination tasks, choosing between a smaller, sooner reward and a larger, later reward. Our findings reveal that MRF neurons are integral to maintaining motivation during waiting periods by encoding both the anticipated size and the discounted value of delayed rewards. Furthermore, the inactivation of the MRF led to a significant reduction in the rats' willingness to wait for delayed rewards. These results demonstrate the MRF's function in balancing the trade-offs between reward magnitude and timing, providing insight into the neural mechanisms that support sustained motivation and decision-making over time.

Abstract During decisions that involve working memory, task-related information must be encoded, maintained across delays, and retrieved. Few studies have attempted to causally disambiguate how different brain structures contribute to each of these components of working memory. In the present study, we used transient optogenetic disruptions of rat medial prefrontal cortex (mPFC) during a serial spatial reversal learning (SSRL) task to test its role in these specific working memory processes. By analyzing numerous performance metrics, we found: 1) mPFC disruption impaired performance during only the choice epoch of initial discrimination learning of the SSRL task, 2) mPFC disruption impaired performance in dissociable ways across all task epochs (delay, choice, return) during flexible decision-making, 3) mPFC disruption resulted in a reduction of the typical vicarious-trial-and-error (VTE) rate modulation that was related to changes in task demands. Taken together, these findings suggest that the mPFC plays an outsized role in working memory retrieval, becomes involved in encoding and maintenance when recent memories conflict with task demands, and enables animals to flexibly utilize working memory to update behavior as environments change.

Abstract Vicarious trial and error behaviors (VTEs) indicate periods of indecision during decision-making, and have been proposed as a behavioral marker of deliberation. In order to understand the neural underpinnings of these putative bridges between behavior and neural dynamics, researchers need the ability to readily distinguish VTEs from non-VTEs. Here we utilize a small set of trajectory-based features and standard machine learning classifiers to identify VTEs from non-VTEs for rats performing a spatial delayed alternation task (SDA) on an elevated plus maze. We also show that previously reported features of the hippocampal field potential oscillation can be used in the same types of classifiers to separate VTEs from non-VTEs with above chance performance. However, we caution that the modest classifier success using hippocampal population dynamics is not sufficient for identifying trials where VTEs occur, and show that combining oscillation-based features with trajectory-based features degrades classifier performance compared to trajectory-based features alone. Overall, we propose a standard set of features useful for trajectory-based VTE classification and support previous suggestions that VTEs are supported by a network including, but likely extending beyond, the hippocampus.

A hallmark of behavioral flexibility is the ability to update behavior in response to changes in context. Most studies tend to rely on error counting around reward contingency or rule switches to measure flexibility, but these measures are difficult to adapt in a way that allows shorter timescale flexibility estimates. Further, choice accuracy does not account for other markers of flexibility, such as the hesitations and decision reversals humans and other animals often exhibit as decisions unfold, a behavior often called vicarious trial and error (VTE). To relate observable information about decision-making to latent aspects like learning and behavioral flexibility, we quantified changes in decision-making strategy using a previously developed, recency-weighted Bayesian inference algorithm. By comparing models of strategy use with decision history to generate strategy likelihood estimates on a trial-by-trial basis, the algorithm enabled us to identify learning points, and served as the basis for the development of a behavioral flexibility score. Aligning flexibility scores to learning points showed that flexibility peaked around estimated learning points and near peaks in VTE rate. However, we occasionally observed VTE during periods of low flexibility, where it often led to incorrect choices, suggesting the likely existence of multiple VTE-types. Additionally, we built on the decades of research suggesting a prominent role for the medial prefrontal cortex in enabling behavioral flexibility by recording field potentials from the medial prefrontal cortex during task performance. We observed changes in different field potential frequency bands that varied with respect to the different behavioral measures we used to characterize learning and decision-making. Overall, we demonstrate the use of multiple measures that jointly assess relationships between learning, behavioral flexibility, and decision-making behaviors. Further, we used these complementary measures to demonstrate that a particular decision-making behavior, VTE, was likely to be a marker of deliberation at some times, and uncertainty at others. Finally, we validate these measures by showing that theta, beta, and gamma rhythms in the medial prefrontal cortex vary with respect to both observable and latent aspects of behavior.