Abstract Humans have been shown to strategically explore. They can identify situations in which gathering information about distant and uncertain options is beneficial for the future. Because primates rely on scare resources when they forage, they are also thought to strategically explore, but whether they use the same strategies as humans and the neural bases of strategic exploration in monkeys are largely unknown. We designed a sequential choice task to investigate whether monkeys mobilize strategic exploration based on whether that information can improve subsequent choice, but also to ask the novel question about whether monkeys adjust their exploratory choices based on the contingency between choice and information, by sometimes providing the counterfactual feedback, about the option not chosen. We show that monkeys decreased their reliance on expected value when exploration could be beneficial, but this was not mediated by changes in the effect of uncertainty on choices. We found strategic exploratory signals in anterior and mid-cingulate cortex (ACC/MCC) and dorsolateral prefrontal cortex (dlPFC). This network was most active when a low value option was chosen which suggests a role in counteracting expected value signals, when exploration away from value should to be considered. Such strategic exploration was abolished when the counterfactual feedback was available. Learning from counterfactual outcome was associated with the recruitment of a different circuit centered on the medial orbitofrontal cortex (OFC), where we showed that monkeys represent chosen and unchosen reward prediction errors. Overall, our study shows how ACC/MCC-dlPFC and OFC circuits together could support exploitation of available information to the fullest and drive behavior towards finding more information through exploration when it is beneficial.

Abstract Staying engaged is necessary to maintain goal-directed behaviors. Despite this, engagement exhibits continuous, intrinsic fluctuations. Even in experimental settings, animals, unlike most humans, repeatedly and spontaneously move between periods of complete task engagement and disengagement. We, therefore, looked at behavior in male macaques ( macaca mulatta) in four tasks while recording fMRI signals. We identified consistent autocorrelation in task disengagement. This made it possible to build models capturing task-independent engagement. We identified task general patterns of neural activity linked to impending sudden task disengagement in mid-cingulate gyrus. By contrast, activity centered in perigenual anterior cingulate cortex (pgACC) was associated with maintenance of performance across tasks. Importantly, we carefully controlled for task-specific factors such as the reward history and other motivational effects, such as response vigor, in our analyses. Moreover, we showed pgACC activity had a causal link to task engagement: transcranial ultrasound stimulation of pgACC changed task engagement patterns.

Abstract Striking the balance between persistence with a goal and flexibility in the face of better options is critical for effectively organizing behaviour across time. While people are often biased towards completing their current goal (e.g. ‘sunk cost’ biases), it is unclear how these biases occur at a mechanistic level, still allowing for some flexibility for goal abandonment. We propose that ventromedial prefrontal cortex (vmPFC) plays a critical role in orienting attention towards a current goal, prioritising goal completion but allowing for abandonment, particularly when the current goal fails. We developed a novel incremental goal pursuit task to study goal-directed attention and action in healthy individuals with functional magnetic resonance imaging (fMRI), and in an independent group of individuals with brain lesions. The task required participants to make sequential decisions between continuing to persist with a current goal (commitment), versus abandoning progress for a better alternative goal (flexibility). We show that individuals who persist more show greater goal-oriented attention outside the decision period. Increasing attentional capture by the current goal is also revealed in decision-making: people remain more likely to abandon from ‘frustration’ (collapse of value of the current goal) than from ‘temptation’ (attraction from valuable alternative goals). Strikingly, we find that our stable inter-individual metrics of persistence and goal-oriented attention were both predicted by baseline activity in vmPFC, tracking goal progress. We present converging evidence from an independent lesion patient study demonstrating the causal involvement of vmPFC in goal persistence: damage to the vmPFC reduces biases to over-persist with the current goal, leading to a performance benefit in our task.

Abstract Staying engaged with a task is necessary to maintain goal-directed behaviors. Although engagement varies with the specific task at hand it also exhibits continuous, intrinsic fluctuations widely. This intrinsic component of engagement is difficult to isolate behaviorally or neurally in controlled experiments with humans. By contrast, animals spontaneously move between periods of complete task engagement and disengagement, even in experimental settings. We, therefore, looked at behavior in macaques in a series of four tasks while recording fMRI signals. We identified consistent autocorrelation in task disengagement. This made it possible to build models capturing task-independent engagement and to link it to neural activity. Across all tasks, we identified common patterns of neural activity linked to impending task disengagement in mid-cingulate gyrus. By contrast, activity centered in perigenual anterior cingulate cortex (pgACC) was associated with maintenance of task performance. Importantly, we were able to carefully control for task-specific factors such as the reward history, choice value, and other motivational effects, such as response vigor, as indexed by response time, when identifying neural activity associated with task engagement. Moreover, we showed pgACC activity had a causal link to task engagement; in one of our tasks, transcranial ultrasound stimulation of pgACC, but not of control regions, changed task engagement/disengagement patterns.

Abstract Reward prediction errors (RPEs) and risk preferences have two things in common: both can shape decision making behavior, and both are commonly associated with dopamine. RPEs drive value learning and are thought to be represented in the phasic release of striatal dopamine. Risk preferences bias choices towards or away from uncertainty; they can be manipulated with drugs that target the dopaminergic system. The common neural substrate suggests that RPEs and risk preferences might be linked on the level of behavior as well, but this has never been tested. Here, we aim to close this gap. First, we apply a recent theory of learning in the basal ganglia to predict how exactly RPEs might influence risk preferences. We then test our behavioral predictions using a novel bandit task in which value and risk vary independently across options. Critically, conditions are included where options vary in risk but are matched for value. We find that subjects become more risk seeking if choices are preceded by positive RPEs, and more risk averse if choices are preceded by negative RPEs. These findings cannot be explained by other known effects, such as nonlinear utility curves or dynamic learning rates. Finally, we show that RPE-induced risk-seeking is indexed by pupil dilation: participants with stronger pupillary correlates of RPE also show more pronounced behavioral effects. Author’s summary Many of our decisions are based on expectations. Sometimes, however, surprises happen: outcomes are not as expected. Such discrepancies between expectations and actual outcomes are called prediction errors. Our brain recognises and uses such prediction errors to modify our expectations and make them more realistic--a process known as reinforcement learning. In particular, neurons that release the neurotransmitter dopamine show activity patterns that strongly resemble prediction errors. Interestingly, the same neurotransmitter is also known to regulate risk preferences: dopamine levels control our willingness to take risks. We theorised that, since learning signals cause dopamine release, they might change risk preferences as well. In this study, we test this hypothesis. We find that participants are more likely to make a risky choice just after they experienced an outcome that was better than expected, which is precisely what out theory predicts. This suggests that dopamine signalling can be ambiguous--a learning signal can be mistaken for an impulse to take a risk.