Significance An advantage of targeting reconsolidation to control reactions to learned threats is that the memory appears to be persistently altered, not inhibited. When these memories are diminished through extinction, the amygdala’s representation remains largely intact and the prefrontal cortex inhibits its expression, thus allowing the learned responses to recover. Targeting reconsolidation, therefore, should eliminate the necessity of prefrontal inhibition. We tested this hypothesis by contrasting standard extinction with extinction occurring during reconsolidation. We observed that behavioral interference of reconsolidation appears to bypass the prefrontal circuitry of extinction, inducing a more persistent loss of learned responses. Application of this strategy, which targets underlying learned threat processes, to fear and anxiety disorders may provide a more effective approach to treatment.

Abstract The non-selective serotonin 2A (5-HT 2A ) receptor agonist lysergic acid diethylamide (LSD) holds promise as a treatment for some psychiatric disorders. Psychedelic drugs such as LSD have been suggested to have therapeutic actions through their effects on learning. The behavioural effects of LSD in humans, however, remain largely unexplored. Here we examined how LSD affects probabilistic reversal learning in healthy humans. Healthy volunteers received intravenous LSD (75μg in 10 mL saline) or placebo (10mL saline) in a within-subjects design and completed a probabilistic reversal learning task. Participants had to learn through trial and error which of three stimuli was rewarded most of the time, and these contingencies switched in a reversal phase. Computational models of reinforcement learning were fitted to the behavioural data to assess how LSD affected the updating (“learning rates”) and deployment (“reinforcement sensitivity”) of value representations during choice, as well as “stimulus stickiness”, which assays choice repetition irrespective of reinforcement history. Conventional measures assessing sensitivity to immediate feedback (“win-stay” and “lose-shift” probabilities) were unaffected, whereas LSD increased the impact of the strength of initial learning on perseveration. Computational modelling revealed that the most pronounced effect of LSD was enhancement of the reward learning rate. The punishment learning rate was also elevated. Stimulus stickiness was decreased by LSD, reflecting heightened exploratory behaviour, while reinforcement sensitivity was unaffected. Increased reinforcement learning rates suggest LSD induced a state of heightened plasticity. These results indicate a potential mechanism through which revision of maladaptive associations could occur in the clinical application of LSD. Significance statement The psychedelic (“mind-manifesting”) drug LSD holds promise for the treatment of some psychiatric disorders. Theories have postulated its therapeutic potential centres on enhancing learning and flexible thinking. Here we provide substantiating empirical evidence by examining the computations underlying behaviour as healthy volunteers learned through trial and error under LSD. Viewing choice as based on representations of an action’s value, LSD increased the speed at which value was updated following feedback, which was more pronounced following reward than punishment. Behaviour was also more exploratory under LSD, irrespective of the outcome of actions. These results indicate that LSD impacted a fundamental belief-updating process inherent in the brain which can be leveraged to revise maladaptive associations characteristic of a range of mental disorders.

Abstract Serotonin is implicated in aversive processing and updating responses to changing environmental circumstances. Optimising behaviour to maximise reward and minimise punishment may require shifting strategies upon encountering new situations. Likewise, emotional reactions to threats are critical for survival yet must be modified as danger shifts from one source to another. Whilst numerous psychiatric disorders are characterised by behavioural and emotional inflexibility, few studies have examined the contribution of serotonin in humans. We modelled both processes in two independent experiments (N = 97), using instrumental and aversive Pavlovian reversal learning paradigms, respectively. Upon depleting the serotonin precursor tryptophan – in a double-blind randomised placebo-controlled design – healthy volunteers showed impairments in updating both behaviour and emotion to reflect changing contingencies. Reversal deficits in each domain, furthermore, were correlated with the extent of tryptophan depletion. These results translate findings in experimental animals to humans and have implications for the neurochemical basis of cognitive inflexibility.

The authors have withdrawn their manuscript as the results and interpretation have changed substantially following further analyses. Please do not cite this manuscript in its current form. If you have any questions, please contact the corresponding author.

ABSTRACT Adaptive human learning utilizes reward prediction errors (RPEs) that scale the differences between expected and actual outcomes to optimize future choices. Depression has been linked with biased RPE signaling and an exaggerated impact of negative outcomes on learning which may promote amotivation and anhedonia. The present proof-of-concept study combined computational modelling and multivariate decoding with neuroimaging to determine the influence of the selective competitive angiotensin II type 1 receptor antagonist losartan on learning from positive or negative outcomes and the underlying neural mechanisms in healthy humans. In a double-blind, between-subjects, placebo-controlled pharmaco-fMRI experiment, 61 healthy male participants (losartan, n=30; placebo, n=31) underwent a probabilistic selection reinforcement learning task incorporating a learning and transfer phase. Losartan improved choice accuracy for the hardest stimulus pair via increasing expected value sensitivity towards the rewarding stimulus relative to the placebo group during learning. Computational modelling revealed that losartan reduced the learning rate for negative outcomes and increased exploitatory choice behaviors while preserving learning for positive outcomes. These behavioral patterns were paralleled on the neural level by increased RPE signaling in orbitofrontal-striatal regions and enhanced positive outcome representations in the ventral striatum (VS) following losartan. In the transfer phase, losartan accelerated response times and enhanced VS functional connectivity with left dorsolateral prefrontal cortex when approaching maximum rewards. These findings elucidate the potential of losartan to reduce the impact of negative outcomes during learning and subsequently facilitate motivational approach towards maximum rewards in the transfer of learning. This may indicate a promising therapeutic mechanism to normalize distorted reward learning and fronto-striatal functioning in depression.

Improving extinction learning is essential to optimize psychotherapy for persistent fear-related disorders. In two independent studies (both n=24), we found that goal-directed eye movements activate a dorsal fronto-parietal network and transiently deactivate the amygdala. Connectivity analyses revealed this down-regulation engages a ventromedial prefrontal pathway known to be involved in cognitive regulation of emotion. Critically, when eye movements followed memory reactivation during extinction learning, this reduced spontaneous fear recovery 24 hours later. Stronger amygdala deactivation furthermore predicted a stronger reduction in subsequent fear recovery after reinstatement. In conclusion, we show that extinction learning can be improved with a non-invasive eye-movement intervention that triggers a transient suppression of the amygdala. Our finding that another task which taxes working memory leads to a similar amygdala suppression furthermore indicates that this effect is likely not specific to eye movements, which is in line with a large body of behavioral studies. This study contributes to the understanding of a widely used treatment for traumatic symptoms by providing a parsimonious account for how working memory tasks and goal-directed eye movements can enhance extinction-based psychotherapy, namely through neural circuits similar to those that support cognitive control of emotion.

Abstract Serotonin is critical for adapting behavior flexibly to meet changing environmental demands. Cognitive flexibility is important both for successful attainment of goals, as well as for social interactions, and is frequently impaired in neuropsychiatric disorders, including obsessive-compulsive disorder (OCD). However, a unifying mechanistic framework accounting for the role of serotonin in behavioral flexibility has remained elusive. Here, we demonstrate common effects of manipulating serotonin function across two species (rats and humans) on latent processes supporting choice behavior during probabilistic reversal learning using computational modelling. The findings support a role of serotonin in behavioral flexibility and plasticity, indicated, respectively, by increases or decreases in choice repetition (‘stickiness’) or reinforcement learning rates depending upon manipulations intended to increase or decrease serotonin function. More specifically, the rate at which expected value increased following reward and decreased following punishment (reward and punishment ‘learning rates’) was greatest after sub-chronic administration of the selective serotonin reuptake (SSRI) citalopram (5 mg/kg for 7 days followed by 10 mg/kg twice a day for 5 days) in rats. Conversely, humans given a single dose of an SSRI (20mg escitalopram), which can decrease post-synaptic serotonin signalling, and rats that received the neurotoxin 5,7-dihydroxytryptamine (5,7-DHT), which destroys forebrain serotonergic neurons, exhibited decreased reward learning rates. A basic perseverative tendency (‘stickiness’), or choice repetition irrespective of the outcome produced, was likewise increased in rats after the 12-day SSRI regimen and decreased after single dose SSRI in humans and 5,7-DHT in rats. These common effects of serotonergic manipulations on rats and humans – identified via computational modelling – suggest an evolutionarily conserved role for serotonin in plasticity and behavioral flexibility and have clinical relevance transdiagnostically for neuropsychiatric disorders.

Serotonin is involved in a wide range of mental capacities essential for navigating the social world, including emotion and impulse control. Much recent work on serotonin and social functioning has focused on decision-making. Here we investigated the influence of serotonin on human emotional reactions to social conflict. We used a novel computerised task that required mentally simulating social situations involving unjust harm and found that depleting the serotonin precursor tryptophan -- in a double-blind randomised placebo-controlled design -- enhanced emotional responses to the scenarios in a large sample of healthy volunteers (n = 73), and interacted with individual differences in trait personality to produce distinctive human emotions. Whereas guilt was preferentially elevated in highly empathic participants, annoyance was potentiated in those high in trait psychopathy, with medium to large effect sizes. Our findings show how individual differences in personality, when combined with fluctuations of serotonin, may produce diverse emotional phenotypes. This has implications for understanding vulnerability to psychopathology, determining who may be more sensitive to serotonin-modulating treatments, and casts new light on the functions of serotonin in emotional processing.### Competing Interest StatementT.W.R. discloses consultancy with Cambridge Cognition, Greenfields Bioventures and Unilever; he receives research grants from Shionogi & Co and GlaxoSmithKline and royalties for CANTAB from Cambridge Cognition and editorial honoraria from Springer Verlag and Elsevier. B.J.S discloses consultancy with Cambridge Cognition, Greenfield BioVentures, and Cassava Sciences, and receives royalties for CANTAB from Cambridge Cognition. R.N.C. consults for Campden Instruments and receives royalties from Cambridge Enterprise, Routledge, and Cambridge University Press. J.W.K., F.E.A., R.Y, D.M.C., A.M.A-S., and A.P. declare no conflicts of interest.

Abstract Background Responding emotionally to danger is critical for survival. Normal functioning also requires flexible alteration of emotional responses when a threat becomes safe. Aberrant threat and safety learning occurs in many psychiatric disorders including post-traumatic stress disorder (PTSD), obsessive-compulsive disorder (OCD), and schizophrenia, where emotional responses can persist pathologically. Whilst there is evidence that threat and safety learning can be modulated by the serotonin systems, there have been few studies in humans. We addressed a critical clinically relevant question: How does pharmacological lowering of serotonin affect the retention of conditioned threat memory? Methods Forty-seven healthy participants underwent threat conditioning on Day 1 followed by an extinction session. Emotional responding was assessed by the skin conductance response (SCR). On Day 2, we employed acute dietary tryptophan depletion to lower serotonin temporarily, in a double-blind placebo-controlled randomized between-groups design. We then tested for the return of conditioned threat memory spontaneous recovery). We also measured self-reported intolerance of uncertainty, known to modulate threat memory expression. Results The expression of emotional memory was attenuated in participants who had undergone tryptophan depletion. Individuals who were more intolerant of uncertainty showed even greater attenuation of emotion following depletion. Conclusions These results support the view that serotonin is involved in predicting aversive outcomes and refine our understanding of the role of serotonin in the persistence of emotional responsivity, with implications for individual differences in vulnerability to psychopathology.

Abstract Cognitive flexibility refers to the ability to adjust to changes in the environment and is essential for adaptive behavior. It can be investigated using laboratory tests such as probabilistic reversal learning (PRL). In individuals with both Cocaine Use Disorder (CUD) and Gambling Disorder (GD), overall impairments in PRL flexibility are observed. However, it is poorly understood whether this impairment depends on the same brain mechanisms in cocaine and gambling addictions. Reinforcement learning (RL) is the process by which rewarding or punishing feedback from the environment is used to adjust behavior, to maximise reward and minimise punishment. Using RL models, a deeper mechanistic explanation of the latent processes underlying cognitive flexibility can be gained. Here, we report results from a re-analysis of PRL data from control participants (n=18) and individuals with either GD (n=18) or CUD (n=20) using a hierarchical Bayesian RL approach. We observed significantly reduced ‘stimulus stickiness’ (i.e., stimulus-bound perseveration) in GD, which may reflect increased exploratory behavior that is insensitive to outcomes. RL parameters were unaffected in CUD. We relate the behavioral findings to their underlying neural substrates through an analysis of task-based fMRI data. We report differences in tracking reward and punishment expected values (EV) in individuals with GD compared to controls, with greater activity during reward EV tracking in the cingulate gyrus and amygdala. In CUD, we observed reduced responses to positive punishment prediction errors (PPE) and increased activity following negative PPEs in the superior frontal gyrus compared to controls. Thus, an RL framework serves to differentiate behavior in a probabilistic learning paradigm in two compulsive disorders, GD and CUD.