Statistical regularities in the causal structure of the environment enable us to predict the probable outcomes of our actions. Environments differ in the extent to which action-outcome contingencies are stable or volatile. Difficulty in being able to use this information to optimally update outcome predictions might contribute to the decision-making difficulties seen in anxiety. We tested this using an aversive learning task manipulating environmental volatility. Human participants low in trait anxiety matched updating of their outcome predictions to the volatility of the current environment, as predicted by a Bayesian model. Individuals with high trait anxiety showed less ability to adjust updating of outcome expectancies between stable and volatile environments. This was linked to reduced sensitivity of the pupil dilatory response to volatility, potentially indicative of altered norepinephrinergic responsivity to changes in this aspect of environmental information.

Abstract Affective bias, the tendency to prioritise the processing of negative relative to positive events, is causally linked to clinical depression. However, why such biases develop or how they may best be ameliorated is not known. Using a computational framework, we investigated whether affective biases may reflect an individual’s estimates of the information content of negative and positive events. During a reinforcement learning task, the information content of positive and negative outcomes was manipulated independently by varying the volatility of their occurrence. Human participants altered the learning rates used for the outcomes selectively, preferentially learning from the most informative. This behaviour was associated with activity of the central norepinephrine system, estimated using pupilometry, for loss outcomes. Humans maintain independent estimates of the information content of positive and negative outcomes which bias their processing of affective events. Normalising affective biases using computationally inspired interventions may represent a novel treatment approach for depression.

Abstract Updating beliefs in changing environments can be driven by gradually adapting expectations or by relying on inferred hidden states (i.e., contexts), and changes therein. Previous work suggests that increased reliance on context could underly fear relapse phenomena that hinder clinical treatment of anxiety disorders. We test whether trait anxiety variations in a healthy population influence how much individuals rely on hidden-state inference. In a Pavlovian learning task, participants observed cues that predicted an upcoming electrical shock with repeatedly changing probability, and were asked to provide expectancy ratings on every trial. We show that trait anxiety is associated with steeper expectation switches after contingency reversals and reduced oddball learning. Furthermore, trait anxiety is related to better fit of a state inference compared to a gradual learning model when contingency changes are large. Our findings support previous work suggesting hidden-state inference as a mechanism behind anxiety-related to fear relapse phenomena.

Abstract Work in computational psychiatry suggests that mood disorders may stem from aberrant reinforcement learning processes. Specifically, it is proposed that depressed individuals believe that negative events are more informative than positive events, resulting in faster learning from negative outcomes (Pulcu & Browning, 2019). In this proof-of-concept study, we investigated whether learning rates for affective outcomes are malleable using transcranial direct current stimulation (tDCS). Healthy adults completed an established reinforcement learning task (Pulcu & Browning, 2017) in which the information content of reward and loss outcomes was manipulated by varying the volatility of stimulus-outcome associations. Learning rates on the tasks were quantified using computational models. Stimulation over dorsolateral prefrontal cortex (DLPFC) but not motor cortex (M1) specifically increased learning rates for reward outcomes. The effects of prefrontal tDCS were cognitive state-dependent: online stimulation increased learning rates for wins; offline stimulation decreased both win and loss learning rates. A replication study confirmed the key finding that online tDCS to DLPFC specifically increased learning rates for rewards relative to losses. Taken together, these findings demonstrate the potential of tDCS for modulating computational parameters of reinforcement learning relevant to mood disorders. Significance statement Disproportionate learning from negative relative to positive outcomes has been implicated in the development and maintenance of depression. The present work demonstrates that transcranial direct current stimulation (tDCS) to dorsolateral prefrontal cortex can specifically increase learning from positive events in healthy adults. Our results provide preliminary evidence that non-invasive brain stimulation can be used to shape reinforcement learning, indicating a potential novel cognitive neurostimulation intervention strategy for affective disorders.

Background Modification of attentional biases (ABM) may lead to more adaptive emotion perception and emotion regulation. Understanding the neural basis of these effects may lead to greater precision for future treatment development. Task-related fMRI following ABM training has so far not been investigated in depression. The main aim of the RCT was to explore differences in brain activity after ABM training in response to emotional stimuli. Methods A total of 134 previously depressed individuals were randomized into 14 days of ABM- or a placebo training followed by an fMRI emotion regulation task. Depression symptoms and subjective ratings of perceived negativity during fMRI was examined between the training groups. Brain activation was explored within predefined areas (SVC) and across the whole brain. Activation in areas associated with changes in attentional biases (AB) and degree of depression was explored. Results The ABM group showed reduced activation within the amygdala and within the anterior cingulate cortex (ACC) when passively viewing negative images compared to the placebo group. No group differences were found within predefined SVC′s associated with emotion regulation strategies. Response within the temporal cortices was associated with degree of change in AB and with degree of depressive symptoms in ABM versus placebo. Limitations The findings should be replicated in other samples of depressed patients and in studies using designs that allow analyses of within-group variability from baseline to follow-up. Conclusions ABM training has an effect on brain function within circuitry associated with emotional appraisal and the generation of affective states.

IMPORTANCE: Depression is a debilitating and highly prevalent mental health disorder. There is a need for new, effective, and scalable treatments for depression, and cognitive bias modification (CBM) of negative emotional processing biases has been suggested as one possibility. Such treatments may form the basis of digital therapeutics, that could be administered remotely and at low cost, should they prove to be effective. OBJECTIVES: Study one was designed to determine neural correlates of a recently developed CBM technique for emotion recognition training; specifically, our aim was to compare the effects of training vs placebo on pre-specified regions of interest involved in emotion processing that are known to be sensitive to antidepressant treatment. Study two aimed to investigate efficacy of training on mood measures at 2 and 6-week follow-up and was powered to replicate and extend earlier findings. DESIGN, SETTING, AND PARTICIPANTS: Both studies were double blind RCTs, in which participants completed five sessions of emotion recognition training or sham training, in the laboratory, over a one-week period. In study one (N=37), following this training, participants completed a novel emotion recognition task whilst undergoing fMRI. In study two (N=190), measures of mood were assessed post training, and at 2-week and 6-week follow-up. Both studies recruited analogue samples of healthy volunteers with high levels of depressive symptoms (BDI-ii > 14). MAIN OUTCOMES AND MEASURES: In study one, our primary outcome was neural activation in the following pre-specified regions of interest: the bilateral amygdala, the mPFC, bilateral dlPFC, and the occipital cortex. In study two, our primary outcome was depressive symptoms over the last 2 weeks assessed using the BDI-ii at 6-week follow-up. Secondary outcomes included depressive symptoms measured using the HAM-D, and positive and negative affect assessed using the PANAS. RESULTS: In both studies, CBM resulted in a change in emotion recognition bias, which (in study two) persisted for 6 weeks after the end of the CBM phase. In study one, CBM resulted in increases neural activation to happy faces compared to sad faces, with this effect driven by an increase in neural activity for happy faces. We saw this increase in activation for this contrast at both the whole brain level and among our a priori ROIs, specifically the mPFC and bilateral amygdala. In study two, CBM did not lead to a reduction in depressive symptoms on the BDI-ii, or on related measures of mood, motivation and persistence, or depressive interpretation bias. CONCLUSIONS AND RELEVANCE: CBM of emotion recognition appears to have effects on neural activity that are similar in some respects to those induced by SSRI administration (study one), but we find no evidence that this has any effect on self-reported mood in an analogue sample of healthy volunteers with low mood (study two).

Efficient learning requires estimation of, and adaptation to, different forms of uncertainty. If uncertainty is caused by randomness in outcomes (noise), observed events should have less influence on beliefs, whereas if uncertainty is caused by a change in the process being estimated (volatility) the influence of events should increase. Previous work has demonstrated that humans respond appropriately to changes in volatility, but there is less evidence of a rational response to noise. Here we test adaptation to variable levels of volatility and noise in human participants, using choice behaviour and pupillometry as a measure of the central arousal system. We find that participants adapt as expected to changes in volatility, but not to changes in noise. Using a Bayesian observer model, we demonstrate that participants are, in fact, adapting to estimated noise, but that their estimates are imprecise, leading them to misattribute it as volatility and thus to respond inappropriately.

Background: Following treatment, many depressed patients have significant residual symptoms. However, large randomised controlled trials (RCT) in this population are lacking. When Attention bias modification training (ABM) leads to more positive emotional biases, associated changes in clinical symptoms have been reported. A broader and more transparent picture of the true advantage of ABM based on larger and more stringent clinical trials have been requested. Aims: To evaluate the early effect of two weeks ABM training on blinded clinician-rated and self-reported residual symptoms, and whether changes towards more positive attentional biases (AB) would be associated with symptom reduction. Method: A total of 321 patients with a history of depression were included in a preregistered randomized controlled double-blinded trial. Patients were randomised to an emotional ABM paradigm over fourteen days or a closely matched control condition. Symptoms based on the Hamilton Rating Scale for Depression (HRSD) and Beck Depression Inventory II (BDI-II) were obtained at baseline and after ABM training. Results: ABM training led to significantly greater decrease in clinician-rated symptoms of depression as compared to the control condition. No differences between ABM and placebo were found for self-reported symptoms. ABM induced a change of AB towards relatively more positive stimuli associated with greater symptom reduction. Conclusion: The current study demonstrates that ABM produces early changes in both AB and blinded clinician-rated depressive symptoms. ABM may have practical potential in the treatment of residual depression. ClinicalTrials.gov ID: NCT02658682

Negotiating with others about how finite resources (e.g. achievement-based rewards) should be distributed is an important aspect of human social life. However, little is known about computational and physiological mechanisms underlying human social interactive decision-making. Here, we report results from a novel iterative Ultimatum Game (UG) task, in which the proposer’s facial emotions and offer amounts were sampled probabilistically based on the participant’s (acting as the responder) decisions, creating a gradually evolving social interactive decision-making environment. Our model-free results confirm the prediction that both the proposer’s facial emotions and the offer amount influence participant choice behaviour. These main effects clearly demonstrate that human choice behaviour violates the assumptions of the Rational Actor model (the optimal economic strategy for the UG) which posits that all offers should be accepted irrespective of the offer size and the proposer’s facial emotions. Model-based analyses extend these findings and demonstrate that participants use an inequality aversion model while computing decision values in the UG. We highlight that the proposer’s facial responses to participant decisions dynamically modulate how human decision-makers perceive self—other inequality, relaxing its otherwise negative influence on decision values. In iterative games, this cognitive model underlies how offers initially rejected can gradually become more acceptable under increasing affective load, and accurately predicts 83% of participant decisions. Activity of the central arousal systems, assessed by measuring pupil size, encode a key element of this behavioural model: proposer’s affective reactions in response to participant decisions, which dynamically modulate perceived self—other inequality. We further demonstrate that a surprise response, estimated by a recursive Bayesian filter, is associated with pupil dilation and attenuates participants’ acceptance probability. Taken together, our results demonstrate that, under affective load, inequality aversion is a malleable cognitive process which is modulated by the activity of the pupil-linked central arousal systems.

Clinically approved antidepressants modulate the brain's emotional valence circuits, suggesting that the response of these circuits could serve as a biomarker for screening candidate antidepressant drugs. However, it is necessary that these modulations can be reliably detected. Here, we apply a cross-validated predictive model to classify emotional valence and pharmacologic effect across eleven task-based fMRI datasets (n=306) exploring the effect of antidepressant administration on emotional face processing. We created subject-level contrast of parameter estimates of the emotional faces task and used the Shen whole-brain parcellation scheme to define 268 subject-level features that trained a cross-validated gradient- boosting machine protocol to classify emotional valence (fearful vs happy face visual conditions) and pharmacologic effect (drug vs placebo administration) within and across studies. We found patterns of brain activity that classify emotional valence with a statistically significant level of accuracy (70% across-all-subjects; range from 50-87% across-study). Our classifier failed to consistently discriminate drug from placebo. Subject population (healthy or unhealthy), treatment group (drug or placebo), and drug administration protocol (dose and duration) affected this accuracy with similar populations better predicting one another. We found limited evidence that antidepressants modulated brain response in a consistent manner, however found a consistent signature for emotional valence. Variable functional patterns across studies suggest that predictive modeling can inform biomarker development in mental health and in pharmacotherapy development. Our results suggest that case-controlled designs and more standardized protocols are required for functional imaging to provide robust biomarkers for drug development.