Abstract Background Increasing efforts toward prevention of stress-related mental disorders have created a need for unobtrusive real-life monitoring of stress-related symptoms. Wearable devices have emerged as a possible solution to aid in this process, but their use in real-life stress detection has not been systematically investigated. Methods Using ecological momentary assessments (EMA) combined with wearable biosensors for ecological physiological assessments (EPA), we investigated the impact of an ecological stressor (i.e., an exam week) on physiological arousal and affect. With this paradigm we investigated whether we could use wearable devices to detect stress states using machine learning models. Results During stressful high-stake exam (versus control) weeks, participants reported increased negative affect and decreased positive affect. Intriguingly, physiological arousal was decreased on average during the exam week. Time-resolved analyses revealed peaks in physiological arousal associated with both self-reported stress and self-reported positive affect, while the overall decrease in physiological arousal was mediated by lower positive affect during the stress period. We then used machine learning to show that a combination of EMA and physiology yields optimal identification of stress states. Conclusions Our findings highlight the potential of wearable biosensors in stress-related mental-health monitoring, but critically show that psychological context is essential for interpreting physiological arousal detected using these devices.

Abstract Controlled laboratory stress induction procedures are very effective in inducing physiological and subjective stress. However, whether such stress responses are representative for stress reactivity in real life is not clear. Using a combined within-subject functional MRI laboratory stress and ecological momentary assessment stress paradigm, we investigated dynamic shifts in large-scale neural network configurations under stress and how these relate to affective reactivity to stress in real life. Laboratory stress induction resulted in significantly increased cortisol levels, and shifts in task-driven neural activity. Namely, increased salience network (SN) activation in an oddball task and decreased default mode network activity in a memory retrieval task. Crucially, individuals showing increased SN reactivity specifically in the early phase of the acute stress response also expressed increased affective reactivity in real life. Our findings provide (correlational) evidence that real-life affective stress reactivity is driven primarily by vigilant attentional reorientation mechanisms associated with SN.

Human behavior is strongly driven by the pursuit of rewards. In daily life, however, benefits mostly come at a cost, often requiring that effort be exerted in order to obtain potential benefits. Medial prefrontal cortex (MPFC) and dorsolateral prefrontal cortex (DLPFC) are frequently implicated in the expectation of effortful control, showing increased activity as a function of predicted task difficulty. Such activity partially overlaps with expectation of reward, and has been observed both during decision-making and during task preparation. Recently, novel computational frameworks have been developed to explain activity in these regions during cognitive control, based on the principle of prediction and prediction error (PRO model, Alexander and Brown, 2011, HER Model, Alexander and Brown, 2015). Despite the broad explanatory power of these models, it is not clear whether they can also accommodate effects related to the expectation of effort observed in MPFC and DLPFC. Here, we propose a translation of these computational frameworks to the domain of effort-based behavior. First, we discuss how the PRO model, based on prediction error, can explain effort-related activity in MPFC, by reframing effort-based behavior in a predictive context. We propose that MPFC activity reflects monitoring of motivationally relevant variables (such as effort and reward), by coding expectations, and discrepancies from such expectations. Moreover, we derive behavioral and neural model-based predictions for healthy controls and clinical populations with impairments of motivation. Second, we illustrate the possible translation to effort-based behavior of the HER model, an extended version of PRO model based on hierarchical error prediction, developed to explain MPFC-DLPFC interactions. We derive behavioral predictions which describe how effort and reward information is coded in PFC, and how changing the configuration of such environmental information might affect decision-making and task-performance involving motivation.

While representing and maintaining rules in order to govern behavior is a critical function of the brain, it remains an open question as to how collections of rules - task sets - are represented in cortex. One possibility is that task sets are represented as the co-activation of representations of the simple rules from which a task set is composed. Alternatively, task sets could be encoded in a conjunctive manner as the unique combination of rules that belong to a task set. Using a novel multi-level MVPA approach in combination with fMRI, we attempted to answer both "where" and "how" task sets are represented in the brain. Subjects performed a delayed match-to-sample task using task sets composed of multiple, partially overlapping rules that governed which feature dimensions subjects should attend to, and MVPA was used to identify regions that encoded task set information. We identified voxels most relevant for classifying task sets, and, using these voxels as input to a second MVPA analysis, were able to identify regions in prefrontal cortex with activity consistent with co-active representation, while activity in visual cortex was consistent with conjunctive representation. These results highlight the utility of feature selection methods in neuroimaging analyses.

Preparing for a mentally demanding task calls upon cognitive and motivational resources. The underlying neural implementation of these mechanisms is receiving growing attention, given the implications for professional, social, and medical contexts. While several fMRI studies converge in assigning a crucial role to a cortico-subcortical network including Anterior Cigulate Cortex (ACC) and striatum, the involvement of Dorsolateral Prefrontal Cortex (DLPFC) during mental effort anticipation has yet to be replicated. This study was designed to target DLPFC contribution using functional Near Infrared Spectroscopy (fNIRS), as a more cost-effective tool measuring cortical hemodynamics. We adapted a validated mental effort task, where participants performed easy and difficult mental calculation, while measuring DLPFC activity during the anticipation phase. As hypothesized, DLPFC activity increased during preparation for a hard task as compared to an easy task. Besides replicating a previous fMRI study, these results establish fNIRS as an effective tool to investigate cortical contributions to preparation for effortful behavior. This is especially useful if one requires testing large samples (e.g., to target individual differences), populations with contraindication for functional MRI (e.g., infants or patients with metal implants), or subjects in more naturalistic environments (e.g., work or sport).

Recent theories have attempted to provide unifying accounts of dorsal anterior cingulate cortex (dACC), a region routinely observed in studies of cognitive control and decision-making. Despite the proliferation of frameworks, rigorous empirical testing has lagged behind theory. Here we test competing predictions of three accounts of dACC using a simple value-based decision-making task. We find that the Predicted Response-Outcome model provides an integrative and parsimonious account of our results. Our results highlight the need for increased emphasis on empirical tests of theoretical frameworks.

The dorsal anterior cingulate cortex (dACC) is central in higher-order cognition and behavioural flexibility. The computational nature of this region, however, has remained elusive. Here we propose a new model, the Reinforcement Meta Learner (RML), based on the bidirectional anatomical connections of the ACC with midbrain catecholamine nuclei (VTA and LC). In this circuit, dACC learns which actions are valuable and acts accordingly. Crucially, this mechanism is optimized by recurrent connectivity with the midbrain: Midbrain catecholamines provide modulatory signals to dACC, controlling its internal parameters (e.g. learning rate), while these parameter modulations are in turn optimized by dACC afferents to the midbrain. This closed-loop system generates emergent (i.e., homunculus-free) control and supports learning to solve hierarchical decision problems without having an intrinsic hierarchical structure itself. Further, it can be combined with other cortical modules to optimize the processing of these modules. We outline how the RML solves the current theoretical stalemate on dACC by assimilating various previous proposals on ACC functioning, and how it captures critical empirical findings from an unprecedented range of domains (stability/plasticity balance, effort processing, working memory, and higher-order classical and instrumental conditioning).

Current theories propose that mental effort is invested only when the anticipated benefits, such as rewards, outweigh the associated costs, like task difficulty. Yet, it remains unclear whether this motivational and mitigating aspect of reward processing is reflected in the evaluation of reward/difficulty cues as such, and to what extent it depends on task experience. In a pre-registered experiment (N=84), we used the affect misattribution procedure (AMP) to gauge affective evaluations of nonword cues predicting reward and task difficulty levels. Contrary to previous studies, the AMP was administered at the outset, after cue instructions, and after the cues were used in a random dot motion (RDM) task. Compared to baseline, cues predicting a larger reward were evaluated more positively after RDM task experience, and most importantly, already after cue instructions, with no difference between the two phases. This evaluative effect manifested in increased performance after larger reward cues in the RDM task. Our results suggest that AMP effects may generally capture performance expectations which are independent of task experience. Importantly, these instructed expectations of reward and difficulty play a crucial role in the evaluation and subsequent investment of mental effort.

Abstract The role of the dorsal anterior cingulate cortex (dACC) in cognition is a frequently studied yet highly debated topic in neuroscience. Most authors agree that the dACC is involved in either cognitive control (e.g. voluntary inhibition of automatic responses) or monitoring (e.g. comparing expectations with outcomes, detecting errors, tracking surprise). A consensus on which theoretical perspective best explains dACC contribution to behaviour is still lacking. In a recent neuroimaging study, the experimental predictions of two prominent models formalizing the cognitive control hypothesis (Expected Value of Control, EVC) and the monitoring hypothesis (Predicted Response Outcome, PRO) have been tested using a behavioural task involving both monitoring and cognitive control mechanisms. The results indicated that of the two tested models, only the PRO model effectively predicted the dACC activity, indicating surprise tracking for performance monitoring as the key sole underlying mechanism, even when cognitive control was required by the task at hand. These findings challenged the long-standing and established cognitive control hypothesis of dACC function and opened a theory crisis: the proposed surprise-monitoring hypothesis indeed cannot account for a wide array of previous experimental findings evidencing dACC activation in tasks requiring cognitive control without involving monitoring or surprise. Here we propose a novel hypothesis on dACC function that integrates both the monitoring and the cognitive control perspective in a unifying coherent framework, based on meta-Reinforcement Learning. Our model, the Reinforcement Meta Learner (RML), optimizes cognitive control - as in control models like EVC-by meta-learning based on tracking surprise - as in monitoring models like PRO. We tested RML experimental predictions with the same behavioural task used to compare the PRO and EVC models, and showed that RML predictions on dACC activity matched PRO predictions and outperformed EVC predictions. However, crucially, the RML simultaneously accounts for both cognitive control and monitoring functions, resolving the theoretical impasse about dACC function within an integrative framework. In sum, our results suggest that dACC function can be framed as a meta-learning optimiser of cognitive control, providing an integrative perspective on its roles in cognitive control, surprise tracking, and performance monitoring.

Abstract Prominent theories of cognitive effort-based decision-making posit that shared brain regions process both potential reward and task demand, supporting the idea that effort allocation are informed by a cost-benefit trade-off, weighing the expected benefits of successful control against the inherent costs of effort exertion. While the dorsal anterior cingulate cortex (dACC) has been proposed as a candidate region supporting this decision, it remains unclear whether dACC activity tracks rewards and costs as independent quantities, or it reflects the effort intensity worth the integrated costs and benefits. While recent accounts of dACC function posit a crucial role the region in negotiating cost-benefit trade-offs, empirical evidence for this account remains scarce across single studies. To address this, we conducted a systematic meta-analysis review of neuroimaging studies, using activation-likelihood estimation method to quantify brain activity across 45 studies (N = 1273 participants) investigating reward-guided effort. We found reliable recruitment of the dACC, putamen, and anterior insula for processing both larger rewards and increasing task demands. However, the dACC clusters sensitive to task demands and rewards were anatomically distinct with no significant overlap: caudal dACC activity tracked increasing task demands, while rostral dACC activity tracked increasing rewards. Critically, we also observed that caudal dACC activity tracked the integration of costs and benefits, compatible with mental effort intensity account. These findings suggest there are distinct signals for demand and effort in the dACC which are also integrated to support the decision to invest effort, supporting recent computational accounts of cost-benefit value integration in effort-based choice.