Abstract Substance use disorders (SUDs) are seen as a continuum ranging from goal‐directed and hedonic drug use to loss of control over drug intake with aversive consequences for mental and physical health and social functioning. The main goals of our interdisciplinary German collaborative research centre on Losing and Regaining Control over Drug Intake (ReCoDe) are (i) to study triggers (drug cues, stressors, drug priming) and modifying factors (age, gender, physical activity, cognitive functions, childhood adversity, social factors, such as loneliness and social contact/interaction) that longitudinally modulate the trajectories of losing and regaining control over drug consumption under real‐life conditions. (ii) To study underlying behavioural, cognitive and neurobiological mechanisms of disease trajectories and drug‐related behaviours and (iii) to provide non‐invasive mechanism‐based interventions. These goals are achieved by: (A) using innovative mHealth (mobile health) tools to longitudinally monitor the effects of triggers and modifying factors on drug consumption patterns in real life in a cohort of 900 patients with alcohol use disorder. This approach will be complemented by animal models of addiction with 24/7 automated behavioural monitoring across an entire disease trajectory; i.e. from a naïve state to a drug‐taking state to an addiction or resilience‐like state. (B) The identification and, if applicable, computational modelling of key molecular, neurobiological and psychological mechanisms (e.g., reduced cognitive flexibility) mediating the effects of such triggers and modifying factors on disease trajectories. (C) Developing and testing non‐invasive interventions (e.g., Just‐In‐Time‐Adaptive‐Interventions (JITAIs), various non‐invasive brain stimulations (NIBS), individualized physical activity) that specifically target the underlying mechanisms for regaining control over drug intake. Here, we will report on the most important results of the first funding period and outline our future research strategy.

In everyday life, our behavior varies on a continuum from either automatic and habitual to deliberate and goal-directed. Recent evidence suggests that habit formation and relearning of habits operate in a context-dependent manner: Habit formation is promoted when actions are performed in a specific context, while breaking off habits is facilitated after a context change. It is an open question how one can computationally model the brain's balancing between context-specific habits and goal-directed actions. Here, we propose a hierarchical Bayesian approach for control of a partially observable Markov decision process that enables conjoint learning of habit and reward structure in a context-specific manner. In this model, habit learning corresponds to a value-free updating of priors over policies and interacts with the value-based learning of the reward structure. Importantly, the model is solely built on probabilistic inference, which effectively provides a simple explanation how the brain may balance contributions of habitual and goal-directed control. We illustrated the resulting behavior using agent-based simulated experiments, where we replicated several findings of devaluation and extinction experiments. In addition, we show how a single parameter, the so-called habitual tendency, can explain individual differences in habit learning and the balancing between habitual and goal-directed control. Finally, we discuss the relevance of the proposed model for understanding specific phenomena in substance use disorder and the potential computational role of activity in dorsolateral and dorsomedial striatum and infralimbic cortex, as reported in animal experiments.

Abstract In cognitive neuroscience and psychology, reaction times are an important behavioral measure. However, in instrumental learning and goal-directed decision making experiments, findings often rely only on choice probabilities from a value-based model, instead of reaction times. Recent advancements have shown that it is possible to connect value-based decision models with reaction time models. However, typically these models do not provide an integrated account of both value-based choices and reaction times, but simply link two types of models. Here, we propose a novel integrative joint model of both choices and reaction times by combining a mechanistic account of Bayesian sequential decision making with a sampling procedure. This allows us to describe how internal uncertainty in the planning process shapes reaction time distributions. Specifically, we use a recent context-specific Bayesian forward planning model which we extend by a Markov chain Monte Carlo (MCMC) sampler to obtain both choices and reaction times. As we will show this makes the sampler an integral part of the decision making process and enables us to reproduce, using simulations, well-known experimental findings in value based-decision making as well as classical inhibition and switching tasks. Specifically, we use the proposed model to explain both choice behavior and reaction times in instrumental learning and automatized behavior, in the Eriksen flanker task and in task switching. These findings show that the proposed joint behavioral model may describe common underlying processes in these different decision making paradigms. Author summary Many influential results in psychology and cognitive neuroscience rest on reaction time effects in behavioral experiments, for example in studies about human decision making. For decisions that rest on planning, findings often rely on analyses using specific computational models. Until recently, these models did not allow for analysis of reaction times. In this article we introduce a new model of how to explain both choices and reaction times in decision making experiments that involve planning. Importantly, the model explains how the brain can make good decisions quickly, even in the face of many potential choices and in complex environments.

Abstract Knowledge representation and reasoning (KRR) is a fundamental area in artificial intelligence (AI) research, focusing on encoding world knowledge as logical formulae in ontologies. This formalism enables logic-based AI systems to deduce new insights from existing knowledge. Within KRR, description logics (DLs) are a prominent family of languages to represent knowledge formally. They are decidable fragments of first-order logic, and their models can be visualized as edge- and vertex-labeled directed binary graphs. DLs facilitate various reasoning tasks, including checking the satisfiability of statements and deciding entailment. However, a significant challenge arises in the computation of models of DL ontologies in the context of explaining reasoning results. Although existing algorithms efficiently compute models for reasoning tasks, they usually do not consider aspects of human cognition, leading to models that may be less effective for explanatory purposes. This paper tackles this challenge by proposing an approach to enhance the intelligibility of models of DL ontologies for users. By integrating insights from cognitive science and philosophy, we aim to identify key graph properties that make models more accessible and useful for explanation.

Abstract Humans tend to repeat past actions due to rewarding outcomes. Recent computational models propose that the probability of selecting a specific action is also, in part, based on how often this action was selected before, independent of previous outcomes or reward. However, these new models so far lack empirical support. Here, we present evidence of a repetition bias using a novel sequential decision-making task and computational modeling to reveal the influence of choice frequency on human value-based choices. Specifically, we find that value-based decisions can be best explained by concurrent influence of both goal-directed reward seeking and a repetition bias. We also show that participants differ substantially in their repetition bias strength, and relate these measures to task performance. The new task enables a novel way to measure the influence of choice repetition on decision-making. These findings can serve as a basis for further experimental studies on the interplay between rewards and choice history in human decision-making.