Abstract When deciding between options that do or do not lead to future choices, humans often choose to choose. We studied choice seeking by asking subjects to decide between a choice opportunity or performing a computer-selected action. Subjects preferred choice when these options were equally rewarded, even deterministically, and were willing to trade extrinsic rewards for the opportunity to choose. We explained individual variability in choice seeking using reinforcement learning models incorporating risk sensitivity and overvaluation of rewards obtained through choice. Degrading perceived controllability diminished choice preference, although willingness to repeat selection of choice opportunities remained unchanged. In choices following these repeats, subjects were sensitive to rewards following freely chosen actions, but ignored environmental information in a manner consistent with a desire to maintain personal control. Choice seeking appears to reflect the intrinsic need for personal control, which competes with extrinsic reward properties and external information to motivate behavior. Author summary Human decisions can often be explained by the balancing of potential rewards and punishments. However, some research suggests that humans also prefer opportunities to choose, even when these have no impact on future rewards or punishments. Thus, opportunities to choose may be intrinsically motivating, although this has never been experimentally tested against alternative explanations such as cognitive dissonance or exploration. We conducted behavioral experiments and used computational modelling to provide compelling evidence that choice opportunities are indeed intrinsically rewarding. Moreover, we found that human choice preference varied according to individual risk attitudes, and expressed a need for personal control that competes with maximizing reward intake.

The curse of dimensionality plagues models of reinforcement learning and decision-making. The process of abstraction solves this by constructing abstract variables describing features shared by different specific instances, reducing dimensionality and enabling generalization in novel situations. Here we characterized neural representations in monkeys performing a task where a hidden variable described the temporal statistics of stimulus-response-outcome mappings. Abstraction was defined operationally using the generalization performance of neural decoders across task conditions not used for training. This type of generalization requires a particular geometric format of neural representations. Neural ensembles in dorsolateral pre-frontal cortex, anterior cingulate cortex and hippocampus, and in simulated neural networks, simultaneously represented multiple hidden and explicit variables in a format reflecting abstraction. Task events engaging cognitive operations modulated this format. These findings elucidate how the brain and artificial systems represent abstract variables, variables critical for generalization that in turn confers cognitive flexibility.

Abstract Human decisions are frequently explained as the balancing of potential rewards and punishments, such as food, money, or lost time. However, rational models of decision making based on this idea often fail to accurately predict human behavior. Humans and other animals appear to base decisions on value estimation that is often not clearly linked to extrinsic outcomes. For example, humans prefer to choose, even when doing so has no clear impact on impending rewards or punishments. Thus, choice opportunities may be intrinsically rewarding. There is limited evidence about the mechanisms underlying intrinsic rewards, and it is unclear how deficits in motivation for intrinsic rewards manifest themselves following impairment of brain networks involved in reward processing such as the dopaminergic and cortico-basal ganglia systems. Here we seek to understand how extrinsic and intrinsic rewards act together to guide decisions. We designed a decision-making task that separates the intrinsic value of free choice from the value of extrinsic rewards received for correct performance. We investigated the neural mechanisms underlying choice preference by asking Parkinson’s disease patients to perform the task ON and OFF treatment. We tested two groups of patients to explore the effects of dopamine medication and potential modulation of wider cortical areas by deep brain stimulation. One group was treated with acute dopamine replacement therapy, and another group was treated with subthalamic nucleus deep brain stimulation. On average, patients ON dopaminergic treatment preferred to choose even when they risked losing extrinsic rewards ( z =3.736, P =0.004). However, we found a significant interaction with the level of chronic levodopa therapy ( z =2.643, P =0.008); patients with low doses of levodopa treatment in their daily lives did not prefer to choose ( z =0.901, P =0.60), nor was this indifference modulated by acute levodopa administration ( z =0.227, P =0.996). Deep brain stimulation patients were similarly indifferent to choice opportunities when OFF stimulation ( z =-0.95, P =0.339). Like patients with low chronic levodopa treatment in the first group, all deep brain stimulation patients received low-dosage chronic levodopa treatment, which is one of the principal effects of this surgical intervention. Interestingly, in deep brain stimulation patients, choice preference could be re-established by subthalamic nucleus stimulation ( z =3.07, P =0.011). This was associated with increased structural connectivity between subthalamic nucleus stimulation sites and the medial frontal cortex (including Brodmann areas 8, 9, and 32; P <0.05 corrected for multiple comparisons). In contrast to healthy humans who typically prefer choice, patients with the most severe dopamine depletion (advanced disease together with low chronic dopamine replacement therapy) did not prefer to choose. Our results suggests that higher levels of chronic dopamine medication or deep brain stimulation can increase motivation to seek choice opportunities. This is likely due to different mechanisms, with dopamine medication affecting sensitivity to all rewards and deep brain stimulation affecting impulsivity. These results advance our understanding of intrinsic reward and its interplay with general motivational processes associated with behavioral impairments observed in Parkinson’s disease and other neuropsychiatric disorders involving the dopaminergic system.