Individuals make choices and prioritize goals using complex processes that assign value to rewards and associated stimuli. During Pavlovian learning, previously neutral stimuli that predict rewards can acquire motivational properties, becoming attractive and desirable incentive stimuli. However, whether a cue acts solely as a predictor of reward, or also serves as an incentive stimulus, differs between individuals. Thus, individuals vary in the degree to which cues bias choice and potentially promote maladaptive behaviour. Here we use rats that differ in the incentive motivational properties they attribute to food cues to probe the role of the neurotransmitter dopamine in stimulus–reward learning. We show that intact dopamine transmission is not required for all forms of learning in which reward cues become effective predictors. Rather, dopamine acts selectively in a form of stimulus–reward learning in which incentive salience is assigned to reward cues. In individuals with a propensity for this form of learning, reward cues come to powerfully motivate and control behaviour. This work provides insight into the neurobiology of a form of stimulus–reward learning that confers increased susceptibility to disorders of impulse control. Humans and animals readily learn to associate neutral cues that are associated with rewards. Dopamine release is known to play some part in this learning, but its exact role (and hence what may be disrupted in disorders such as drug addiction) is controversial. Does it predict the arrival of the actual reward, or does it make the cues rewarding in their own right? To investigate, Flagel et al. exploited rat strains that have been selectively bred for many generations to have a greater or lesser propensity to attribute incentive properties to neutral cues associated with food rewards. Using cyclic voltammetry, the authors measure dopamine signals in the different strains and examine the effect of blocking dopamine. They conclude that dopamine selectively mediates motivational, rather than predictive, aspects of the cues. Humans and animals readily learn to associate neutral cues paired with rewards, but the exact role that dopamine release has in this learning is controversial. Using previously established rat strains selectively bred for many generations to have greater or lesser propensity to assign value to learned cues, this study uses cyclic voltammetry to measure dopamine signals in the different strains and also examines the effect of blocking dopamine. It is concluded that dopamine selectively mediates motivational, rather than predictive, aspects of the cues.

BackgroundIf presentation of a stimulus (conditional stimulus, CS) reliably predicts delivery of a reward, the CS will come to evoke a conditional response (CR) through Pavlovian learning, and the CS may also acquire incentive motivational properties. Thus, CSs can have both predictive and incentive properties. We ask here whether it is possible to dissociate the predictive versus incentive properties of a CS in rats by considering individual differences in the nature of the CR.MethodsWe used Pavlovian procedures to study the ability of a localizable CS (an illuminated lever) to acquire two properties of an incentive stimulus—the ability to attract and the ability to act as a conditional reinforcer.ResultsFor some rats, the CS evoked a “sign-tracking” CR, consisting of approach toward and engagement with the CS itself. For other rats, the CS instead produced a “goal-tracking” CR: approach was directed away from the CS toward the site of food delivery. For sign-trackers (but not goal-trackers) the CS also acted as an effective conditional reinforcer.ConclusionsThe predictive and incentive properties of a CS can be dissociated by considering individual differences in the CR. In a given animal, a cue that is predictive of reward, supporting Pavlovian learning, may or may not be attributed with incentive salience. This procedure may provide a powerful means to test hypotheses regarding the role of neural systems in learning versus incentive motivational functions and to study individual variation in the extent to which reward-associated stimuli act as incentive stimuli. If presentation of a stimulus (conditional stimulus, CS) reliably predicts delivery of a reward, the CS will come to evoke a conditional response (CR) through Pavlovian learning, and the CS may also acquire incentive motivational properties. Thus, CSs can have both predictive and incentive properties. We ask here whether it is possible to dissociate the predictive versus incentive properties of a CS in rats by considering individual differences in the nature of the CR. We used Pavlovian procedures to study the ability of a localizable CS (an illuminated lever) to acquire two properties of an incentive stimulus—the ability to attract and the ability to act as a conditional reinforcer. For some rats, the CS evoked a “sign-tracking” CR, consisting of approach toward and engagement with the CS itself. For other rats, the CS instead produced a “goal-tracking” CR: approach was directed away from the CS toward the site of food delivery. For sign-trackers (but not goal-trackers) the CS also acted as an effective conditional reinforcer. The predictive and incentive properties of a CS can be dissociated by considering individual differences in the CR. In a given animal, a cue that is predictive of reward, supporting Pavlovian learning, may or may not be attributed with incentive salience. This procedure may provide a powerful means to test hypotheses regarding the role of neural systems in learning versus incentive motivational functions and to study individual variation in the extent to which reward-associated stimuli act as incentive stimuli.

Rats selectively bred based on high or low reactivity to a novel environment were characterized for other behavioral and neurobiological traits thought to be relevant to addiction vulnerability. The two lines of animals, which differ in their propensity to self-administer drugs, also differ in the value they attribute to cues associated with reward, in impulsive behavior, and in their dopamine system. When a cue was paired with food or cocaine reward bred high-responder rats (bHRs) learned to approach the cue, whereas bred low-responder rats (bLRs) learned to approach the location of food delivery, suggesting that bHRs but not bLRs attributed incentive value to the cue. Moreover, although less impulsive on a measure of 'impulsive choice', bHRs were more impulsive on a measure of 'impulsive action'- ie, they had difficulty withholding an action to receive a reward, indicative of 'behavioral disinhibition'. The dopamine agonist quinpirole caused greater psychomotor activation in bHRs relative to bLRs, suggesting dopamine supersensitivity. Indeed, relative to bLRs, bHRs also had a greater proportion of dopamine D2(high) receptors, the functionally active form of the receptor, in the striatum, in spite of lower D2 mRNA levels and comparable total D2 binding. In addition, fast-scan cyclic voltammetry revealed that bHRs had more spontaneous dopamine 'release events' in the core of the nucleus accumbens than bLRs. Thus, bHRs exhibit parallels to 'externalizing disorders' in humans, representing a genetic animal model of addiction vulnerability associated with a propensity to attribute incentive salience to reward-related cues, behavioral disinhibition, and increased dopaminergic 'tone.'

If reward-associated cues acquire the properties of incentive stimuli they can come to powerfully control behavior, and potentially promote maladaptive behavior. Pavlovian incentive stimuli are defined as stimuli that have three fundamental properties: they are attractive, they are themselves desired, and they can spur instrumental actions. We have found, however, that there is considerable individual variation in the extent to which animals attribute Pavlovian incentive motivational properties ("incentive salience") to reward cues. The purpose of this paper was to develop criteria for identifying and classifying individuals based on their propensity to attribute incentive salience to reward cues. To do this, we conducted a meta-analysis of a large sample of rats (N = 1,878) subjected to a classic Pavlovian conditioning procedure. We then used the propensity of animals to approach a cue predictive of reward (one index of the extent to which the cue was attributed with incentive salience), to characterize two behavioral phenotypes in this population: animals that approached the cue ("sign-trackers") vs. others that approached the location of reward delivery ("goal-trackers"). This variation in Pavlovian approach behavior predicted other behavioral indices of the propensity to attribute incentive salience to reward cues. Thus, the procedures reported here should be useful for making comparisons across studies and for assessing individual variation in incentive salience attribution in small samples of the population, or even for classifying single animals.

Abstract Selectively-bred High Responder (bHR) and Low Responder (bLR) rats model the extreme externalizing and internalizing behavior accompanying many psychiatric disorders. To elucidate gene expression underlying these heritable behavioral differences, bHRs and bLRs (generation 37) were used to produce a F 0 -F 1 -F 2 cross. We measured exploratory locomotion, anxiety-like behavior, and reward cue sensitivity (Pavlovian Conditioned Approach), and performed hippocampal RNA-Seq in male and female F 0 s (n=24) and F 2 s (n=250). Behaviors that diverged during selective breeding remained correlated in F 2 s, implying a shared genetic basis. F 0 bHR/bLR differential expression was robust, surpassing differences associated with sex, and predicted expression patterns associated with F2 behavior. With bHR-like behavior, gene sets related to growth/proliferation were upregulated, whereas with bLR-like behavior, gene sets related to mitochondrial function, oxidative stress, and microglial activation were upregulated. This differential expression could be successfully predicted based on F0 genotype using cis-expression quantitative trait loci (cis-eQTLs) identified in the F2s. Colocalization of these cis-eQTLs with behavioral Quantitative Trait Loci pinpointed 16 differentially expressed genes that were strong candidates for mediating the influence of genetic variation on behavioral temperament. Our findings implicate hippocampal bioenergetic regulation of oxidative stress, microglial activation, and growth-related processes in shaping behavioral temperament, modulating vulnerability to psychiatric disorders.

The survival of an organism is dependent on their ability to respond to cues in the environment. Such cues can attain control over behavior as a function of the value ascribed to them. Some individuals have an inherent tendency to attribute reward-paired cues with incentive motivational value, or incentive salience. For these individuals, termed sign-trackers, a discrete cue that precedes reward delivery becomes attractive and desirable in its own right. Prior work suggests that the behavior of sign-trackers is dopamine-dependent, and cue-elicited dopamine in the nucleus accumbens is believed to encode the incentive value of reward cues. Here we exploited the temporal resolution of optogenetics to determine whether selective inhibition of ventral tegmental area (VTA) dopamine neurons during cue presentation attenuates the propensity to sign-track. Using male tyrosine hydroxylase (TH)-Cre Long Evans rats it was found that, under baseline conditions, ∼84% of TH-Cre rats tend to sign-track. Laser-induced inhibition of VTA dopamine neurons during cue presentation prevented the development of sign-tracking behavior, without affecting goal-tracking behavior. When laser inhibition was terminated, these same rats developed a sign-tracking response. Video analysis using DeepLabCut revealed that, relative to rats that received laser inhibition, rats in the control group spent more time near the location of the reward cue even when it was not present and were more likely to orient towards and approach the cue during its presentation. These findings demonstrate that cue-elicited dopamine release is critical for the attribution of incentive salience to reward cues.Activity of dopamine neurons in the ventral tegmental area (VTA) during cue presentation is necessary for the development of a sign-tracking, but not a goal-tracking, conditioned response in a Pavlovian task. We capitalized on the temporal precision of optogenetics to pair cue presentation with inhibition of VTA dopamine neurons. A detailed behavioral analysis with DeepLabCut revealed that cue-directed behaviors do not emerge without VTA dopamine. Importantly, however, when optogenetic inhibition is lifted, cue-directed behaviors increase, and a sign-tracking response develops. These findings confirm the necessity of VTA dopamine during cue presentation to encode the incentive value of reward cues.

Abstract Externalizing behaviours in childhood often predict impulse control disorders in adulthood; however, the underlying biobehavioural risk factors are incompletely understood. In animals, the propensity to signtrack, or the degree to which incentive motivational value is attributed to reward cues, is associated with externalizing-type behaviours and deficits in executive control. Using a Pavlovian conditioned approach paradigm, we quantified sign-tracking in healthy 9-12-year-olds. We also measured parent-reported externalizing behaviours and anticipatory neural activations to outcome-predicting cues using the monetary incentive delay fMRI task. Sign-tracking was associated with attentional and inhibitory control deficits and the degree of amygdala, but not cortical, activation during reward anticipation. These findings support the hypothesis that youth with a propensity to sign-track are prone to externalizing tendencies, with an over-reliance on subcortical cue-reactive brain systems. This research highlights sign-tracking as a promising experimental approach delineating the behavioural and neural circuitry of individuals at risk for externalizing disorders.

Abstract We developed a framework for identifying trait-associated genes in rats and facilitating the transfer of polygenic evidence across species by expanding the transcriptome-wide association (TWAS) approach to rats. Our analysis successfully trained transcript predictors for over 8000 genes in each of the five brain regions of rats, revealing several shared properties of gene regulation with humans. Moreover, mirroring trends observed in humans, our findings showed that sparse predictors using variants in cis are more effective than polygenic predictors and that gene expression prediction in rats is highly correlated across brain regions. Importantly, our analysis also identified a significant overlap between genes associated with rat and human body length and BMI, indicating rat models may be useful for studying the genetic basis of complex traits in humans. RatXcan represents a valuable tool for uncovering shared biological mechanisms of complex traits across species, with potential applications in a wide range of research fields.

Abstract Sensitivity to cocaine and its associated stimuli (“cues”) are important factors in the development and maintenance of addiction. Rodent studies suggest that this sensitivity is related, in part, to the propensity to attribute incentive salience to food cues, which, in turn, contributes to the maintenance of cocaine self-administration, and cue-induced relapse of drug-seeking. Whereas each of these traits has established links to drug use, the relatedness between the individual traits themselves has not been well characterized in preclinical models. To this end, the propensity to attribute incentive salience to a food cue was first assessed in a large population of 2716 outbred heterogeneous stock rats. We then determined whether this was associated with performance in two paradigms (cocaine conditioned cue preference and cocaine contextual conditioning). These measure the unconditioned locomotor effects of cocaine, as well as conditioned approach and the locomotor response to a cocaine-paired floor or context. There was large individual variability and sex differences among all traits, but they were largely independent of one another in both males and females. These findings suggest that these traits may contribute to drug-use via independent underlying neuropsychological processes.

Abstract Common genetic factors likely contribute to multiple psychiatric diseases including mood and substance use disorders. Certain stable, heritable traits reflecting temperament, termed externalizing or internalizing, play a large role in modulating vulnerability to these disorders. To model these heritable tendencies, we selectively bred rats for high and low exploration in a novel environment (bred High Responders (bHR) vs. Low Responders (bLR)). To identify genes underlying the response to selection, we phenotyped and genotyped 558 rats from an F 2 cross between bHR and bLR. Several behavioral traits show high heritability, including the selection trait: exploratory locomotion (EL) in a novel environment. There were significant phenotypic and genetic correlations between tests that capture facets of EL and anxiety. There were also correlations with Pavlovian conditioned approach (PavCA) behavior despite the lower heritability of that trait. Ten significant and conditionally independent loci for six behavioral traits were identified. Five of the six traits reflect different facets of EL that were captured by three behavioral tests. Distance traveled measures from the open field and the elevated plus maze map onto different loci, thus may represent different aspects of novelty-induced locomotor activity. The sixth behavioral trait, number of fecal boli, is the only anxiety-related trait mapping to a significant locus on chromosome 18 within which the Pik3c3 gene is located. There were no significant loci for PavCA. We identified a missense variant in the Plekhf1 gene on the chromosome 1:95 Mb QTL and Fancf and Gas2 as potential candidate genes that may drive the chromosome 1:107 Mb QTL for EL traits. The identification of a locomotor activity-related QTL on chromosome 7 encompassing the Pkhd1l1 and Trhr genes is consistent with our previous finding of these genes being differentially expressed in the hippocampus of bHR vs. bLR rats. The strong heritability coupled with identification of several loci associated with exploratory locomotion and emotionality provide compelling support for this selectively bred rat model in discovering relatively large effect causal variants tied to elements of internalizing and externalizing behaviors inherent to psychiatric and substance use disorders.