Abstract Habits are controlled by antecedent stimuli rather than by goal expectancy. Interval schedules of feedback have been shown to generate habits, as revealed by the insensitivity of behaviour acquired under this schedule to outcome devaluation treatments. Two experiments were conducted to assess the role of the dorsolateral striatum in habit learning. In Experiment 1, sham operated controls and rats with dorsolateral striatum lesions were trained to press a lever for sucrose under interval schedules. After training, the sucrose was devalued by inducing taste aversion to it using lithium chloride, whereas saline injections were given to the controls. Only rats given the devaluation treatment reduced their consumption of sucrose and this reduction was similar in both the sham and the lesioned groups. All rats were then returned to the instrumental chamber for an extinction test, in which the lever was extended but no sucrose was delivered. In contrast to sham operated controls, rats with dorsolateral striatum lesions refrained from pressing the lever if the outcome was devalued. To assess the specificity of the role of dorsolateral striatum in this effect a second experiment was conducted in which a group with lesions of dorsomedial striatum was added. In relation now to both the sham and the dorsomedial lesioned groups, only rats with lesions of dorsolateral striatum significantly reduced responding after outcome devaluation. In conclusion, this study provides direct evidence that the dorsolateral striatum is necessary for habit formation. Furthermore, it suggests that, when the habit system is disrupted, control over instrumental performance reverts to the system controlling the performance of goal‐directed instrumental actions.

Abstract Considerable evidence suggests that, in instrumental conditioning, rats learn the relationship between actions and their specific consequences or outcomes. The present study examined the role of the dorsomedial striatum (DMS) in this type of learning after excitotoxic lesions and reversible, muscimol‐induced inactivation. In three experiments, rats were first trained to press two levers for distinct outcomes, and then tested after training using a variety of behavioural assays that have been established to detect action‐outcome learning. In Experiment 1, pre‐training lesions of the posterior DMS abolished the sensitivity of rats' instrumental performance to both outcome devaluation and contingency degradation when tested in extinction, whereas lesions of the anterior DMS had no effect. In Experiment 2, both pre‐training and post‐training lesions of the posterior DMS were equally effective in reducing the sensitivity of performance both to devaluation and degradation treatments. In Experiment 3, the infusion of muscimol into the posterior DMS selectively abolished sensitivity of performance to devaluation and contingency degradation without impairing the ability of rats to discriminate either the instrumental actions performed or the identity of the earned outcomes. Taken together, these results suggest that the posterior region of the DMS is a crucial neural substrate for the acquisition and expression of action–outcome associations in instrumental conditioning.

The control of goal-directed, instrumental actions by primary motivational states, such as hunger and thirst, is mediated by two processes. The first is engaged by the Pavlovian association between contextual or discriminative stimuli and the outcome or reinforcer presented during instrumental training. Such stimuli exert a motivational influence on instrumental performance that depends upon the relevance of the associated outcome to the current motivational state of the agent. Moreover, the motivational effects of these stimuli operate in the absence of prior experience with the outcome under the relevant motivational state. The second, instrumental, process is mediated by knowledge of the contingency between the action and its outcome and controls the value assigned to this outcome. In contrast to the Pavlovian process, motivational states do not influence the instrumental process directly; rather, the agent has to learn about the value of an outcome in a given motivational state by exposure to it while in that state. This incentive learning is similar in certain respects to the acquisition of “cathexes” envisaged by Tolman (1949a, 1949b).

Abstract Habits are characterized by an insensitivity to their consequences and, as such, can be distinguished from goal‐directed actions. The neural basis of the development of demonstrably outcome‐insensitive habitual actions in humans has not been previously characterized. In this experiment, we show that extensive training on a free‐operant task reduces the sensitivity of participants’ behavior to a reduction in outcome value. Analysis of functional magnetic resonance imaging data acquired during training revealed a significant increase in task‐related cue sensitivity in a right posterior putamen–globus pallidus region as training progressed. These results provide evidence for a shift from goal‐directed to habit‐based control of instrumental actions in humans, and suggest that cue‐driven activation in a specific region of dorsolateral posterior putamen may contribute to the habitual control of behavior in humans.

This series of experiments compared the effects of lesions of the basolateral complex (BLA) and the central nucleus (CN) of the amygdala on a number of tests of instrumental learning and performance and particularly on the contribution of these structures to the specific and general forms of pavlovian-instrumental transfer (PIT). In experiment 1, groups of BLA-, CN-, and sham-lesioned rats were first trained to press two levers, each earning a unique food outcome (pellets or sucrose), after which they were given training in which two auditory stimuli (tone and white noise) were paired with these same outcomes. Tests of specific satiety induced outcome devaluation, and tests of PIT revealed that, although the rats in all of the groups performed similarly during both the instrumental and pavlovian acquisition phases, BLA, but not CN, lesions abolished selective sensitivity to a change in the reward value of the instrumental outcome as well as to the selective excitatory effects of reward-related cues in PIT. In experiment 2, we developed a procedure in which both the general motivational and the specific excitatory effects of pavlovian cues could be assessed in the same animal and found that BLA lesions abolished the outcome-specific but spared the general motivational effects of pavlovian cues. In contrast, lesions of CN abolished the general motivational but spared the specific effects of these cues. Together, these results suggest that the BLA mediates outcome-specific incentive processes, whereas CN is involved in controlling the general motivational influence of reward-related events.

In three experiments we examined the effect of bilateral excitotoxic lesions of the nucleus accumbens core or shell subregions on instrumental performance, outcome devaluation, degradation of the instrumental contingency, Pavlovian conditioning, and Pavlovian-instrumental transfer. Rats were food deprived and trained to press two levers, one delivering food pellets and the other a sucrose solution. All animals acquired the lever-press response although the rate of acquisition and overall response rates in core-lesioned animals were depressed relative to that in the shell- or sham-lesioned animals. Furthermore, in shell- and sham-lesioned rats, post-training devaluation of one of the two outcomes using a specific satiety procedure produced a selective reduction in performance on the lever that, in training, delivered the prefed outcome. In contrast, the core-lesioned rats failed to show a selective devaluation effect and reduced responding on both levers. Subsequent tests revealed that these effects of core lesions were not caused by an impairment in their ability to recall the devalued outcome, to discriminate the two outcomes, or to encode the instrumental action–outcome contingencies to which they were exposed. Additionally, the core lesions did not have any marked effect on Pavlovian conditioning or on Pavlovian-instrumental transfer. Importantly, although shell-lesioned rats showed no deficit in any test of instrumental conditioning or in Pavlovian conditioning, they failed to show any positive transfer in the Pavlovian-instrumental transfer test. This double dissociation suggests that nucleus accumbens core and shell differentially mediate the impact of instrumental and Pavlovian incentive processes, respectively, on instrumental performance.

Actions become compulsive when they are no longer controlled by their consequences. Compulsivity can be assessed using the omission procedure in which animals are required to withhold a previously reinforced action to earn reward. The current study tested the hypothesis that inactivation of the dorsolateral striatum (DLS), a structure implicated in habitual behavior, can enhance sensitivity to changes in the action–outcome contingency during omission training, thus leading to a reduction in compulsive responding. Over 10 days rats were trained to press a freely available lever for sucrose reward delivered on interval schedules of reinforcement. After learning to press the lever at a stable and high rate, rats in the omission group received a session in which the rewards were now delayed by pressing the lever; i.e. withholding lever pressing resulted in increased access to reward. A control group was yoked to the omission group and received the same number and pattern of reward delivery but without the omission contingency. Half the rats in each group received infusions of vehicle into the DLS prior to this training whereas the remainder received an infusion of the GABA-A receptor agonist muscimol. On the next day, the effect of these treatments was assessed on a probe test in which the tendency of the various groups to press the lever was assessed in extinction and without drug infusion. Rats that received vehicle infusions prior to the omission session showed complete insensitivity to the newly imposed omission contingency. In contrast, rats given the infusion of muscimol selectively reduced lever pressing compared to yoked controls. Thus, extended training with interval schedules resulted in compulsive lever pressing that prevented the learning of the omission contingency, whereas inactivation of the DLS appeared to enhance the rats’ sensitivity to this change in the action–outcome contingency.

Abstract Although there is consensus that instrumental conditioning depends on the encoding of action–outcome associations, it is not known where this learning process is localized in the brain. Recent research suggests that the posterior dorsomedial striatum (pDMS) may be the critical locus of these associations. We tested this hypothesis by examining the contribution of N ‐methyl‐ d ‐aspartate receptors (NMDARs) in the pDMS to action–outcome learning. Rats with bilateral cannulae in the pDMS were first trained to perform two actions (left and right lever presses), for sucrose solution. After the pre‐training phase, they were given an infusion of the NMDA antagonist 2‐amino‐5‐phosphonopentanoic acid (APV, 1 mg/mL) or artificial cerebral spinal fluid (ACSF) before a 30‐min session in which pressing one lever delivered food pellets and pressing the other delivered fruit punch. Learning during this session was tested the next day by sating the animals on either the pellets or fruit punch before assessing their performance on the two levers in extinction. The ACSF group selectively reduced responding on the lever that, in training, had earned the now devalued outcome, whereas the APV group did not. Experiment 2 replicated the effect of APV during the critical training session but found no effect of APV given after acquisition and before test. Furthermore, Experiment 3 showed that the effect of APV on instrumental learning was restricted to the pDMS; infusion into the dorsolateral striatum did not prevent learning. These experiments provide the first direct evidence that, in instrumental conditioning, NMDARs in the dorsomedial striatum are involved in encoding action–outcome associations.

Numerous studies have implicated human and primate prefrontal cortex in the ability to hold and manipulate goal or outcome-related information in working memory to guide the performance of forthcoming actions. Here we report that cell-body lesions of prelimbic cortex impair the ability of rats to select an action based on previously encoded action-outcome associations. Rats were food deprived and trained to press two levers, one delivering food pellets and the other a sucrose solution. All rats acquired the lever-press response although the initial acquisition in the prelimbic rats was significantly slower than in sham controls. Furthermore, whereas in sham-lesioned rats, post-training devaluation of one of the two outcomes using a specific satiety procedure produced a selective reduction in performance on the lever that in training delivered the prefed outcome, prelimbic rats failed to show a selective devaluation effect and appeared to reduce performance on both levers non-selectively. Importantly, this impairment only emerged in extinction; in subsequent experiments it was found that, when a specific action-outcome association was cued either by presentation of the outcome itself or by presenting a stimulus previously paired with the outcome, rats demonstrated an ability to select the associated action. These results suggest that action-outcome encoding may be intact in prelimbic rats and that the lesion impaired their ability to retain this learning in working memory in order to establish a course of action. Alternatively, the lesion may have altered the relative contribution of action-outcome and outcome-action associations to instrumental performance. On this account, prelimbic lesions affect action-outcome encoding but leave outcome-action associations intact providing the basis for outcome-mediated initiation of an action sufficient, perhaps, to support acquisition and performance in the lesioned rats.

Abstract Here we challenge the view that reward‐guided learning is solely controlled by the mesoaccumbens pathway arising from dopaminergic neurons in the ventral tegmental area and projecting to the nucleus accumbens. This widely accepted view assumes that reward is a monolithic concept, but recent work has suggested otherwise. It now appears that, in reward‐guided learning, the functions of ventral and dorsal striata, and the cortico‐basal ganglia circuitry associated with them, can be dissociated. Whereas the nucleus accumbens is necessary for the acquisition and expression of certain appetitive Pavlovian responses and contributes to the motivational control of instrumental performance, the dorsal striatum is necessary for the acquisition and expression of instrumental actions. Such findings suggest the existence of multiple independent yet interacting functional systems that are implemented in iterating and hierarchically organized cortico‐basal ganglia networks engaged in appetitive behaviors ranging from Pavlovian approach responses to goal‐directed instrumental actions controlled by action‐outcome contingencies.