Abstract We use internal models of the external world to guide behavior, but little is known about how these cognitive maps are created . The orbitofrontal cortex (OFC) is typically thought to access these maps to support model-based decision-making, but it has recently been proposed that its critical contribution may be instead to integrate information into existing and new models. We tested between these alternatives using an outcome-specific devaluation task and a high-potency chemogenetic approach. We found that selectively inactivating OFC principal neurons when rats learned distinct cue-outcome associations, but prior to outcome devaluation, disrupted subsequent model-based inference, confirming that the OFC is critical for creating new cognitive maps. However, OFC inactivation surprisingly led to generalized devaluation. Using a novel reinforcement learning framework, we demonstrate that this effect is best explained not by a switch to a model-free system, as would be traditionally assumed, but rather by a circumscribed deficit in defining credit assignment precision during model construction. We conclude that the critical contribution of the OFC to learning is regulating the specificity of associations that comprise cognitive maps. One Sentence Summary OFC inactivation impairs learning of new specific cue-outcome associations without disrupting model-based learning in general.

Abstract The orbitofrontal cortex (OFC) has been proposed to encode expected outcomes, which is thought to be important for outcome-directed behavior. However, such neural encoding can also often be explained by the recall of information about the recent past. To dissociate the retrospective and prospective aspects of encoding in the OFC, we designed a non-spatial, continuous, alternating odor-sequence task that mimicked a continuous T-maze. The task consisted of two alternating sequences of four odor-guided trials (2 sequences × 4 positions). In each trial, rats were asked to make a “go” or “no-go” action based on a fixed odor-reward contingency. Odors at both the first and last positions were distinct across the two sequences, such that they resembled unique paths in the past and future, respectively; odors at positions in between were the same and thus resembled a common path. We trained classifiers using neural activity to distinguish between either sequences or positions and asked whether the neural activity patterns in the common path were more like the ones in the past or the future. We found a proximal prospective code for sequence information as well as a distal prospective code for positional information, the latter of which was closely associated with rats’ ability to predict future outcomes. This study demonstrates a prospective behaviorally-relevant predictive code in rat OFC.

Summary Both orbitofrontal cortex (OFC) and hippocampus (HC) are implicated in the formation of cognitive maps and their generalization into schemas. However how these areas interact in supporting this function remains an open question, with some proposals supporting a serial model in which OFC draws upon task representations created by HC to extract key behavioral features and others proposing a parallel model in which both regions construct representations that highlight different types of information. Here we tested between these two models by asking how schema correlates in OFC would be affected by inactivation of HC output, after learning and during transfer across problems. We found the prevalence and content of schema correlates were unaffected by inactivation after learning, while inactivation during learning accelerated their formation. These results contradict a serial model and favor the proposal that OFC and HC operate in parallel to extract different features defining cognitive maps and schemas.

The orbitofrontal cortex (OFC) has long been implicated in signaling information about expected outcomes to facilitate adaptive or flexible behavior. Current proposals focus on signaling of expected reward values versus the representation of a value-agnostic cognitive map of the task. While often suggested as mutually exclusive, these alternatives may represent two extreme ends of a continuum determined by the complexity of the environment and the subjects' experience in it. As learning proceeds, an initial, detailed cognitive map might be acquired, based largely on external information. With more experience, this hypothesized map can then be tailored to include relevant abstract hidden cognitive constructs. This might default to expected values in situations where other attributes are minimized or largely irrelevant, whereas in richer tasks, a more detailed structure might continue to be represented, at least where relevant to behavior, and possibly alongside value. Here we sought to arbitrate between these options by recording single unit activity from the OFC in rats navigating an odor sequence task analogous to a spatial maze. The odor sequences provided a clearly mappable state space, with 24 unique "positions" defined by sensory information, the likelihood of reward, or both. Consistent with the hypothesis that the OFC represents a cognitive map tailored to the subjects' intentions or plans, we found a close correspondence between how subjects' behavior suggested they were using the sequences, and the neural representations of the sequences in OFC ensembles. Multiplexed with this value-invariant representation of the task, we also found a representation of the expected value at each location. Thus value and task structure are co-existing and potentially dissociable components of the neural code in OFC.

Reward-evoked dopamine is well-established as a prediction error. However the central tenet of temporal difference accounts - that similar transients evoked by reward-predictive cues also function as errors - remains untested. To address this, we used two phenomena, second-order conditioning and blocking, in order to examine the role of dopamine in prediction error versus reward prediction. We show that optogenetically-shunting dopamine activity at the start of a reward-predicting cue prevents second-order conditioning without affecting blocking. These results support temporal difference accounts by providing causal evidence that cue-evoked dopamine transients function as prediction errors.

Midbrain dopamine neurons are commonly thought to report a reward prediction error, as hypothesized by reinforcement learning theory. While this theory has been highly successful, several lines of evidence suggest that dopamine activity also encodes sensory prediction errors unrelated to reward. Here we develop a new theory of dopamine function that embraces a broader conceptualization of prediction errors. By signaling errors in both sensory and reward predictions, dopamine supports a form of reinforcement learning that lies between model-based and model-free algorithms. We show that the theory can account for the role of dopamine in phenomena such as sensory preconditioning and identity unblocking, which ostensibly draw upon knowledge beyond reward predictions.

ABSTRACT The discovery that DA transients can be mapped onto the reward prediction errors in temporal difference models is a pinnacle achievement of neuroscience. Yet, there is abundant evidence that DA activity reinforces actions, suggesting it serves as an intrinsically rewarding event. These two possibilities are so conceptually intertwined that it is not surprising that they have been so far experimentally conflated. Here, using computational modeling, behavioural blocking and optogenetics, we show that stimulating VTA DA neurons promotes learning even when a natural reward and DA stimulation are held constant across the learning phases of blocking. These findings provide strong evidence in favour of the prediction error hypothesis rather than encoding the rewarding value of appetitive events.

Abstract The orbitofrontal cortex (OFC) is necessary for value inference in tests of model-based reasoning. This ability could be accounted for by either representation of value or by representation of broader associative structure. Our lab recently reported correlates of both value and of valueless associative structure in OFC using single-unit recording (Sadacca et al., 2018). This incidental stimulus-stimulus representation was surprising since OFC was thought to be involved only when items of biological significance were driving responses. However, we did not assess whether this activity was necessary for encoding the associative information that would contribute to value inference during probe testing. Here, we used optogenetic OFC inhibition during sensory preconditioning to test this. We found that OFC inhibition during preconditioning impaired value inference during the probe test, demonstrating that the correlates we previously observed are not simply downstream readouts of sensory processing and instead contribute to encoding valueless sensory associative information.