An increasingly popular method of assessing cognitive functions in rodents is the automated touchscreen platform, on which a number of different cognitive tests can be run in a manner very similar to touchscreen methods currently used to test human subjects. This methodology is low stress (using appetitive rather than aversive reinforcement), has high translational potential and lends itself to a high degree of standardization and throughput. Applications include the study of cognition in rodent models of psychiatric and neurodegenerative diseases (e.g., Alzheimer's disease, schizophrenia, Huntington's disease, frontotemporal dementia), as well as the characterization of the role of select brain regions, neurotransmitter systems and genes in rodents. This protocol describes how to perform four touchscreen assays of learning and memory: visual discrimination, object-location paired-associates learning, visuomotor conditional learning and autoshaping. It is accompanied by two further protocols (also published in this issue) that use the touchscreen platform to assess executive function, working memory and pattern separation.

ABSTRACT Cognitive flexibility, the ability to adapt behavior in response to a changing environment, is disrupted in several neuropsychiatric disorders, including obsessive–compulsive disorder (OCD) and major depressive disorder (MDD). Evidence suggests that flexibility, which can be operationalized using reversal learning tasks, is modulated by serotonergic transmission. However, how exactly flexible behavior and associated reinforcement learning (RL) processes are modulated by 5-HT action on specific receptors is unknown. We investigated the effects of 5-HT 2A receptor (5-HT 2A R) and 5-HT 2C receptor (5-HT 2C R) antagonism on cognitive flexibility and underlying RL mechanisms. Thirty-six male Lister hooded rats were trained on a touchscreen visual discrimination and reversal task. We evaluated the effects of systemic treatments with the 5-HT 2A R and 5-HT 2C R antagonists M100907 and SB-242084, respectively, on reversal learning performance and performance on probe trials where correct and incorrect stimuli were presented with a third, probabilistically rewarded, stimulus. Computational models were fitted to task choice data to extract RL parameters, including a novel model designed specifically for this task. 5-HT 2A R antagonism impaired reversal learning during certain phases. 5-HT 2C R antagonism, on the other hand, impaired learning from positive feedback. RL models further differentiated these effects. 5-HT 2A R antagonism decreased punishment learning rate at high and low doses. The low dose also increased exploration (beta) and increased stimulus and side stickiness (kappa). 5-HT 2C R antagonism also increased beta, but reduced side stickiness. These data indicate that 5-HT 2A and 5-HT 2C Rs both modulate different aspects of flexibility, with 5-HT 2A Rs modulating learning from negative feedback and 5-HT 2c Rs for learning from positive feedback.

Abstract Serotonin is critical for adapting behavior flexibly to meet changing environmental demands. Cognitive flexibility is important both for successful attainment of goals, as well as for social interactions, and is frequently impaired in neuropsychiatric disorders, including obsessive-compulsive disorder (OCD). However, a unifying mechanistic framework accounting for the role of serotonin in behavioral flexibility has remained elusive. Here, we demonstrate common effects of manipulating serotonin function across two species (rats and humans) on latent processes supporting choice behavior during probabilistic reversal learning using computational modelling. The findings support a role of serotonin in behavioral flexibility and plasticity, indicated, respectively, by increases or decreases in choice repetition (‘stickiness’) or reinforcement learning rates depending upon manipulations intended to increase or decrease serotonin function. More specifically, the rate at which expected value increased following reward and decreased following punishment (reward and punishment ‘learning rates’) was greatest after sub-chronic administration of the selective serotonin reuptake (SSRI) citalopram (5 mg/kg for 7 days followed by 10 mg/kg twice a day for 5 days) in rats. Conversely, humans given a single dose of an SSRI (20mg escitalopram), which can decrease post-synaptic serotonin signalling, and rats that received the neurotoxin 5,7-dihydroxytryptamine (5,7-DHT), which destroys forebrain serotonergic neurons, exhibited decreased reward learning rates. A basic perseverative tendency (‘stickiness’), or choice repetition irrespective of the outcome produced, was likewise increased in rats after the 12-day SSRI regimen and decreased after single dose SSRI in humans and 5,7-DHT in rats. These common effects of serotonergic manipulations on rats and humans – identified via computational modelling – suggest an evolutionarily conserved role for serotonin in plasticity and behavioral flexibility and have clinical relevance transdiagnostically for neuropsychiatric disorders.

Abstract Cognitive flexibility, the capacity to adapt behaviour to changes in the environment, is impaired in a range of brain disorders, including substance use disorder and Parkinson’s disease. Putative neural substrates of cognitive flexibility include mesencephalic pathways to the ventral striatum (VS) and dorsomedial striatum (DMS), hypothesised to encode learning signals needed to maximize rewarded outcomes during decision-making. However, it is unclear whether mesencephalic projections to the ventral and dorsal striatum are distinct in their contribution to flexible reward-related learning. Here, rats acquired a two-choice spatial probabilistic reversal learning (PRL) task, reinforced on an 80%:20% basis, that assessed the flexibility of behaviour to repeated reversals of response-outcome contingencies. We report that optogenetic stimulation of projections from the ventral tegmental area (VTA) to the nucleus accumbens shell (NAcbS) in the VS significantly impaired reversal learning when optical stimulation was temporally aligned with negative feedback (i.e., reward omission). Moreover, the exploitation-exploration parameter, β , was increased (indicating greater exploitation of information) when this pathway was optogenetically stimulated after a spurious loss (i.e. an incorrect (20%) response at the 80% reinforrced location) compared to after a spurious win (i.e. a correct (20%) response at the 20% reinforced location). VTA → NAcbS stimulation during other phases of the behavioural task was without effect. Optogenetic stimulation of projection neurons from the substantia nigra (SN) to the DMS, aligned either with reward receipt or omission or prior to making a choice, had no effect on reversal learning. These findings are consistent with the notion that enhanced activity in VTA → NAcbS projections leads to maladaptive perseveration as a consequence of an inappropriate bias to exploitation via positive reinforcement.