Abstract Objectives The exact mechanisms of deep brain stimulation (DBS) are still an active area of investigation, in spite of its clinical successes. This is due in part to the lack of understanding of the effects of stimulation on neuronal rhythms. Entrainment of brain oscillations has been hypothesised as a potential mechanism of neuromodulation. A better understanding of entrainment might further inform existing methods of continuous DBS, and help refine algorithms for adaptive methods. The purpose of this study is to develop and test a theoretical framework to predict entrainment of cortical rhythms to DBS across a wide range of stimulation parameters. Materials and Methods We fit a model of interacting neural populations to selected features characterising PD patients’ off-stimulation finely-tuned gamma rhythm recorded through electrocorticography. Using the fitted models, we predict basal ganglia DBS parameters that would result in 1:2 entrainment, a special case of sub-harmonic entrainment observed in patients and predicted by theory. Results We show that the neural circuit models fitted to patient data exhibit 1:2 entrainment when stimulation is provided across a range of stimulation parameters. Furthermore, we verify key features of the region of 1:2 entrainment in the stimulation frequency/amplitude space with follow-up recordings from the same patients, such as the loss of 1:2 entrainment above certain stimulation amplitudes. Conclusion Our results reveal that continuous, constant frequency DBS in patients may lead to nonlinear patterns of neuronal entrainment across stimulation parameters, and that these responses can be predicted by modelling. Should entrainment prove to be an important mechanism of therapeutic stimulation, our modelling framework may reduce the parameter space that clinicians must consider when programming devices for optimal benefit.

Abstract While brain stimulation therapies such as deep brain stimulation for Parkinson’s disease can be effective, they have yet to reach their full potential across neurological disorders. Entraining neuronal rhythms using rhythmic brain stimulation has been suggested as a new therapeutic mechanism to restore neurotypical behavior in conditions such as chronic pain, depression, and Alzheimer’s disease. However, theoretical and experimental evidence indicate that brain stimulation can also entrain neuronal rhythms at sub- and super-harmonics, far from the stimulation frequency. Crucially, these counterintuitive effects can be harmful to patients, for example by triggering debilitating involuntary movements in Parkinson’s disease. We therefore propose a principled approach to selectively promote rhythms close to the stimulation frequency, while avoiding potential harmful effects by preventing entrainment at sub- and super-harmonics. Our open-loop approach to selective entrainment, dithered stimulation, consists in adding white noise to the stimulation period. We theoretically establish the ability of dithered stimulation to selectively entrain a given brain rhythm, and verify its efficacy in simulations of uncoupled neural oscillators, and networks of coupled neural oscillators. Furthermore, we show that dithered stimulation can be implemented in neurostimulators with limited capabilities by toggling within a finite set of stimulation frequencies. Likely implementable across a variety of existing brain stimulation devices, dithering-based selective entrainment has potential to enable new brain stimulation therapies, as well as new neuroscientific research exploiting its ability to modulate higher-order entrainment.

Abstract We assess risks differently when they are explicitly described, compared to when we learn directly from experience, suggesting dissociable decision-making systems. Our needs, such as hunger, could globally affect our risk preferences, but do they affect described and learned risks equally? On one hand, explicit decision-making is often considered flexible and contextsensitive, and might therefore be modulated by metabolic needs. On the other hand, implicit preferences learned through reinforcement might be more strongly coupled to biological drives. To answer this, we asked participants to choose between two options with different risks, where the probabilities of monetary outcomes were either described or learned. In agreement with previous studies, rewarding contexts induced risk-aversion when risks were explicitly described, but risk-seeking when they were learned through experience. Crucially, hunger attenuated these contextual biases, but only for learned risks. The results suggest that our metabolic state determines risk-taking biases when we lack explicit descriptions.

Abstract Objective Phase-amplitude coupling (PAC), the coupling of the amplitude of a faster brain rhythm to the phase of a slower brain rhythm, plays a significant role in brain activity and has been implicated in various neurological disorders. For example, in Parkinson’s disease, PAC between the beta (13–30 Hz) and gamma (50–200 Hz) rhythms in the motor cortex is exaggerated, while in Alzheimer’s disease, PAC between the theta (4-8 Hz) and gamma rhythms is diminished. Modulating PAC (i.e. reducing or enhancing PAC) using brain stimulation could therefore open new therapeutic avenues. However, while it has been previously reported that phase-locked stimulation can increase PAC, it is unclear what the optimal stimulation strategy to modulate PAC might be. Here, we provide a theoretical framework to narrow down the experimental optimisation of stimulation aimed at modulating PAC, which would otherwise rely on trial and error. Approach We make analytical predictions using a Stuart-Landau model, and confirm these predictions in a more realistic model of coupled neural populations. Main results Our framework specifies the critical Fourier coefficients of the stimulation waveform which should be tuned to optimally modulate PAC. Depending on the characteristics of the amplitude response curve of the fast population, these components may include the slow frequency, the fast frequency, combinations of these, as well as their harmonics. We also show that the optimal balance of energy between these Fourier components depends on the relative strength of the endogenous slow and fast rhythms, and that the alignment of fast components with the fast rhythm should change throughout the slow cycle. Furthermore, we identify the conditions requiring to phase-lock stimulation to the fast and/or slow rhythms. Significance Together, our theoretical framework lays the foundation for guiding the development of innovative and more effective brain stimulation aimed at modulating PAC for therapeutic benefit.

Abstract It has been suggested that the brain employs probabilistic generative models to optimally interpret sensory information. This hypothesis has been formalised in distinct frameworks, focusing on explaining separate phenomena. On one hand, predictive coding theory proposed how the probabilistic models can be learned by networks of neurons employing local synaptic plasticity. On the other hand, neural sampling theories have demonstrated how stochastic dynamics enable neural circuits to represent the posterior distributions of latent states of the environment. Here, we bring together these two lines of theoretic work by introducing Monte Carlo predictive coding (MCPC). We demonstrate that the integration of predictive coding with neural sampling results in a neural network that learns precise generative models using local computation and plasticity. The neural dynamics of MCPC infer the posterior distributions of the latent states in the presence of sensory inputs, and can generate likely inputs in their absence. Furthermore, MCPC captures the experimental observations on the variability of neural activity during perceptual tasks. By combining predictive coding and neural sampling, MCPC offers a unifying theory of cortical computation which can account for both sets of neural data that previously had been explained by these individual frameworks.

Essential tremor manifests predominantly as a tremor of the upper limbs. One therapy option is high-frequency deep brain stimulation, which continuously delivers electrical stimulation to the ventral intermediate nucleus of the thalamus at about 130 Hz. Constant stimulation can lead to side effects, it is therefore desirable to find ways to stimulate less while maintaining clinical efficacy. One strategy, phase-locked deep brain stimulation, consists of stimulating according to the phase of the tremor. In this study, we aim to reproduce the phase dependent effects of stimulation seen in patient data with a biologically inspired Wilson-Cowan model. To this end, we first analyse patient data, and consistently identify in half of the datasets significant dependence of the effects of stimulation on the phase at which stimulation is provided. We approximate response curves of datasets identified as significant by providing analytical results for the linearisation of a stable focus model, a simplification of the Wilson-Cowan model in the stable focus regime. Additionally, we fitted the full non-linear Wilson-Cowan model to these datasets, and we show that in each case the model can fit to the dynamics of patient tremor as well as to the phase response curve. The vast majority of top fits are stable foci. The model provides satisfactory prediction of how patient tremor will react to phase-locked stimulation by predicting patient amplitude response curves although they were not explicitly fitted. We report that the non-linear Wilson-Cowan model is able to describe response to stimulation more precisely than the linearisation.* List of abbreviations : ARC : amplitude response curve DBS : deep brain stimulation DCN : deep cerebellar nuclei ET : essential tremor FDR : false discovery rate nRT : reticular nucleus PD : Parkinson’s disease PDF : probability density function PRC : phase response curve PSD : power spectrum density TEED : total electrical energy delivered VIM : ventral intermediate nucleus WC : Wilson-Cowan

This paper proposes how the neural circuits in vertebrates select actions on the basis of past experience and the current motivational state. According to the presented theory, the basal ganglia evaluate the utility of considered actions by combining the positive consequences (e.g. nutrition) scaled by the motivational state (e.g. hunger) with the negative consequences (e.g. effort). The theory suggests how the basal ganglia compute utility by combining the positive and negative consequences encoded in the synaptic weights of striatal Go and No-Go neurons, and the motivational state carried by neuromodulators including dopamine. Furthermore, the theory suggests how the striatal neurons to learn separately about consequences of actions, and how the dopaminergic neurons themselves learn what level of activity they need to produce to optimize behaviour. The theory accounts for the effects of dopaminergic modulation on behaviour, patterns of synaptic plasticity in striatum, and responses of dopaminergic neurons in diverse situations.

When facing an unfamiliar environment, animals need to explore to gain new knowledge about which actions provide reward, but also put the newly acquired knowledge to use as quickly as possible. Optimal reinforcement learning strategies should therefore assess the uncertainties of these action – reward associations and utilise them to inform decision making. We propose a novel model whereby direct and indirect striatal pathways act together to estimate both the mean and variance of reward distributions, and mesolimbic dopaminergic neurons provide transient novelty signals, facilitating effective uncertainty-driven exploration. We utilised electrophysiological recording data to verify our model of the basal ganglia, and we fitted exploration strategies derived from the model to data from behavioural experiments. We also compared the performance of directed exploration strategies inspired by our basal ganglia model with classic variants of upper confidence bound (UCB) strategy in simulation. The exploration strategies inspired by the basal ganglia model performed better than the classic algorithms in simulation in some cases, and we found qualitatively similar results in fitting model to behavioural data compared with the fitting of more idealised normative models with less implementation level detail. Overall, our results suggest that transient dopamine levels in the basal ganglia that encode novelty could contribute to an uncertainty representation which efficiently drives exploration in reinforcement learning.

Abstract To accurately predict rewards associated with states or actions, the variability of observations has to be taken into account. In particular, when the observations are noisy, the individual rewards should have less influence on tracking of average reward, and the estimate of the mean reward should be updated to a smaller extent after each observation. However, it is not known how the magnitude of the observation noise might be tracked and used to control prediction updates in the brain reward system. Here, we introduce a new model that uses simple, tractable learning rules that track the mean and standard deviation of reward, and leverages prediction errors scaled by uncertainty as the central feedback signal. We provide a normative analysis, comparing the performance of the new model with that of conventional models in a value tracking task. We find that the new model has an advantage over conventional models when tested across various levels of observation noise. Further, we propose a possible biological implementation of the model in the basal ganglia circuit. The scaled prediction error feedback signal is consistent with experimental findings concerning dopamine prediction error scaling relative to reward magnitude, and the update rules are found to be consistent with many features of striatal plasticity. Our results span across the levels of implementation, algorithm, and computation, and might have important implications for understanding the dopaminergic prediction error signal and its relation to adaptive and effective learning. Author Summary The basal ganglia system is a collection of subcortical nuclei in the mammalian brain. This system and its dopaminergic inputs are associated with learning from rewards. Here, dopamine is thought to signal errors in reward prediction. The structure and function of the basal ganglia system are not fully understood yet—for example, the basal ganglia are split into two antagonistic pathways, but the reason for this split and the role of the two pathways are unknown. Further, it has been found that under some circumstances, rewards of different sizes lead to dopamine responses of similar size, which cannot be explained with the reward prediction error theory. Here, we propose a new model of learning in the basal ganglia—the scaled prediction error model. According to our model, both reward average and reward uncertainty are tracked and represented in the two basal ganglia pathways. The learned reward uncertainty is then used to scale dopaminergic reward prediction errors, which effectively renders learning adaptive to reward noise. We show that such learning is more robust than learning from unscaled prediction errors and that it explains several physiological features of the basal ganglia system.

Abstract Animals can adapt their preferences for different types for reward according to physiological state, such as hunger or thirst. To describe this ability, we propose a simple extension of temporal difference model that learns multiple values of each state according to different reward dimensions such as food or water. By weighting these learned values according to the current needs, behaviour may be flexibly adapted to present demands. Our model predicts that different dopamine neurons should be selective for different reward dimensions. We reanalysed data from primate dopamine neurons and observed that in addition to subjective value, dopamine neurons encode a gradient of reward dimensions; some neurons respond most to food rewards while the others respond more to fluids. Moreover, our model reproduces instant generalization to new physiological state seen in dopamine responses and in behaviour. Our results demonstrate how simple neural circuit can flexibly optimize behaviour according to animals’ needs.