Abstract Deep learning based animal pose estimation tools have greatly improved animal behaviour quantification. However, those tools all make predictions on individual video frames and do not account for variability of animal body shape in their model designs. Here, we introduce the first video-based animal pose estimation architecture, referred to as OptiFlex, which integrates a flexible base model to account for variability in animal body shape with an optical flow model to incorporate temporal context from nearby video frames. This approach can be combined with multi-view information, generating prediction enhancement using all four dimensions (3D space and time). To evaluate OptiFlex, we adopted datasets of four different lab animal species (mouse, fruit fly, zebrafish, and monkey) and proposed a more intuitive evaluation metric - percentage of correct key points (aPCK). Our evaluations show that OptiFlex provides the best prediction accuracy amongst current deep learning based tools, and that it can be readily applied to analyse a wide range of behaviours.

Abstract Neurophysiological studies depend on a reliable quantification of whether and when a neuron responds to stimulation. Simple methods to determine responsiveness require arbitrary parameter choices, such as binning size, while more advanced model-based methods require fitting and hyperparameter tuning. These parameter choices can change the results, which invites bad statistical practice and reduces the replicability. New recording techniques that yield increasingly large numbers of cells would benefit from a test for cell-inclusion that requires no manual curation. Here, we present the parameter-free ZETA-test, which outperforms t-tests, ANOVAs, and renewal-process-based methods by including more cells at a similar false-positive rate. We show that our procedure works across brain regions and recording techniques, including calcium imaging and Neuropixels data. Furthermore, in illustration of the method, we show in mouse visual cortex that 1) visuomotor-mismatch and spatial location are encoded by different neuronal subpopulations; and 2) optogenetic stimulation of VIP cells leads to early inhibition and subsequent disinhibition.

Abstract To achieve high sensitivity at scotopic levels, vision sacrifices spatial and temporal resolution. The detection of dim light, however, depends crucially on the ability of the visual system to speed up rod signals as they advance towards the brain. At higher light levels, gain control mechanisms are necessary to prevent premature saturation of second-order neurons. We investigated how goldfish mixed-input ON bipolar cells (ON mBCs) manage to partially compensate for the intrinsically slow kinetics of rod signals in the dark-adapted state, and at the same time control the gain of rod signals. Rod-driven responses of axotomized ON mBCs become faster and more transient than those of rod horizontal cells as stimulus intensity increases. This transientness has a voltage-dependency consistent with the activation of a voltage-gated K + conductance. Simulations with NEURON indicate that the voltage-gated K + channels responsible for speeding up responses are concentrated at the distal tips of the bipolar cell dendrites, close to the glutamate receptors. These channels act as a gain control mechanism, by shunting the effect of tonically hyperpolarized rods onto the ON mBC. Further activation of K + channels accelerates the ON mBC response by decreasing the membrane time constant as light levels increase. Therefore, the presence of voltage-gated K + channels at the dendritic tips of ON mBCs extends the dynamic range of these neurons, and at the same time generates a transient signal already at the first visual synapse. Key Points Summary Here we show that voltage-gated potassium channels can adjust the gain of the rod input to mixed-input ON bipolar cells and generate a transient signal already at the first visual synapse. These channels are activated during the light-induced depolarization, making bipolar cell light responses smaller, faster, and more transient, effects that can be abolished by the K + channel blocker TEA. Mathematical simulations suggest that these channels are concentrated at the bipolar cell dendritic tips, close to the site of rod input. This kind of gain control happens at all levels in the retina and is especially important for cells that receive mixed input from rods and cones, in order to prevent premature saturation with increasing light levels and remove the temporal redundancy of the photoreceptor signal.

Abstract In Nyx nob mice, a model for congenital nystagmus associated with congenital stationary night blindness (CSNB), synchronous oscillating retinal ganglion cells (RGCs) lead to oscillatory eye movements, i.e., nystagmus. Given the distribution of mGluR6 and Cav1 . 4 in the retina as well as their clinical association with CSNB, we hypothesize that mGluR6 -/- and Cav1 . 4 -/- mutants show, like the Nyx nob mouse, oscillations that originate in the A II amacrine cells (A II ACs). Using eye movement and multi-electrode array (MEA) recordings of RGCs we show that the nystagmus as well as the underlying RGC oscillations are also present in mGluR6 -/- and Cav1 . 4 -/- mice. Yet, we find that the oscillations in the mGluR6 -/- and Cav1 . 4 -/- mutants slightly differ from each other and also from those of the Nyx nob mice. Moreover, each of the three mutations likely impacts the membrane potential of the A II ACs differently. Together our results indicate that nystagmus and oscillating RGCs are generalizable features associated with CSNB mutations localized at the photoreceptor-bipolar cell synapse.

Abstract Psychophysical data indicates humans can discriminate visual scenes based on their skewness – the ratio of dark and bright patches within a visual scene. It was also shown that on a phenomenological level this skew discrimination is described by the so-called Blackshot mechanism, which accentuates strong negative contrasts within a scene. Here we demonstrate that the underlying computation starts as early as the cone phototransduction cascade whose gain is higher for strong negative contrasts than for strong positive contrasts. We recorded from goldfish cone photoreceptors and found that the asymmetry in the phototransduction gain leads to higher amplitude of the responses to negatively than to positively skewed light stimuli. This asymmetry in the amplitude was present in the photocurrent, voltage response and cone synaptic output. These results highlight the importance of the early photoreceptor non-linearity for perception. Additionally, we found that stimulus skewness leads to a subtle change in photoreceptor kinetics. For negatively skewed stimuli, the cone’s impulse response functions peak later than for positively skewed stimulus. However, stimulus skewness does not affect the cone’s overall integration time.

Congenital nystagmus, involuntary oscillating small eye movements, is commonly thought to originate from aberrant interactions between brainstem nuclei and foveal cortical pathways. Here we investigated whether nystagmus associated with congenital stationary nightblindness (CSNB) can result from primary deficits in the retina. We found that CSNB patients as well as an animal model (nob mice), both of which lack functional nyctalopin protein (NYX, nyx) in ON bipolar cells (ON-BC) at their synapse with photoreceptors, showed oscillating eye movements at a frequency of 4-7Hz. nob ON direction selective ganglion cells (ON-DSGC), which detect global motion and project to the accessory optic system (AOS), oscillated with the same frequency as their eyes. In the dark, individual ganglion cells (GC) oscillated asynchronously, but their oscillations became synchronized by light stimulation. Likewise, both patient and nob mice oscillating eye movements were only present in the light. Retinal pharmacological manipulations that blocked nob ON-DSGC oscillations also eliminated their oscillating eye movements, and retinal pharmacological manipulations that reduced oscillation frequency of nob ON-DSGCs also reduced oscillation frequency of their eye movements. We conclude that, in nob mice, oscillations of retinal ON-DSGCs cause nystagmus with properties similar to those associated with CSNB in humans. These results show that the nob mouse is the first animal model for a form of congenital nystagmus paving the way for development of therapeutic strategies.