Visual objects naturally compete for the brain’s attention, and selecting just one of them for a behavioural response is often crucial for the animal’s survival 1 . The neural correlate of such stimulus prioritisation might take the form of a saliency map by which responses to one target are enhanced relative to distractors in other parts of the visual field 2 . Single-cell responses consistent with this type of computation have been observed in the tectum of primates, birds, turtles and lamprey 2–7 . However, the exact circuit implementation has remained unclear. Here we investigated the underlying neuronal mechanism presenting larval zebrafish with two simultaneous looming stimuli, each of which was able to trigger directed escapes on their own. Behaviour tracking revealed that the fish respond to these competing stimuli predominantly with a winner-take-all strategy. Using brain-wide functional recordings, we discovered neurons in the tectum whose responses to the target stimulus were non-linearly modulated by the saliency of the distractor. When the two stimuli were presented monocularly in different positions of the visual field, stimulus selection was already apparent in the activity of retinal ganglion cell axons, a likely consequence of antagonistic mechanisms operating outside the classical receptive field 8,9 . When the two stimuli were presented binocularly, i.e., on opposite sides of the fish, our analysis indicates that a loop involving excitatory and inhibitory neurons in the nucleus isthmi (NI) and the tectum weighed stimulus saliencies across hemispheres. Consistent with focal enhancement and global suppression, glutamatergic NI cells branch locally in the tectum, whereas GABAergic NI cells project broadly across both tectal hemispheres. Moreover, holographic optogenetic stimulation confirmed that glutamatergic NI neurons can modulate visual responses in the tectum. Together, our study shows, for the first time, context-dependent contributions of retinotectal and isthmotectal circuits to the computation of the visual saliency map, a prerequisite for stimulus-driven, bottom-up attention.

Animal behavior is adapted to the sensory environment in which it evolved, while also being constrained by physical limits, evolutionary history, and developmental trajectories. The hunting behavior of larval zebrafish (Danio rerio), a cyprinid native to streams in Eastern India, has been well characterized. However, it is unknown if the complement and sequence of movements employed during prey capture by zebrafish is universal across freshwater teleosts. Here, we explore the syntax of prey capture behavior in larval fish belonging to the clade Percomorpha, whose last common ancestor with cyprinids lived ~240 million years ago. We compared the behavior of four cichlid species from Lake Tanganyika endemic to deep benthic parts of the lake (Lepidiolamprologus attenuatus, Lamprologus ocellatus, and Neolamprologus multifasciatus) or inhabiting rivers (Astatotilapia burtoni) with that of medaka (Oryzias latipes), a fish found in rice paddies in East Asia. Using high speed videography and neural networks, we tracked eye movements and extracted swim kinematics during hunting from these five species. Notably, we found that the repertoire of hunting movements of cichlids is broader than that of zebrafish, but shares basic features, such as eye convergence, positioning of prey centrally in the binocular visual field, and discrete prey capture bouts, including two kinds of capture strikes. In contrast, medaka swim continuously, track the prey monocularly without eye convergence, and position prey laterally before capturing them with a side swing. This configuration of kinematic motifs suggests that medaka may judge distance to prey by motion parallax, while cichlids and zebrafish may use binocular visual cues. Together, our study documents the diversification of locomotor and oculomotor adaptations across hunting teleost larvae.

Animals build behavioral sequences out of simple stereotyped actions. A comprehensive characterization of these actions and the rules underlying their temporal organization is necessary to understand sensorimotor transformations performed by the brain. Here, we use unsupervised methods to study behavioral sequences in zebrafish larvae. Generating a map of swim bouts, we reveal that fish modulate their tail movements along a continuum. We cluster bouts that share common kinematic features and contribute to similar behavioral sequences into seven modules. Behavioral sequences comprising a subset of modules bring prey into the anterior dorsal visual field of the larvae. Fish then release a capture maneuver comprising a stereotyped jaw movement and fine-tuned stereotyped tail movements to capture prey at various distances. We demonstrate that changes to chaining dynamics, but not module production, underlie prey capture deficits in two visually impaired mutants. Our analysis thus reveals the temporal organization of a vertebrate hunting behavior, with the implication that different neural architectures underlie prey pursuit and capture.