Studying how animals interface with a virtual reality can further our understanding of how attention, learning and memory, sensory processing, and navigation are handled by the brain, at both the neurophysiological and behavioural levels. To this end, we have developed a novel vision-based tracking system, FicTrac (Fictive path Tracking software), for estimating the path an animal makes whilst rotating an air-supported sphere using only input from a standard camera and computer vision techniques. We have found that the accuracy and robustness of FicTrac outperforms a low-cost implementation of a standard optical mouse-based approach for generating fictive paths. FicTrac is simple to implement for a wide variety of experimental configurations and, importantly, is fast to execute, enabling real-time sensory feedback for behaving animals. We have used FicTrac to record the behaviour of tethered honeybees, Apis mellifera, whilst presenting visual stimuli in both open-loop and closed-loop experimental paradigms. We found that FicTrac could accurately register the fictive paths of bees as they walked towards bright green vertical bars presented on an LED arena. Using FicTrac, we have demonstrated closed-loop visual fixation in both the honeybee and the fruit fly, Drosophila melanogaster, establishing the flexibility of this system. FicTrac provides the experimenter with a simple yet adaptable system that can be combined with electrophysiological recording techniques to study the neural mechanisms of behaviour in a variety of organisms, including walking vertebrates.

Significance Attention, observed in a wide variety of animals from insects to humans, involves selectively attending to behaviorally relevant stimuli while filtering out other stimuli. We designed a paradigm that allowed us to record brain activity in tethered, walking bees selecting virtual visual objects. We found that stimulus-specific brain activity increased when the bees controlled the position of the visual objects, and that activity decreased when bees were not in control. When bees were presented with competing objects, brain activity in the optic lobes preceded behavioral choices; this suggests that in animals with tiny brains, such as bees, attention-like processes are pushed far out into the sensory periphery. This trait is likely important for efficiently navigating complex visual environments.

Scallops possess a visual system comprising up to 200 eyes, each containing a concave mirror rather than a lens to focus light. The hierarchical organization of the multilayered mirror is controlled for image formation, from the component guanine crystals at the nanoscale to the complex three-dimensional morphology at the millimeter level. The layered structure of the mirror is tuned to reflect the wavelengths of light penetrating the scallop's habitat and is tiled with a mosaic of square guanine crystals, which reduces optical aberrations. The mirror forms images on a double-layered retina used for separately imaging the peripheral and central fields of view. The tiled, off-axis mirror of the scallop eye bears a striking resemblance to the segmented mirrors of reflecting telescopes.

The quality of visual information that is available to an animal is limited by the size of its eyes. Differences in eye size can be observed even between closely related individuals, yet we understand little about how this affects vision. Insects are good models for exploring the effects of size on visual systems because many insect species exhibit size polymorphism. Previous work has been limited by difficulties in determining the 3D structure of eyes. We have developed a novel method based on x-ray microtomography to measure the 3D structure of insect eyes and to calculate predictions of their visual capabilities. We used our method to investigate visual allometry in the bumblebee Bombus terrestris and found that size affects specific aspects of vision, including binocular overlap, optical sensitivity, and dorsofrontal visual resolution. This reveals that differential scaling between eye areas provides flexibility that improves the visual capabilities of larger bumblebees.

Visually guided flight control in the rainforest is arguably one of the most complex insect behaviors: illumination varies dramatically depending on location [1Endler J.A. The color of light in forests and its implications.Ecol. Monogr. 1993; 63: 2-27Crossref Scopus (858) Google Scholar], and the densely cluttered environment blocks out most of the sky [2Gonsamo A. D'odorico P. Pellikka P. Measuring fractional forest canopy element cover and openness–definitions and methodologies revisited.Oikos. 2013; 122: 1283-1291Crossref Scopus (38) Google Scholar]. What visual information do insects sample for flight control in this habitat? To begin answering this question, we determined the visual fields of the ocelli—thought to play a role in attitude stabilization of some flying insects [3Stange G. The ocellar component of flight equilibrium control in dragonflies.J. Comp. Physiol. 1981; 141: 335-347Crossref Scopus (87) Google Scholar, 4Taylor C.P. Contribution of compound eyes and ocelli to steering of locusts in flight: I. Behavioural analysis.J. Exp. Biol. 1981; 93: 1-18Google Scholar, 5Parsons M.M. Krapp H.G. Laughlin S.B. Sensor fusion in identified visual interneurons.Curr. Biol. 2010; 20: 624-628Abstract Full Text Full Text PDF PubMed Scopus (43) Google Scholar]—of an orchid bee, Euglossa imperialis. High-resolution 3D models of the ocellar system from X-ray microtomography were used for optical ray tracing simulations. Surprisingly, these showed that each ocellus possesses two distinct visual fields—a focused monocular visual field suitable for detecting features elevated above the horizon and therefore assisting with flight stabilization [3Stange G. The ocellar component of flight equilibrium control in dragonflies.J. Comp. Physiol. 1981; 141: 335-347Crossref Scopus (87) Google Scholar, 4Taylor C.P. Contribution of compound eyes and ocelli to steering of locusts in flight: I. Behavioural analysis.J. Exp. Biol. 1981; 93: 1-18Google Scholar, 5Parsons M.M. Krapp H.G. Laughlin S.B. Sensor fusion in identified visual interneurons.Curr. Biol. 2010; 20: 624-628Abstract Full Text Full Text PDF PubMed Scopus (43) Google Scholar] and, unlike other ocelli investigated to date [4Taylor C.P. Contribution of compound eyes and ocelli to steering of locusts in flight: I. Behavioural analysis.J. Exp. Biol. 1981; 93: 1-18Google Scholar, 6Berry R. van Kleef J. Stange G. The mapping of visual space by dragonfly lateral ocelli.J. Comp. Physiol. A Neuroethol. Sens. Neural Behav. Physiol. 2007; 193: 495-513Crossref PubMed Scopus (33) Google Scholar, 7Ribi W. Warrant E. Zeil J. The organization of honeybee ocelli: Regional specializations and rhabdom arrangements.Arthropod Struct. Dev. 2011; 40: 509-520Crossref PubMed Scopus (26) Google Scholar], a large trinocular fronto-dorsal visual field shared by all ocelli. Histological analyses show that photoreceptors have similar orientations within each ocellus and are likely to be sensitive to polarized light, as in some other hymenopterans [7Ribi W. Warrant E. Zeil J. The organization of honeybee ocelli: Regional specializations and rhabdom arrangements.Arthropod Struct. Dev. 2011; 40: 509-520Crossref PubMed Scopus (26) Google Scholar, 8Zeil J. Ribi W.A. Narendra A. Polarisation vision in ants, bees and wasps.in: Horváth G. Polarized Light and Polarization Vision in Animal Sciences. Springer, 2014: 41-60Crossref Scopus (42) Google Scholar]. We also found that the average receptor orientation is offset between the ocelli, each having different axes of polarization sensitivity relative to the head. Unlike the eyes of any other insect described to date, this ocellar system meets the requirements of a true polarization analyzer [9Kirschfeld K. Die notwendige Anzahl von Rezeptoren zur Bestimmung der Richtung des elektrischen Vektors linear polarisierten Lichtes.Z. Naturforsch., B. J. Chem. Sci. 1972; 27c: 578-579Google Scholar, 10Wehner R. Labhart T. Polarization vision.in: Warrant E.J. Nilsson D.-E. Invertebrate Vision. Cambridge University Press, 2006: 291-348Google Scholar]. The ocelli of E. imperialis could provide sensitive compass information for navigation in the rainforest and, additionally, provide cues for visual discrimination or flight control.

Emily Baird and Gavin Taylor describe how you can make three-dimensional models of biological samples using x-ray micro-computed tomography.

Abstract Insects face the challenge of integrating multi-sensory information to control their flight. Here we study a ‘streamlining’ response in honeybees, whereby honeybees raise their abdomen to reduce drag. We find that this response, which was recently reported to be mediated by optic flow, is also strongly modulated by the presence of air flow simulating a head wind. The Johnston's organs in the antennae were found to play a role in the measurement of the air speed that is used to control the streamlining response. The response to a combination of visual motion and wind is complex and can be explained by a model that incorporates a non-linear combination of the two stimuli. The use of visual and mechanosensory cues increases the strength of the streamlining response when the stimuli are present concurrently. We propose this multisensory integration will make the response more robust to transient disturbances in either modality.

When using virtual-reality paradigms to study animal behaviour, careful attention must be paid to how the animal's actions are detected. This is particularly relevant in closed-loop experiments where the animal interacts with a stimulus. Many different sensor types have been used to measure aspects of behaviour, and although some sensors may be more accurate than others, few studies have examined whether, and how, such differences affect an animal's behaviour in a closed-loop experiment. To investigate this issue, we conducted experiments with tethered honeybees walking on an air-supported trackball and fixating a visual object in closed-loop. Bees walked faster and along straighter paths when the motion of the trackball was measured in the classical fashion – using optical motion sensors repurposed from computer mice – than when measured more accurately using a computer vision algorithm called ‘FicTrac’. When computer mouse sensors are used to measure bees' behaviour, they modified their behaviour and achieved improved control of the stimulus. This behavioural change appears to be a response to a systematic error in the computer mouse sensor that reduces the sensitivity of this sensor system under certain conditions. Although the large perceived inertia and mass of the trackball relative to the honeybee is a limitation of tethered walking paradigms, observing differences depending on the sensor system used to measure bee behaviour was not expected. This study suggests that bees are capable of fine-tuning their motor control to improve the outcome of the task they are performing. Further, our findings show that caution is required when designing virtual-reality experiments, as animals can potentially respond to the artificial scenario in unexpected and unintended ways.

Abstract An isolated, yet virtually intact contour feather ( FUM ‐1980) from the lower Eocene Fur Formation of Denmark was analysed using multiple imaging and molecular techniques, including field emission gun scanning electron microscopy ( FEG ‐ SEM ), X‐ray absorption spectroscopy and time‐of‐flight secondary ion mass spectrometry (ToF‐ SIMS ). Additionally, synchrotron radiation X‐ray tomographic microscopy ( SRXTM ) was employed in order to produce a digital reconstruction of the fossil. Under FEG ‐ SEM , the proximal, plumulaceous part of the feather revealed masses of ovoid microstructures, about 1.7 μm long and 0.5 μm wide. Microbodies in the distal, pennaceous portion were substantially smaller (averaging 0.9 × 0.2 μm), highly elongate, and more densely packed. Generally, the microbodies in both the plumulaceous and pennaceous segments were aligned along the barbs and located within shallow depressions on the exposed surfaces. Biomarkers consistent with animal eumelanins were co‐localized with the microstructures, to suggest that they represent remnant eumelanosomes (i.e. eumelanin‐housing cellular organelles). Additionally, ToF‐ SIMS analysis revealed the presence of sulfur‐containing organics – potentially indicative of pheomelanins – associated with eumelanin‐like compounds. However, since there was no correlation between melanosome morphology and sulfur content, we conclude these molecular structures derive from diagenetically incorporated sulfur rather than pheomelanin. Melanosomes corresponding roughly in both size and morphology with those in the proximal part of FUM ‐1980 are known from contour feathers of extant parrots (Psittaciformes), an avian clade that has previously been reported from the Fur Formation.

Closed-loop paradigms provide an effective approach for studying visual choice behaviour and attention in small animals. Different flying and walking paradigms have been developed to investigate behavioural and neuronal responses to competing stimuli in insects such as bees and flies. However, the variety of stimulus choices that can be presented over one experiment is often limited. Current choice paradigms are mostly constrained as single binary choice scenarios that are influenced by the linear structure of classical conditioning paradigms. Here, we present a novel behavioural choice paradigm that allows animals to explore a closed geometry of interconnected binary choices by repeatedly selecting among competing objects, thereby revealing stimulus preferences in an historical context. We used our novel paradigm to investigate visual flicker preferences in honeybees (Apis mellifera) and found significant preferences for 20-25 Hz flicker and avoidance of higher (50-100 Hz) and lower (2-4 Hz) flicker frequencies. Similar results were found when bees were presented with three simultaneous choices instead of two, and when they were given the chance to select previously rejected choices. Our results show that honeybees can discriminate among different flicker frequencies and that their visual preferences are persistent even under different experimental conditions. Interestingly, avoided stimuli were more attractive if they were novel, suggesting that novelty salience can override innate preferences. Our recursive virtual reality environment provides a new approach to studying visual discrimination and choice behaviour in animals.