Abstract Computational super-resolution (SR) methods, including conventional analytical algorithms and deep learning models, have substantially improved optical microscopy. Among them, supervised deep neural networks have demonstrated outstanding SR performance, however, demanding abundant high-quality training data, which are laborious and even impractical to acquire due to the high dynamics of living cells. Here, we develop zero-shot deconvolution networks (ZS-DeconvNet) that instantly enhance the resolution of microscope images by more than 1.5-fold over the diffraction limit with 10-fold lower fluorescence than ordinary SR imaging conditions in an unsupervised manner without the need for either ground truths or additional data acquisition. We demonstrate the versatile applicability of ZS-DeconvNet on multiple imaging modalities, including total internal reflection fluorescence microscopy, three-dimensional (3D) wide-field microscopy, confocal microscopy, lattice light-sheet microscopy, and multimodal structured illumination microscopy (SIM), which enables multi-color, long-term, super-resolution 2D/3D imaging of subcellular bioprocesses from mitotic single cells to multicellular embryos of mouse and C. elegans.

Abstract A fundamental challenge in fluorescence microscopy is the inherent photon shot noise caused by the inevitable stochasticity of photon detection. Noise increases measurement uncertainty, degrades image quality, and limits imaging resolution, speed, and sensitivity. To achieve high-sensitivity imaging beyond the shot-noise limit, we provide DeepCAD-RT, a versatile self-supervised method for effective noise suppression of fluorescence time-lapse imaging. We made comprehensive optimizations to reduce its data dependency, processing time, and memory consumption, finally allowing real-time processing on a two-photon microscope. High imaging signal-to-noise ratio (SNR) can be acquired with 10-fold fewer fluorescence photons. Meanwhile, the self-supervised superiority makes it a practical tool in fluorescence microscopy where ground-truth images for training are hard to obtain. We demonstrated the utility of DeepCAD-RT in extensive experiments, including in vivo calcium imaging of various model organisms (mouse, zebrafish larva, fruit fly), 3D migration of neutrophils after acute brain injury, and 3D dynamics of cortical ATP (adenosine 5’-triphosphate) release. DeepCAD-RT will facilitate the morphological and functional interrogation of biological dynamics with minimal photon budget.

ABSTRACT Calcium imaging is inherently susceptible to detection noise especially when imaging with high frame rate or under low excitation dosage. We developed DeepCAD, a self-supervised learning method for spatiotemporal enhancement of calcium imaging without requiring any high signal-to-noise ratio (SNR) observations. Using this method, detection noise can be effectively suppressed and the imaging SNR can be improved more than tenfold, which massively improves the accuracy of neuron extraction and spike inference and facilitate the functional analysis of neural circuits.

Observing large-scale three-dimensional (3D) subcellular dynamics in vivo at high spatiotemporal resolution has long been a pursuit for biology. However, both the signal-to-noise ratio and resolution degradation in multicellular organisms pose great challenges. Here, we propose a method, termed Digital Adaptive Optics Scanning Lightfield Mutual Iterative Tomography (DAOSLIMIT), featuring both 3D incoherent synthetic aperture and tiled wavefront correction in post-processing. We achieve aberration-free fluorescence imaging in vivo over a 150 × 150 × 16 μm3 field-of-view with the spatiotemporal resolution up to 250 nm laterally and 320 nm axially at 100 Hz, corresponding to a huge data throughput of over 15 Giga-voxels per second. Various fast subcellular processes are observed, including mitochondrial dynamics in cultured neurons, membrane dynamics in zebrafish embryos, and calcium propagation in cardiac cells, human cerebral organoids, and Drosophila larval neurons, enabling simultaneous in vivo studies of morphological and functional dynamics in 3D.

Abstract Single image super-resolution (SISR) neural networks for optical microscopy have shown great capability to directly transform a low-resolution (LR) image into its super-resolution (SR) counterpart, enabling low-cost long-term live-cell SR imaging. However, when processing time-lapse data, current SISR models failed to exploit the important temporal dependencies between neighbor frames, often resulting in temporally inconsistent outputs. Besides, SISR models are subject to inference uncertainty that is hard to accurately quantify, therefore it is difficult to determine to what extend can we trust the inferred SR images. Here, we first build a large-scale, high-quality fluorescence microscopy dataset for the time-lapse image super-resolution (TISR) task, and conducted a comprehensive evaluation on two essential components of TISR neural networks, i.e., propagation and alignment. Second, we devised a deformable phase-space alignment (DPA) based TISR neural network (DPA-TISR), which adaptively enhances the cross-frame alignment in the phase domain and outperforms existing state-of-the-art SISR and TISR models. Third, we combined the Bayesian training scheme and Monte Carlo dropout with DPA-TISR, developing Bayesian DPA-TISR, and designed an expected calibration error (ECE)minimization framework to obtain a well-calibrated confidence map along with each output SR image, which reliably implicates potential inference errors. We demonstrate the unique characteristics of Bayesian DPA-TISR underlie the ultralong-term live-cell SR imaging capability with high spatial fidelity, superb temporal consistency, and accurate confidence quantification on a wide variety of bioprocesses.

Shifting geographical ranges of crop pests and pathogens in response to climate change pose a threat to food security. The orange wheat blossom midge (Sitodiplosis mosellana) is responsible for significant yield losses in China, the world's largest wheat producer. Here we report that rising temperatures in the North China Plain have resulted in a mean northward range shift of 3.3 deg (58.8 km per decade) from the 1950s to 2010s, which accelerated to 91.3 km per decade after 1985 when the highly toxic pesticide hexachlorocyclohexane (HCH) was banned. Phenological matching between wheat midge adult emergence and wheat heading in this new expanded range has resulted in greater damage to wheat production. Around $286.5 million worth of insecticides were applied to around 19 million hectares in an attempt to minimize wheat midge damage to crops between 1985 and 2016. Despite use of these pesticides, wheat midge caused losses of greater than 0.95 million metric tons of grain during this period. Our results demonstrate the potential for indirect negative impacts of climate change on crop production and food security, and constitute the first large scale example of plant pest range shift due to global warming.

Abstract Continuous intra-operative neurophysiological monitoring (CINM) that provides precise mapping of neural anatomy through the entire microsurgery process is essential to preserve the structural and functional integrity of the nerve. However, bulky and rigid electrodes used currently in clinics are usually unable to reliably maintain continuous and stable contacts with the vulnerable and complex nerve networks, thus often resulting in detrimental post-operative complications, such as hemiplegia and sensory disturbances. Here, we describe a biomechanically compatible, suture-free, and individually reconfigurable CINM based on soft and stretchable organic electronic materials. Due to both low impedance and modulus of our conducting polymer electrodes, we achieved for the first time continuous recording of near-field action potential with high signal-to-noise ratio and minimal invasiveness during microsurgeries. Utilizing this unprecedented CINM modality, in conjunction with localized neurostimulation, we further demonstrated our approach in enabling optimal post-operative prognosis in preclinical animal models by preserving normal neural functions after a variety of tumor resection surgeries.