Abstract Computational super-resolution (SR) methods, including conventional analytical algorithms and deep learning models, have substantially improved optical microscopy. Among them, supervised deep neural networks have demonstrated outstanding SR performance, however, demanding abundant high-quality training data, which are laborious and even impractical to acquire due to the high dynamics of living cells. Here, we develop zero-shot deconvolution networks (ZS-DeconvNet) that instantly enhance the resolution of microscope images by more than 1.5-fold over the diffraction limit with 10-fold lower fluorescence than ordinary SR imaging conditions in an unsupervised manner without the need for either ground truths or additional data acquisition. We demonstrate the versatile applicability of ZS-DeconvNet on multiple imaging modalities, including total internal reflection fluorescence microscopy, three-dimensional (3D) wide-field microscopy, confocal microscopy, lattice light-sheet microscopy, and multimodal structured illumination microscopy (SIM), which enables multi-color, long-term, super-resolution 2D/3D imaging of subcellular bioprocesses from mitotic single cells to multicellular embryos of mouse and C. elegans.

Abstract Detection noise significantly degrades the quality of structured illumination microscopy (SIM) images, especially under low-light conditions. Although supervised learning based denoising methods have shown prominent advances in eliminating the noise-induced artifacts, the requirement of a large amount of high-quality training data severely limits their applications. Here we developed a pixel-realignment-based self-supervised denoising framework for SIM (PRS-SIM) that trains an SIM image denoiser with only noisy data and substantially removes the reconstruction artifacts. We demonstrated that PRS-SIM generates artifact-free images with 10-fold less fluorescence than ordinary imaging conditions while achieving comparable super-resolution capability to the ground truth (GT). Moreover, the proposed method is compatible with multiple SIM modalities such as total internal reflective fluorescence SIM (TIRF-SIM), three-dimensional SIM (3D-SIM), lattice light-sheet SIM (LLS-SIM), and non-linear SIM (NL-SIM). With PRS-SIM, we achieved long-term super-resolution live-cell imaging of various bioprocesses, revealing the clustered distribution of clathrin coated pits and detailed interaction dynamics of multiple organelles and the cytoskeleton.

Abstract Lattice light-sheet microscopy (LLSM) provides a crucial observation window into intra- and inter-cellular physiology of living specimens with high speed and low phototoxicity, however, at the diffraction-limited resolution or anisotropic super-resolution with structured illumination. Here we present the meta-learning-empowered reflective lattice light-sheet virtual structured illumination microscopy (Meta-rLLS-VSIM), which instantly upgrades LLSM to a near-isotropic super resolution of ∼120-nm laterally and ∼160-nm axially, more than twofold improvement in each dimension, without any modification of the optical system or sacrifice of other imaging metrics. Moreover, to alleviate the tremendous demands on training data and time necessitated by existing deep-learning (DL) methods, we devised an adaptive online training approach by synergizing the front-end imaging system and back-end meta-learning framework, which reduced the total time for data acquisition and model training down to tens of seconds. With this method, a new model can be well-trained with tenfold less data and three orders of magnitude less time than current standard supervised learning. We demonstrate the versatile functionalities of Meta-rLLS-VSIM by imaging a variety of bioprocesses with ultrahigh spatiotemporal resolution for long duration of hundreds of multi-color volumes, characterizing the dynamic regulation of contractile ring filaments during mitosis and the growth of pollen tubes, and delineating the nanoscale distributions, dispersion, and interaction pattern of multiple organelles in embryos and eukaryotic cells.

Abstract Optical aberrations degrade the performance of fluorescence microscopy. Conventional adaptive optics (AO) leverages specific devices, such as the Shack-Hartmann wavefront sensor and deformable mirror, to measure and correct optical aberrations. However, conventional AO requires either additional hardware or a more complicated imaging procedure, resulting in higher cost or a lower acquisition speed. In this study, we proposed a novel space-frequency encoding network (SFE-Net) that can directly estimate the aberrated point spread functions (PSFs) from biological images, enabling fast optical aberration estimation with high accuracy without engaging extra optics and image acquisition. We showed that with the estimated PSFs, the optical aberration can be computationally removed by deconvolution algorithm. Furthermore, to fully exploit the benefits of SFE-Net, we incorporated the estimated PSF with neural network architecture design to devise an aberration-aware deep-learning super-resolution (DLSR) model, dubbed SFT-DFCAN. We demonstrated that the combination of SFE-Net and SFT-DFCAN enables instant digital AO and optical aberration-aware super-resolution reconstruction for live-cell imaging.

Abstract Single image super-resolution (SISR) neural networks for optical microscopy have shown great capability to directly transform a low-resolution (LR) image into its super-resolution (SR) counterpart, enabling low-cost long-term live-cell SR imaging. However, when processing time-lapse data, current SISR models failed to exploit the important temporal dependencies between neighbor frames, often resulting in temporally inconsistent outputs. Besides, SISR models are subject to inference uncertainty that is hard to accurately quantify, therefore it is difficult to determine to what extend can we trust the inferred SR images. Here, we first build a large-scale, high-quality fluorescence microscopy dataset for the time-lapse image super-resolution (TISR) task, and conducted a comprehensive evaluation on two essential components of TISR neural networks, i.e., propagation and alignment. Second, we devised a deformable phase-space alignment (DPA) based TISR neural network (DPA-TISR), which adaptively enhances the cross-frame alignment in the phase domain and outperforms existing state-of-the-art SISR and TISR models. Third, we combined the Bayesian training scheme and Monte Carlo dropout with DPA-TISR, developing Bayesian DPA-TISR, and designed an expected calibration error (ECE)minimization framework to obtain a well-calibrated confidence map along with each output SR image, which reliably implicates potential inference errors. We demonstrate the unique characteristics of Bayesian DPA-TISR underlie the ultralong-term live-cell SR imaging capability with high spatial fidelity, superb temporal consistency, and accurate confidence quantification on a wide variety of bioprocesses.