Abstract A fundamental challenge in fluorescence microscopy is the inherent photon shot noise caused by the inevitable stochasticity of photon detection. Noise increases measurement uncertainty, degrades image quality, and limits imaging resolution, speed, and sensitivity. To achieve high-sensitivity imaging beyond the shot-noise limit, we provide DeepCAD-RT, a versatile self-supervised method for effective noise suppression of fluorescence time-lapse imaging. We made comprehensive optimizations to reduce its data dependency, processing time, and memory consumption, finally allowing real-time processing on a two-photon microscope. High imaging signal-to-noise ratio (SNR) can be acquired with 10-fold fewer fluorescence photons. Meanwhile, the self-supervised superiority makes it a practical tool in fluorescence microscopy where ground-truth images for training are hard to obtain. We demonstrated the utility of DeepCAD-RT in extensive experiments, including in vivo calcium imaging of various model organisms (mouse, zebrafish larva, fruit fly), 3D migration of neutrophils after acute brain injury, and 3D dynamics of cortical ATP (adenosine 5’-triphosphate) release. DeepCAD-RT will facilitate the morphological and functional interrogation of biological dynamics with minimal photon budget.

Abstract Fluorescence imaging with high signal-to-noise ratios has become the foundation of accurate visualization and analysis of biological phenomena. However, the inevitable photon shot noise poses a formidable challenge on imaging sensitivity. In this paper, we provide a spatial redundancy denoising transformer (SRDTrans) to remove noise from fluorescence images in a self-supervised manner. First, a sampling strategy based on spatial redundancy is proposed to extract adjacent orthogonal training pairs, which eliminates the dependence on high imaging speed. Secondly, to break the performance bottleneck of convolutional neural networks (CNNs), we designed a lightweight spatiotemporal transformer architecture to capture long-range dependencies and high-resolution features at a low computational cost. SRDTrans can overcome the inherent spectral bias of CNNs and restore high-frequency information without producing over-smoothed structures and distorted fluorescence traces. Finally, we demonstrate the state-of-the-art denoising performance of SRDTrans on single-molecule localization microscopy and two-photon volumetric calcium imaging. SRDTrans does not contain any assumptions about the imaging process and the sample, thus can be easily extended to a wide range of imaging modalities and biological applications.