Retinex theory is developed mainly to decompose an image into the illumination and reflectance components by analyzing local image derivatives. In this theory, larger derivatives are attributed to the changes in reflectance, while smaller derivatives are emerged in the smooth illumination. In this paper, we utilize exponentiated local derivatives (with an exponent γ) of an observed image to generate its structure map and texture map. The structure map is produced by been amplified with γ > 1, while the texture map is generated by been shrank with γ < 1. To this end, we design exponential filters for the local derivatives, and present their capability on extracting accurate structure and texture maps, influenced by the choices of exponents γ. The extracted structure and texture maps are employed to regularize the illumination and reflectance components in Retinex decomposition. A novel Structure and Texture Aware Retinex (STAR) model is further proposed for illumination and reflectance decomposition of a single image. We solve the STAR model by an alternating optimization algorithm. Each sub-problem is transformed into a vectorized least squares regression, with closed-form solutions. Comprehensive experiments on commonly tested datasets demonstrate that, the proposed STAR model produce better quantitative and qualitative performance than previous competing methods, on illumination and reflectance decomposition, low-light image enhancement, and color correction. The code is publicly available at https://github.com/csjunxu/STAR.

Abstract A fundamental challenge in fluorescence microscopy is the inherent photon shot noise caused by the inevitable stochasticity of photon detection. Noise increases measurement uncertainty, degrades image quality, and limits imaging resolution, speed, and sensitivity. To achieve high-sensitivity imaging beyond the shot-noise limit, we provide DeepCAD-RT, a versatile self-supervised method for effective noise suppression of fluorescence time-lapse imaging. We made comprehensive optimizations to reduce its data dependency, processing time, and memory consumption, finally allowing real-time processing on a two-photon microscope. High imaging signal-to-noise ratio (SNR) can be acquired with 10-fold fewer fluorescence photons. Meanwhile, the self-supervised superiority makes it a practical tool in fluorescence microscopy where ground-truth images for training are hard to obtain. We demonstrated the utility of DeepCAD-RT in extensive experiments, including in vivo calcium imaging of various model organisms (mouse, zebrafish larva, fruit fly), 3D migration of neutrophils after acute brain injury, and 3D dynamics of cortical ATP (adenosine 5’-triphosphate) release. DeepCAD-RT will facilitate the morphological and functional interrogation of biological dynamics with minimal photon budget.

ABSTRACT Calcium imaging is inherently susceptible to detection noise especially when imaging with high frame rate or under low excitation dosage. We developed DeepCAD, a self-supervised learning method for spatiotemporal enhancement of calcium imaging without requiring any high signal-to-noise ratio (SNR) observations. Using this method, detection noise can be effectively suppressed and the imaging SNR can be improved more than tenfold, which massively improves the accuracy of neuron extraction and spike inference and facilitate the functional analysis of neural circuits.

Abstract Fluorescence imaging with high signal-to-noise ratios has become the foundation of accurate visualization and analysis of biological phenomena. However, the inevitable photon shot noise poses a formidable challenge on imaging sensitivity. In this paper, we provide a spatial redundancy denoising transformer (SRDTrans) to remove noise from fluorescence images in a self-supervised manner. First, a sampling strategy based on spatial redundancy is proposed to extract adjacent orthogonal training pairs, which eliminates the dependence on high imaging speed. Secondly, to break the performance bottleneck of convolutional neural networks (CNNs), we designed a lightweight spatiotemporal transformer architecture to capture long-range dependencies and high-resolution features at a low computational cost. SRDTrans can overcome the inherent spectral bias of CNNs and restore high-frequency information without producing over-smoothed structures and distorted fluorescence traces. Finally, we demonstrate the state-of-the-art denoising performance of SRDTrans on single-molecule localization microscopy and two-photon volumetric calcium imaging. SRDTrans does not contain any assumptions about the imaging process and the sample, thus can be easily extended to a wide range of imaging modalities and biological applications.

We present Raw2raw, an innovative image reconstruction pipeline to mitigate blurriness caused by under-optimized smartphone systems. Our style effectively preserves data structure and underscores the potential of portable biomedical data capture and smart-phone camera applications.

Diffuse correlation spectroscopy (DCS) is a well-established method that measures rapid changes in scattered coherent light to identify blood flow and functional dynamics within tissue. While its sensitivity to minute scatterer displacements leads to a number of unique advantages, conventional DCS systems become photon-limited when attempting to probe deep into tissue, which leads to long measurement windows (∼1 sec). Here, we present a high-sensitivity DCS system with 1024 parallel detection channels integrated within a single-photon avalanche diode (SPAD) array, and demonstrate the ability to detect mm-scale perturbations up to 1 cm deep within a tissue-like phantom at up to 33 Hz sampling rate. We also show that this highly parallelized strategy can measure the human pulse at high fidelity and detect behaviorally-induced physiological variations from above the human prefrontal cortex. By greatly improving detection sensitivity and speed, highly parallelized DCS opens up new experiments for high-speed biological signal measurement.

The orientation and wobbling behavior of the fluorescent dipoles are of great significance in revealing the structure and state of cells. Due to the poor optical sectioning capability of wide-field microscopy, the polarization modulation signals are susceptible to the neighboring fluorophores. The missing cone of wide field optical transfer function induces vast out-of-focus background, resulting in biased polarization orientation and decrease polarization factor. Here, we apply polarized structured illumination to achieve polarization modulation imaging with optical sectioning, and simultaneously measure the lipid polarity with two-color ratiometric imaging. Our results demonstrate a significant increase in measurement accuracy of not only the dipole orientations but also the wobbling behavior of the ensemble dipole. Compared to the conventional confocal polarization imaging, our method obtains an order-of-magnitude faster imaging speed, capturing the fast dynamics of subcellular structures in live cells.

The advent of deep learning and open access to a substantial collection of imaging data provide a potential solution to computational image transformation, which is gradually changing the landscape of optical imaging and biomedical research. However, current deep-learning implementations usually operate in a supervised manner, and the reliance on a laborious and error-prone data annotation procedure remains a barrier towards more general applicability. Here, we propose an unsupervised image transformation enlightened by cycle-consistent generative adversarial networks (cycleGANs) to facilitate the utilization of deep learning in optical microscopy. By incorporating the saliency constraint into cycleGAN, the unsupervised approach, dubbed as content-preserving cycleGAN (c2GAN), can learn the mapping between two image domains and avoid the misalignment of salient objects without paired training data. We demonstrate several image transformation tasks such as fluorescence image restoration, whole-slide histological coloration, and virtual fluorescent labeling. Quantitative evaluations prove that c2GAN achieves robust and high-fidelity image transformation across different imaging modalities and various data configurations. We anticipate that our framework will encourage a paradigm shift in training neural networks and democratize deep learning algorithms for optical imaging.