We present the vector quantized diffusion (VQ-Diffusion) model for text-to-image generation. This method is based on a vector quantized variational autoencoder (VQ-VAE) whose latent space is modeled by a conditional variant of the recently developed Denoising Diffusion Probabilistic Model (DDPM). We find that this latent-space method is well-suited for text-to-image generation tasks because it not only eliminates the unidirectional bias with existing methods but also allows us to incorporate a mask-and-replace diffusion strategy to avoid the accumulation of errors, which is a serious problem with existing methods. Our experiments show that the VQ-Diffusion produces significantly better text-to-image generation results when compared with conventional autoregressive (AR) models with similar numbers of parameters. Compared with previous GAN-based text-to-image methods, our VQ-Diffusion can handle more complex scenes and improve the synthesized image quality by a large margin. Finally, we show that the image generation computation in our method can be made highly efficient by reparameterization. With traditional AR methods, the text-to-image generation time increases linearly with the output image resolution and hence is quite time consuming even for normal size images. The VQ-Diffusion allows us to achieve a better trade-off between quality and speed. Our experiments indicate that the VQ-Diffusion model with the reparameterization is fifteen times faster than traditional AR methods while achieving a better image quality. The code and models are available at https://github.com/cientgu/VQ-Diffusion.

We present a general framework for exemplar-based image translation, which synthesizes a photo-realistic image from the input in a distinct domain (e.g., semantic segmentation mask, or edge map, or pose keypoints), given an exemplar image. The output has the style (e.g., color, texture) in consistency with the semantically corresponding objects in the exemplar. We propose to jointly learn the cross-domain correspondence and the image translation, where both tasks facilitate each other and thus can be learned with weak supervision. The images from distinct domains are first aligned to an intermediate domain where dense correspondence is established. Then, the network synthesizes images based on the appearance of semantically corresponding patches in the exemplar. We demonstrate the effectiveness of our approach in several image translation tasks. Our method is superior to state-of-the-art methods in terms of image quality significantly, with the image style faithful to the exemplar with semantic consistency. Moreover, we show the utility of our method for several applications.

Abstract Mixed‐phase stratiform clouds contain numerous liquid, mixed‐phase, and ice clusters, quantifying the cluster scales is potentially helpful to improve the parameterizations of microphysics and radiation models. However, the scales of hydrometeor clusters at different levels of stratiform clouds are not well understood. In this study, using airborne measurements and a large eddy simulation, we show that turbulence plays an important role in controlling the clusters with length of a few hundred meters, while the scales of larger clusters have stronger vertical variations from cloud base to top. The liquid clusters are the largest near the cloud top, while the lengths of ice clusters decrease from cloud base to top. The lengths of mixed‐phase clusters depend on the glaciation process, a faster glaciation results in smaller mixed‐phase clusters. The results improve our understanding on how the liquid and ice are mixed at different levels in stratiform clouds.

Motivation: Conventional DWI has limitations due to low spatial resolution and geometry distortion. Multiplexed sensitivity-encoding (MUSE) DWI can obtain images with higher resolution and less distortion but require longer acquisition time. Goal(s): Our aim was to apply deep-learning based reconstruction (DLR) in MUSE DWI for breast imaging, and to investigate if DLR can shorten the scan time while maintaining image quality of MUSE. Approach: We compared quantitative parameters and subjective image quality of MUSE, MUSE-DLR, and conventional DWI. Results: MUSE-DLR showed improved image quality than MUSE with slightly longer acquisition time compared to conventional DWI. Impact: MUSE DWI with deep-learning based reconstruction can enhance the accuracy of clinical breast imaging while maintaining an acceptable scanning time, and also has the potential to improve diffusion imaging in other parts of the human body.