Tracking the structure of heterogeneous catalysts under operando conditions remains a challenge due to the paucity of experimental techniques that can provide atomic-level information for catalytic metal species. Here we report on the use of X-ray absorption near-edge structure (XANES) spectroscopy and supervised machine learning (SML) for refining the 3D geometry of metal catalysts. SML is used to unravel the hidden relationship between the XANES features and catalyst geometry. To train our SML method, we rely on ab initio XANES simulations. Our approach allows one to solve the structure of a metal catalyst from its experimental XANES, as demonstrated here by reconstructing the average size, shape, and morphology of well-defined platinum nanoparticles. This method is applicable to the determination of the nanoparticle structure in operando studies and can be generalized to other nanoscale systems. It also allows on-the-fly XANES analysis and is a promising approach for high-throughput and time-dependent studies.

Recognizing human activities in partially observed videos is a challenging problem and has many practical applications. When the unobserved subsequence is at the end of the video, the problem is reduced to activity prediction from unfinished activity streaming, which has been studied by many researchers. However, in the general case, an unobserved subsequence may occur at any time by yielding a temporal gap in the video. In this paper, we propose a new method that can recognize human activities from partially observed videos in the general case. Specifically, we formulate the problem into a probabilistic framework: 1) dividing each activity into multiple ordered temporal segments, 2) using spatiotemporal features of the training video samples in each segment as bases and applying sparse coding (SC) to derive the activity likelihood of the test video sample at each segment, and 3) finally combining the likelihood at each segment to achieve a global posterior for the activities. We further extend the proposed method to include more bases that correspond to a mixture of segments with different temporal lengths (MSSC), which can better represent the activities with large intra-class variations. We evaluate the proposed methods (SC and MSSC) on various real videos. We also evaluate the proposed methods on two special cases: 1) activity prediction where the unobserved subsequence is at the end of the video, and 2) human activity recognition on fully observed videos. Experimental results show that the proposed methods outperform existing state-of-the-art comparison methods.

Domain Generalization (DG) aims to learn a generalizable model on the unseen target domain by only training on the multiple observed source domains. Although a variety of DG methods have focused on extracting domain-invariant features, the domain-specific class-relevant features have attracted attention and been argued to benefit generalization to the unseen target domain. To take into account the class-relevant domain-specific information, in this paper we propose an Information theory iNspired diSentanglement and pURification modEl (INSURE) to explicitly disentangle the latent features to obtain sufficient and compact (necessary) class-relevant feature for generalization to the unseen domain. Specifically, we first propose an information theory inspired loss function to ensure the disentangled class-relevant features contain sufficient class label information and the other disentangled auxiliary feature has sufficient domain information. We further propose a paired purification loss function to let the auxiliary feature discard all the class-relevant information and thus the class-relevant feature will contain sufficient and compact (necessary) class-relevant information. Moreover, instead of using multiple encoders, we propose to use a learnable binary mask as our disentangler to make the disentanglement more efficient and make the disentangled features complementary to each other. We conduct extensive experiments on five widely used DG benchmark datasets including PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet. The proposed INSURE achieves state-of-the-art performance. We also empirically show that domain-specific class-relevant features are beneficial for domain generalization. The code is available at https://github.com/yuxi120407/INSURE.

Abstract Segmentation of three-dimensional (3D) cellular images is fundamental for studying and understanding cell structure and function. However, 3D cellular segmentation is challenging, particularly for dense cells and tissues. This challenge arises mainly from the complex contextual information within 3D images, anisotropic properties, and the sensitivity to internal cellular structures, which often lead to miss-segmentation. In this work, we introduce SwinCell, a 3D transformer-based framework that leverages Swin-transformer for flow prediction and effectively distinguishes individual cell instances in 3D. We demonstrate the broad utility of the SwinCell in the segmentation of nuclei, colon tissue cells, and dense cultured cells. SwinCell strikes a balance between maintaining detailed local feature recognition and understanding broader contextual information. Tested extensively with both public and in-house 3D cell imaging datasets, SwinCell shows superior performance in segmenting dense cells in 3D, making it a powerful 3D segmentation tool for cellular analysis that could expedite research in cell biology and tissue engineering.