The complete understanding of 3D scenes is crucial in robotic visual perception, impacting tasks such as motion planning and map localization. However, due to the limited field of view and scene occlusion constraints of sensors, inferring complete scene geometry and semantic information from restricted observations is challenging. In this work, we propose a novel Multimodal Representation Fusion Transformer framework (MRFTrans) that robustly fuses semantic, geometric occupancy, and depth representations for monocular-image-based scene completion. MRFTrans centers on an affinity representation fusion transformer, integrating geometric occupancy and semantic relationships within a transformer architecture. This integration enables the modeling of long-range dependencies within scenes for inferring missing information. Additionally, we present a depth representation fusion method, efficiently extracting reliable depth knowledge from biased monocular estimates. Extensive experiments demonstrate MRFTrans's superiority, setting a new benchmark on SemanticKITTI and NYUv2 datasets. It significantly enhances completeness and accuracy, particularly in large structures, movable objects, and scene components with major occlusions. The results underscore the benefits of the affinity-aware transformer and robust depth fusion in monocular-image-based completion.

Accurate segmentation of colorectal polyps in colonoscopy images is crucial for effective diagnosis and management of colorectal cancer (CRC). However, current deep learning-based methods primarily rely on fusing RGB information across multiple scales, leading to limitations in accurately identifying polyps due to restricted RGB domain information and challenges in feature misalignment during multi-scale aggregation. To address these limitations, we propose the Polyp Segmentation Network with Shunted Transformer (PSTNet), a novel approach that integrates both RGB and frequency domain cues present in the images. PSTNet comprises three key modules: the Frequency Characterization Attention Module (FCAM) for extracting frequency cues and capturing polyp characteristics, the Feature Supplementary Alignment Module (FSAM) for aligning semantic information and reducing misalignment noise, and the Cross Perception localization Module (CPM) for synergizing frequency cues with high-level semantics to achieve efficient polyp segmentation. Extensive experiments on challenging datasets demonstrate PSTNet's significant improvement in polyp segmentation accuracy across various metrics, consistently outperforming state-of-the-art methods. The integration of frequency domain cues and the novel architectural design of PSTNet contribute to advancing computer-assisted polyp segmentation, facilitating more accurate diagnosis and management of CRC. Our source code is available for reference at https://github.com/clearxu/PSTNet.

Abstract In the restoration of ancient Chinese books, handmade starch paste serves as a paper adhesive, distinguished from traditional starch paste preparation methods. It involves special processes such as starch washing and aging, relying entirely on the artisanal expertise throughout the entire process. The study recreates the process of making handmade starch paste for the restoration of traditional ancient books and investigates the effects of aging time on the apparent viscosity, rheological properties, and adhesive performance of the paste. The results indicate that during aging, the pH of the starch paste decreases significantly, but it has a minimal impact on its apparent viscosity, rheological properties, and paper softness. However, it notably enhances the adhesive performance, with the optimal results observed after 3 days of aging. This is attributed to the decrease in residual protein content in the starch, as well as the significant improvement in swelling power and solubility of the starch. The results of infrared spectroscopy and XRD testing reveal that there are no significant changes in the molecular and crystalline structures of starch during the aging process. The acidic environment produced by starch fermentation promotes protein hydrolysis, emerging as the primary reason for the improved adhesive performance of the paste.

Gait recognition aims to identify individuals at a distance based on their biometric gait patterns. While offering flexibility in network input, existing set-based methods often overlook the potential of fine-grained local feature by solely utilizing global gait feature and fail to fully exploit the communication between silhouette-level and set-level features. To alleviate this issue, we propose Gait Refined Lateral Network(GRLN), featuring plug-and-play Adaptive Feature Refinement modules (AFR) that extract discriminative features progressively from silhouette-level and set-level representations in a coarse-to-fine manner at various network depths. AFR can be widely applied in set-based gait recognition models to substantially enhance their gait recognition performance. To align with the extracted refined features, we introduce Horizontal Stable Mapping (HSM), a novel mapping technique that reduces model parameters while improving experimental results. To demonstrate the effectiveness of our method, we evaluate GRLN on two gait datasets, achieving the highest recognition rate among all set-based methods. Specifically, GRLN demonstrates an average improvement of 1.15% over the state-of-the-art set-based method on CASIA-B. Especially in the coat-wearing condition, GRLN exhibits a 5% improvement in performance compared to the contrast method GLN.