Vibration displacement of civil structures is crucial information for structural health monitoring (SHM). The challenges and costs associated with traditional physical sensors make displacement measurement not always straightforward owing to difficulties such as inaccessibility. While recent computer vision based methods for displacement measurements offer simplicity, unfortunately they lag in terms of accuracy and robustness. This paper introduces a monocular camera system designed to measure out-of-plane vibration displacement. Compared to existing monocular-camera based methods, the proposed monocular vision-based measurement technique significantly enhances accuracy and robustness. This boost can be attributed to the generation of a vast and precise dataset and augmented by employing advanced techniques for object segmentation and background elimination. Experimental tests are conducted in the laboratory to investigate the feasibility of the proposed system. The results demonstrate that the proposed monocular 3D displacement system can produce highly accurate full-field out-of-plane displacement measurement.

Human pose estimation, a vital pursuit in the realm of computer vision, aims to predict the spatial coordinates of key points within images. Despite the advancements achieved by employing a Convolution Neural Network (CNN), this task still faces considerable challenges, especially in handling occlusion and overfitting issues. This paper introduces a new human pose estimation network designed to address the challenges posed by occluded and blurred images. It features a multi-scale spatial attention mechanism that zeroes in on the human body, significantly improving feature extraction for complex images. Moreover, this versatile attention module is compatible with a wide range of convolutional neural network-based pose estimation frameworks, unlike other mechanisms restricted to particular networks. Addressing the overfitting issue in human pose estimation models, this paper introduces an adversarial network-based data augmentation technique. A generator specifically tailored for pose estimation is adversarially trained to produce optimal augmentation samples, thereby reducing model overfitting. Experimental validation confirms that this augmentation method notably enhances the prediction accuracy of the pose estimation model without incurring extra computational costs. In addition, this paper introduces a streamlined Feature Pyramid Network (FPN) that enables shallow networks to assimilate extensive-scale data, addressing the issue of excessive model size. The experimental validation on the benchmark datasets MPII and MSCOCO demonstrates the efficacy of this integrated approach, showcasing significant improvements in the accuracy and the overall performance of human pose estimation and surpassing the existing methodologies. This approach effectively enhances the performance of the baseline model, achieving the best accuracy of 92.2% and 80.4% on the MPII and MSCOCO, respectively.

The availability of high-quality datasets is increasingly critical in the field of computer vision-based civil structural health monitoring, where deep learning approaches have gained prominence. However, the lack of specialized datasets for such tasks poses a significant challenge for training a reliable model. To address this challenge, a framework, 3DGEN, is proposed to swiftly generate realistic synthetic 3D datasets which can be targeted for specific tasks. The framework is based on diverse 3D civil structural models, rendering them from various angles and providing depth information and camera parameters for training neural networks. By employing mathematical methods, such as analytical solutions and/or numerical simulations, deformation of civil engineering structures can be generated, ensuring a reliable representation of their real-world shapes and characteristics in the 3D datasets. For texture generation, a generative 3D texturing method enables users to specify desired textures using plain English sentences. Two successful experiments are conducted to (1) assess the efficiency of generating the 3D datasets using two distinct structures, (2) train a monocular depth estimation network to perform 3D surface reconstruction with the generated dataset. Notably, 3DGEN is not limited to 3D surface reconstruction; it can also be used for training neural networks for various other tasks. The code and dataset are available at: https://github.com/YANDA-SHAO/Beam-Dataset-SE

The development of agriculture and animal husbandry, as well as the establishment of permanent shelters, enabled prehistoric humans to permanently settle on the harsh natural environment of the Qinghai Tibet Plateau. While macro-level studies on the development of agriculture and animal husbandry to promote human settlement on the plateau and the relationship between settlement distribution and the environment are relatively numerous and mature, studies on the establishment of permanent prehistoric human shelters in micro-environments in relation to the adaptations and impacts on the natural environment are relatively rare. In view of the fact that the ancient human site selection mainly considers the micro-environment, this paper extracts the remote sensing archaeological weak information of the Tawendariha site of the Nomhom culture and its surrounding environment based on the spatial data of DEM, worldview and geophysics, and analyzes it in comparison with the excavated Dalitaliha site of the same culture, in order to understand the formation mechanism of the prehistoric settlement building pattern on the Qinghai-Tibet Plateau from different perspectives, and to deeply understand the relationship between the prehistoric settlement pattern and the natural environment. It is found that the prehistoric people of the Nomhom culture relied mainly on water resources when establishing permanent shelters, and the special shape of the buildings was to prevent flooding.