Detection and assessment of micro vibrations are crucial tasks in both industrial settings and daily life. However, vibration sensors attached to the target vibrator may introduce potential resonance, and wireless detection methods suffer from severe multipath interference. Fortunately, moiré-based sensing methods have gained recognition in recent years due to their ability to perceive micro motion changes. In this paper, we propose MoiréVib, a micro-vibration detection solution based on moiré patterns for dynamic and high-frequency environments. We attach a printed marker with periodic gratings to the surface of vibration devices to generate moiré patterns, which can amplify micro vibrations due to their low-frequency magnification effect. However, moiré pattern's changes caused by micro vibrations are often overwhelmed by random pixel-level noises, and the limited frame rate of the camera fails to capture high-frequency moiré features. To deal with these problems, we propose a spectrum-based method to refine and enhance the dynamic and micro moiré features. Additionally, we propose a dual-frame-rate-based fusion mechanism to realize high-frequency reconstruction of moiré features. Extensive experimental results show that MoiréVib can realize a median amplitude detection error of 4.37 μm and achieve frequency detection up to 300Hz with a frame rate range of 10~30 fps.

Object boundary estimation, usually achieved by bounding box estimation, is crucial in various applications, such as intelligent driving, which facilitates further interactions like obstacle avoidance and navigation. Existing solutions mainly rely on computer vision, which often performs poorly in low-visibility conditions, e.g., harsh weather, and has limited resolution for depth estimation. Recent studies show the potential of mmWave radar for object detection. However, due to the inherent drawbacks, conventional mmWave techniques suffer from the severe interference of noise points in the points cloud, leading to the position vagueness, as well as sparsity and limited spatial resolution, which leads to the boundary vagueness. In this paper, we propose a novel bounding box estimation system based on mmWave radar that sufficiently leverages the spatial features of the antenna array and the temporal features of moving scanning to detect objects and estimate their 3D bounding boxes. To mitigate the interference from noise points, we introduce a new integration metric, Reflection Saliency, which evaluates the effectiveness of each point based on signal-to-noise ratio (SNR), speed, and spatial domains, successfully reducing the majority of noise points. Moreover, we propose the Prior-Time Heuristic Point Cloud Augmentation method to enrich the point representation of objects based on the previous data. To obtain boundary information, we propose a beamforming-based model to extract the Angle-Reflection Profile (ARP), which depicts the spatial distribution of the object's reflection. Furthermore, a generative neural network is used to refine the boundary and estimate the 3D bounding box by incorporating the ARP features, SNR of cloud points, and depth information. We have implemented an actual system prototype using a robot car in real scenarios and extensive experiments show that the average position error of the proposed system in 3D bounding box estimation is 0.11m.

Facial landmark has become one of the most widely-used and intuitive feature of the face. Traditional methods for Facial Landmark Detection (FLD) are primarily based on cameras, which are limited by their sensitivity to light conditions, inability to penetrate obstructions, and potential privacy leaks. In this paper, we propose mmFLD to estimate the facial landmark positions using millimeter-wave (mmWave) radar with mm-level accuracy. By simultaneously applying the range estimation capability and angle estimation capability of mmWave radar, we are able to spatially sample face reflection signals with high resolution. In particular, we propose a velocity-based method for head detection and tracking, and then we build two generalized models to extract effective facial motion features from different facial regions. Moreover, we design an end-to-end neural network to extract the face structure and the motion coherence implicit in mmWave data. Experiment results show that mmFLD can estimate the facial landmark positions with high accuracy, e.g., the average Mean Absolute Error (MAE) is 2.81 mm with eight kinds of different facial expressions, and extended experiment also demonstrates the generalizability and robustness of mmFLD for different experiment conditions.