XM
Xuerui Mao
Author with expertise in Icing Mitigation Techniques for Wind Turbines and Aircraft
Achievements
This user has not unlocked any achievements yet.
Key Stats
Upvotes received:
0
Publications:
5
(20% Open Access)
Cited by:
3
h-index:
14
/
i10-index:
27
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

EarthGPT: A Universal Multi-modal Large Language Model for Multi-sensor Image Comprehension in Remote Sensing Domain

Wei Zhang et al.Jan 1, 2024
Multi-modal large language models (MLLMs) have demonstrated remarkable success in vision and visual-language tasks within the natural image domain. Owing to the significant domain gap between natural and remote sensing (RS) images, the development of MLLMs in the RS domain is still in the infant stage. To fill the gap, a pioneer MLLM named EarthGPT integrating various multi-sensor RS interpretation tasks uniformly is proposed in this paper for universal RS image comprehension. Firstly, a visual-enhanced perception mechanism is constructed to refine and incorporate coarse-scale semantic perception information and fine-scale detailed perception information. Secondly, a cross-modal mutual comprehension approach is proposed, aiming at enhancing the interplay between visual perception and language comprehension and deepening the comprehension of both visual and language content. Finally, a unified instruction tuning method for multi-sensor multi-task in the RS domain is proposed to unify a wide range of tasks including scene classification, image captioning, region-level captioning, visual question answering (VQA), visual grounding, object detection, etc. More importantly, a dataset named MMRS-1M featuring large-scale multi-sensor multi-modal RS instruction-following is constructed, comprising over 1M image-text pairs based on 34 existing diverse RS datasets and including multi-sensor images such as optical, synthetic aperture radar (SAR), and infrared. The MMRS-1M dataset addresses the drawback of MLLMs on RS expert knowledge and stimulates the development of MLLMs in the RS domain. Extensive experiments are conducted, demonstrating the EarthGPT's superior performance in various RS visual interpretation tasks compared with the other specialist models and MLLMs, proving the effectiveness of the proposed EarthGPT and offering a versatile paradigm for open-set reasoning tasks. Our code and dataset are available at https://github.com/wivizhang/EarthGPT.
0
Paper
Citation3
0
Save
0

Why does a flying fish taxi on sea surface before take-off? A hydrodynamic interpretation

Jian Deng et al.Sep 11, 2019
Flying fish have been observed jumping out of warm ocean waters worldwide. Before take-off, the flying fish are seen to taxi on the water surface by rapidly beating their semi-submerged tail fins, which process may help them airborne with enough speed to glide over a long distance. To understand the underlying physical mechanisms, here, we study a flying fish, 0.25m in length and 0.191kg in weight, considering both its underwater swimming and surface taxiing locomotion. Its hydrodynamic characteristics are numerically studied by computational fluid dynamics (CFD). Underwater, the fish is assumed to swim at a constant speed of 10 m/s. Different critical frequencies are identified for various maximum deflected angles, ranging from θ=10o to 30o, at which the fish reaches cruising states, when the horizontal forces are balanced. The corresponding minimum power required for cruising swimming is 350 W, obtained at a deflected angle of 10o and a critical frequency of 145 Hz. In contrast, in the taxiing stage, the minimum power required for a stead-state locomotion at 10 m/s is 36 W, occurring at a deflected angle of 15o and a frequency of 50 Hz. We note that the power is significantly smaller than the swimming locomotion. Further, by increasing the flapping power, we report that larger speeds can be achieved. In specific, when the power is brought up to 350 W, it can reach a speed of 16.5 m/s. Clearly, from the direct comparison between the two locomotive modes, it is apparently evidenced that the flying fish can be further accelerated by taxiing along the water surface.