Abstract The application of UAV (Unmanned Aerial Vehicle) remote sensing and aerial photography technology is more and more widely. Aiming at the problem of object detection in remote sensing or aerial images, the paper proposes an object detection algorithm for UAV remote sensing images based on YOLOv5s, called URS-YOLOv5s (UAV Remote Sensing - YOLOv5s). Firstly, the paper designs Cross-Connected Dense Network (CCDNet), where each convolution layer is concatenated to the second convolution layer. Secondly, the paper designs Across-Path Fusion Network (APFNet), which the last feature fusion path is directly fused with the backbone network. It increases the location information and semantic information of deep features. Finally, the loss function of the original algorithm is replaced by EIoU (Focal and Efficient IoU), which makes the calculation method of the overall loss more appropriate. On AI-TOD and Visdrone2019 datasets, experiments show that the accuracy of URS-YOLOv5s on mAP@0.5 is 6.3% and 9% higher than YOLOv5s. In addition, compared with YOLOv3 and YOLOv5l which have good detection effect, URS-YOLOv5s has the characteristics of faster detection speed and lower computational cost. Meanwhile, URS-YOLOv5s is more suitable for deployment to mobile devices, such as drones with limited performance.

The applications of target detection in complex scenarios cover a wide range of fields, such as pedestrian and vehicle detection in self‐driving cars, face recognition and abnormal behavior detection in security monitoring systems, hazardous materials safety detection in public transportation, and so on. These applications demonstrate the importance and the prospect of wide application of target detection techniques in solving practical problems in complex scenarios. However, in these real scenes, there are often problems such as mutual occlusion and scale change. Therefore, how to accurately identify the target in the real complex scenarios has become a big problem to be solved. In order to solve the above problem, the paper proposes a novel algorithm, Adaptive Self‐Attention‐YOLOv5 (ASA‐YOLOv5), which is built upon the YOLOv5s algorithm and demonstrates effectiveness for target identification in complex scenarios. First, the paper implements a fusion mechanism between the trunk and neck networks, enabling the fusion of features across different levels through upsampling and downsampling. This fusion process mitigates detection errors caused by feature loss. Second, the Shuffle Attention mechanism is introduced before upsampling and downsampling to suppress noise and amplify essential semantic information, further enhancing target identification accuracy. Lastly, the Adaptively Spatial Feature Fusion (ASFF) module and Receptive Field Blocks (RFBs) module are added in the head network, and it can improve feature scale invariance and expand the receptive field. The ability of the model to detect the target in the complex scene is improved effectively. Experimental results indicate a notable improvement in the model's mean Average Precision (mAP) by 2.1% on the COCO dataset and 0.7% on the SIXray dataset. The proposed ASA‐YOLOv5 algorithm can enhance the effectiveness for target detection in complex scenarios, and it can be widely used in real‐world settings. © 2024 Institute of Electrical Engineers of Japan and Wiley Periodicals LLC.