Accurate determination of the number and location of immature small yellow peaches is crucial for bagging, thinning, and estimating yield in modern orchards. However, traditional methods have faced challenges in accurately distinguishing immature yellow peaches due to their resemblance to leaves and susceptibility to variations in shooting angles and distance. To address these issues, we proposed an improved target-detection model (EMA-YOLO) based on YOLOv8. Firstly, the sample space was enhanced algorithmically to improve the diversity of samples. Secondly, an EMA attention-mechanism module was introduced to encode global information; this module could further aggregate pixel-level features through dimensional interaction and strengthen small-target-detection capability by incorporating a 160 × 160 detection head. Finally, EIoU was utilized as a loss function to reduce the incidence of missed detections and false detections of the target small yellow peaches under the condition of high density of yellow peaches. Experimental results show that compared with the original YOLOv8n model, the EMA-YOLO model improves mAP by 4.2%, Furthermore, compared with SDD, Objectbox, YOLOv5n, and YOLOv7n, this model’s mAP was improved by 30.1%, 14.2%,15.6%, and 7.2%, respectively. In addition, the EMA-YOLO model achieved good results under different conditions of illumination and shooting distance and significantly reduced the number of missed detections. Therefore, this method can provide technical support for smart management of yellow-peach orchards.