Precise detection and localization are prerequisites for intelligent harvesting, while fruit size and weight estimation are key to intelligent orchard management. In commercial banana orchards, it is necessary to manage the growth and weight of banana bunches so that they can be harvested in time and prepared for transportation according to their different maturity levels. In this study, in order to reduce management costs and labor dependence, and obtain non-destructive weight estimation, we propose a method for localizing and estimating banana bunches using RGB-D images. First, the color image is detected through the YOLO-Banana neural network to obtain two-dimensional information about the banana bunches and stalks. Then, the three-dimensional coordinates of the central point of the banana stalk are calculated according to the depth information, and the banana bunch size is obtained based on the depth information of the central point. Finally, the effective pixel ratio of the banana bunch is presented, and the banana bunch weight estimation model is statistically analyzed. Thus, the weight estimation of the banana bunch is obtained through the bunch size and the effective pixel ratio. The R2 value between the estimated weight and the actual measured value is 0.8947, the RMSE is 1.4102 kg, and the average localization error of the central point of the banana stalk is 22.875 mm. The results show that the proposed method can provide bunch size and weight estimation for the intelligent management of banana orchards, along with localization information for banana-harvesting robots.

Abstract This article aims to improve the deep-learning-based surface defect recognition. In actual manufacturing processes, there are issues such as data imbalance, insufficient diversity, and poor quality of augmented data in the collected image data for product defect recognition. A novel defect generation method with multiple loss functions, DG2GAN is presented in this paper. This method employs cycle consistency loss to generate defect images from a large number of defect-free images, overcoming the issue of imbalanced original training data. DJS optimized discriminator loss is introduced in the added discriminator to encourage the generation of diverse defect images. Furthermore, to maintain diversity in generated images while improving image quality, a new DG2 adversarial loss is proposed with the aim of generating high-quality and diverse images. The experiments demonstrated that DG2GAN produces defect images of higher quality and greater diversity compared with other advanced generation methods. Using the DG2GAN method to augment defect data in the CrackForest and MVTec datasets, the defect recognition accuracy increased from 86.9 to 94.6%, and the precision improved from 59.8 to 80.2%. The experimental results show that using the proposed defect generation method can obtain sample images with high quality and diversity and employ this method for data augmentation significantly enhances surface defect recognition technology.