The bioactive components of goji berries (Lycium barbarum) are crucial determinants of their nutritional and commercial value. In this study, we combined hyperspectral imaging technology (HSI) with a one-dimensional convolutional neural network (1DCNN) to predict the content of chemical compositions in goji. To enhance the model's ability to focus on relevant information, we introduced the channel attention module (CAM), spectral attention module (SAM) and fused them together, which can focus on output features of the convolution kernels differently and adaptively emphasize more effective spectral bands, respectively. Moreover, considering the limitations of traditional single-task prediction methods and the inherent correlations among different constituents, we employed a multi-task CNN for the simultaneous prediction of various goji constituents. The results indicate that the attention-enhanced 1DCNN model outperforms both the partial least squares regression (PLSR) model and the vanilla 1DCNN. With multi-task learning, the model achieves optimal performance, achieving an average R2 of 0.9435 for the prediction of the three components. Our research develops an efficient and accurate method for predicting the constituents of goji berries, providing a valuable, convenient, and effective tool for assessing and detecting the quality of fruit products in the food industry.