This paper presents a novel machine-learning multi-well production forecasting model embedded with expertise, which has strong interpretability and generalization. Expertise is not only reflected in the incorporation of water drive characteristic curves in the model but also in the creation of high-order input features. Furthermore, some parameters of the model loss function are set based on the development experience, which introduces human practical knowledge into the model's training. These designs enhance the interpretability of the model. In the modeling process, only the production data available on-site are used, which makes the model of practical value. The model is constructed based on Bayesian convolution and fully connected neural networks with regularization effects in structure, which can provide a range of forecasted values that are more in line with practical needs. Simulation results show that the average R-squared (R2) score of the proposed model on the testing set can reach 0.9164. Compared to the scores of typical machine learning models such as XGBoost (0.5170), LSTM (0.6623), and CNN (0.4623), the proposed expertise-informed model has stronger generalization performance. In addition, the experimental results of the proposed model in scenarios containing errors indicate that it has high stability, with the average R2 in the training set and testing set are 0.9439 and 0.9569, respectively.

A deep learning model can perform efficient uncertainty quantification (UQ) for reservoir flow with uncertain model parameters, but usually requires large amounts of training data to ensure accuracy. However, the cost of obtaining large amounts of data is prohibitive, and the performance will deteriorate if sufficient training data is lacking. Alternatively, more interpretable neural networks with embedded physical laws have recently been used to solve partial differential equations as well as to solve UQ problems. This approach has received a lot of attention due to its low data volume requirements and its adherence to the laws of physics during the training process. In this paper, we propose a theory-guided framework based on a bilevel programming model with hard constraints to embed physical meaning in the model. Theory guided Lagrange programming neural network (TGLPNN) combines the method of Lagrange programming neural network approach where physical laws such as stochastic partial differential equations and boundary conditions are incorporated into the training process of a convolutional neural network. At the same time, the upper-level variables are iteratively optimized. The method based on Lagrange programming neural network inherently embeds physical laws in the network. Practical applications have shown that TGLPNN can provide higher prediction accuracy compared to state-of-the-art physics-driven methods and improved efficiency compared to numerical methods.

This article investigates the application of spiking neural networks (SNNs) to the problem of topic modeling (TM): the identification of significant groups of words that represent human-understandable topics in large sets of documents. Our research is based on the hypothesis that an SNN that implements the Hebbian learning paradigm is capable of becoming specialized in the detection of statistically significant word patterns in the presence of adequately tailored sequential input. To support this hypothesis, we propose a novel spiking topic model (STM) that transforms text into a sequence of spikes and uses that sequence to train single-layer SNNs. In STM, each SNN neuron represents one topic, and each of the neuron's weights corresponds to one word. STM synaptic connections are modified according to spike-timing-dependent plasticity; after training, the neurons' strongest weights are interpreted as the words that represent topics. We compare the performance of STM with four other TM methods Latent Dirichlet Allocation (LDA), Biterm Topic Model (BTM), Embedding Topic Model (ETM) and BERTopic on three datasets: 20Newsgroups, BBC news, and AG news. The results demonstrate that STM can discover high-quality topics and successfully compete with comparative classical methods. This sheds new light on the possibility of the adaptation of SNN models in unsupervised natural language processing.

Abstract Music has always been an essential aspect of human culture, and the methods for its creation and analysis have evolved alongside the advancement of computational capabilities. With the emergence of artificial intelligence (AI) and one of its major goals referring to mimicking human creativity, the interest in music-related research has increased significantly. This review examines current literature from renowned journals and top-tier conferences, published between 2017 and 2023, regarding the application of AI to music-related topics. The study proposes a division of AI-in-music research into three major categories: music classification, music generation and music recommendation. Each category is segmented into smaller thematic areas, with detailed analysis of their inter- and intra-similarities and differences. The second part of the study is devoted to the presentation of the AI methods employed, with specific attention given to deep neural networks—the prevailing approach in this domain, nowadays. In addition, real-life applications and copyright aspects of generated music are outlined. We believe that a detailed presentation of the field along with pointing out possible future challenges in the area will be of some value for both the established AI-in-music researchers, as well as the new scholars entering this fascinating field.