In modern industrial processes, soft sensors have played an important role for effective process control, optimization, and monitoring. Feature representation is one of the core factors to construct accurate soft sensors. Recently, deep learning techniques have been developed for high-level abstract feature extraction in pattern recognition areas, which also have great potential for soft sensing applications. Hence, deep stacked autoencoder (SAE) is introduced for soft sensor in this paper. As for output prediction purpose, traditional deep learning algorithms cannot extract high-level output-related features. Thus, a novel variable-wise weighted stacked autoencoder (VW-SAE) is proposed for hierarchical output-related feature representation layer by layer. By correlation analysis with the output variable, important variables are identified from other ones in the input layer of each autoencoder. The variables are assigned with different weights accordingly. Then, variable-wise weighted autoencoders are designed and stacked to form deep networks. An industrial application shows that the proposed VW-SAE can give better prediction performance than the traditional multilayer neural networks and SAE.

Soft sensor has been extensively utilized in industrial processes for prediction of key quality variables. To build an accurate virtual sensor model, it is very significant to model the dynamic and nonlinear behaviors of process sequential data properly. Recently, a long short-term memory (LSTM) network has shown great modeling ability on various time series, in which basic LSTM units can handle data nonlinearities and dynamics with a dynamic latent variable structure. However, the hidden variables in the basic LSTM unit mainly focus on describing the dynamics of input variables, which lack representation for the quality data. In this paper, a supervised LSTM (SLSTM) network is proposed to learn quality-relevant hidden dynamics for soft sensor application, which is composed of basic SLSTM unit at each sampling instant. In the basic SLSTM unit, the quality and input variables are simultaneously utilized to learn the dynamic hidden states, which are more relevant and useful for quality prediction. The effectiveness of the proposed SLSTM network is demonstrated on a penicillin fermentation process and an industrial debutanizer column.

Deep learning networks have been recently utilized for fault detection and diagnosis (FDD) due to its effectiveness in handling industrial process data, which are often with high nonlinearities and strong correlations. However, the valuable information in the raw data may be filtered with the layer-wise feature compression in traditional deep networks. This cannot benefit for the subsequent fine-tuning phase of fault classification. To alleviate this problem, an extended deep belief network (EDBN) is proposed to fully exploit useful information in the raw data, in which raw data is combined with the hidden features as inputs to each extended restricted Boltzmann machine (ERBM) during the pre-training phase. Then, a dynamic EDBN-based fault classifier is constructed to take the dynamic characteristics of process data into consideration. Finally, to test the performance of the proposed method, it is applied to the Tennessee Eastman (TE) process for fault classification. By comparing EDBN and DBN under different network structures, the results show that EDBN has better feature extraction and fault classification performance than traditional DBN.

Industrial process data are naturally complex time series with high nonlinearities and dynamics. To model nonlinear dynamic processes, a long short-term memory (LSTM) network is very suitable for soft sensor model development. However, the original LSTM does not consider variable and sample relevance for quality prediction. In order to overcome this problem, a spatiotemporal attention-based LSTM network is proposed for soft sensor modeling, which can, not only identify important input variables that are related to the quality variable at each time step, but also adaptively discover quality-related hidden states across all time steps. By taking the spatiotemporal quality-relevant interactions into consideration, the prediction performance can be improved for the soft sensor model. The effectiveness and flexibility of the proposed model is demonstrated on an industrial hydrocracking process to predict the initial boiling points of heavy naphtha and aviation kerosene.

Deep learning is a recently developed feature representation technique for data with complicated structures, which has great potential for soft sensing of industrial processes. However, most deep networks mainly focus on hierarchical feature learning for the raw observed input data. For soft sensor applications, it is important to reduce irrelevant information and extract quality-relevant features from the raw input data for quality prediction. To deal with this problem, a novel deep learning network is proposed for quality-relevant feature representation in this article, which is based on stacked quality-driven autoencoder (SQAE). First, a quality-driven autoencoder (QAE) is designed by exploiting the quality data to guide feature extraction with the constraint that the potential features should largely reconstruct the input layer data and the quality data at the output layer. In this way, quality-relevant features can be captured by QAE. Then, by stacking multiple QAEs to construct the deep SQAE network, SQAE can gradually reduce irrelevant features and learn hierarchical quality-relevant features. Finally, the high-level quality-relevant features can be directly applied for soft sensing of the quality variables. The effectiveness and flexibility of the proposed deep learning model are validated on an industrial debutanizer column process.

In response to the increasing complexity of military operations, the use of multiple heterogeneous unmanned aerial vehicles (UAVs) is essential for efficiently executing complex missions. This paper introduces an extended cooperative multi-task assignment problem (ECMTAP), which involves deploying heterogeneous UAVs from different base stations to accomplish specific missions, with a focus on minimizing overall mission completion time. ECMTAP categorizes targets into various types, each associated with unique task sets including {reconnaissance}, {attack, evaluation}, and {reconnaissance, attack, evaluation}. ECMTAP requires that attack tasks follow reconnaissance tasks, and evaluation tasks follow attack tasks, adding complexity due to specific timing constraints on each task. To tackle this problem, we propose a novel algorithm, the reinforcement search strategy-based adaptive large neighborhood search (RSALNS). To enhance the search capability, RASLNS utilizes two key destroy-repair operations: the intra-target tasks adjustment strategy and the evaluation tasks adjustment strategy. The former operation dismantles and reconstructs task sequences within a target, potentially resulting in suboptimal assignment of evaluation tasks, while the latter operation reassigns these tasks based on the first operation's output. Extensive experiments validate the effectiveness of the RSALNS algorithm in solving the ECMTAP, demonstrating its capability to generate high-quality solutions efficiently.