Deep learning with ability to feature learning and nonlinear function approximation has shown its effectiveness for machine fault prediction. While, how to transfer a deep network trained by historical failure data for prediction of a new object is rarely researched. In this paper, a deep transfer learning (DTL) network based on sparse autoencoder (SAE) is presented. In the DTL method, three transfer strategies, that is, weight transfer, transfer learning of hidden feature, and weight update, are used to transfer an SAE trained by historical failure data to a new object. By these strategies, prediction of the new object without supervised information for training is achieved. Moreover, the learned features by deep transfer network for the new object share joint and similar characteristic to that of historical failure data, which is beneficial to accurate prediction. Case study on remaining useful life (RUL) prediction of cutting tool is performed to validate effectiveness of the DTL method. An SAE network is first trained by run-to-failure data with RUL information of a cutting tool in an off-line process. The trained network is then transferred to a new tool under operation for on-line RUL prediction. The prediction result with high accuracy shows advantage of the DTL method for RUL prediction.

Rotating machinery intelligent diagnosis based on deep learning (DL) has gone through tremendous progress, which can help reduce costly breakdowns. However, different datasets and hyper-parameters are recommended to be used, and few open source codes are publicly available, resulting in unfair comparisons and ineffective improvement. To address these issues, we perform a comprehensive evaluation of four models, including multi-layer perception (MLP), auto-encoder (AE), convolutional neural network (CNN), and recurrent neural network (RNN), with seven datasets to provide a benchmark study. We first gather nine publicly available datasets and give a comprehensive benchmark study of DL-based models with two data split strategies, five input formats, three normalization methods, and four augmentation methods. Second, we integrate the whole evaluation codes into a code library and release it to the public for better comparisons. Third, we use specific-designed cases to point out the existing issues, including class imbalance, generalization ability, interpretability, few-shot learning, and model selection. Finally, we release a unified code framework for comparing and testing models fairly and quickly, emphasize the importance of open source codes, provide the baseline accuracy (a lower bound), and discuss existing issues in this field. The code library is available at: https://github.com/ZhaoZhibin/DL-based-Intelligent-Diagnosis-Benchmark.

Recent progress on intelligent fault diagnosis (IFD) has greatly depended on deep representation learning and plenty of labeled data. However, machines often operate with various working conditions or the target task has different distributions with the collected data used for training (the domain shift problem). Besides, the newly collected test data in the target domain are usually unlabeled, leading to unsupervised deep transfer learning based (UDTL-based) IFD problem. Although it has achieved huge development, a standard and open source code framework as well as a comparative study for UDTL-based IFD are not yet established. In this paper, we construct a new taxonomy and perform a comprehensive review of UDTL-based IFD according to different tasks. Comparative analysis of some typical methods and datasets reveals some open and essential issues in UDTL-based IFD which are rarely studied, including transferability of features, influence of backbones, negative transfer, physical priors, etc. To emphasize the importance and reproducibility of UDTL-based IFD, the whole test framework will be released to the research community to facilitate future research. In summary, the released framework and comparative study can serve as an extended interface and basic results to carry out new studies on UDTL-based IFD. The code framework is available at \url{https://github.com/ZhaoZhibin/UDTL}.

Convolutional neural network (CNN), with the ability of feature learning and nonlinear mapping, has demonstrated its effectiveness in prognostics and health management (PHM). However, an explanation on the physical meaning of a CNN architecture has rarely been studied. In this article, a novel wavelet-driven deep neural network, termed as WaveletKernelNet (WKN), is presented, where a continuous wavelet convolutional (CWConv) layer is designed to replace the first convolutional layer of the standard CNN. This enables the first CWConv layer to discover more meaningful kernels. Furthermore, only the scale parameter and translation parameter are directly learned from raw data at this CWConv layer. This provides a very effective way to obtain a customized kernel bank, specifically tuned for extracting defect-related impact component embedded in the vibration signal. In addition, three experimental studies using data from laboratory environment are carried out to verify the effectiveness of the proposed method for mechanical fault diagnosis. The experimental results show that the accuracy of the WKNs is higher than CNN by more than 10%, which indicate the importance of the designed CWConv layer. Besides, through theoretical analysis and feature map visualization, it is found that the WKNs are interpretable, have fewer parameters, and have the ability to converge faster within the same training epochs.

Deep learning (DL) based methods have swept the field of mechanical fault diagnosis, because of the powerful ability of feature representation. However, many of existing DL methods fail in relationship mining between signals explicitly. Unlike those deep neural networks, graph convolutional networks (GCNs) taking graph data with topological structure as input is more efficient for data relationship mining, making GCN to be powerful for feature representation from graph data in non-Euclidean space. Nevertheless, existing GCNs have two limitations. First, most GCNs are constructed on unweighted graphs, considering importance of neighbors as the same, which is not in line with reality. Second, the receptive field of GCNs is fixed, which limits the effectiveness of GCNs for feature representation. To address these issues, a multireceptive field graph convolutional network (MRF-GCN) is proposed for effective intelligent fault diagnosis. In MRF-GCN, data samples are converted into weighted graphs to indicate differences in relationship of data samples. Moreover, MRF-GCN learns not only features from different receptive field, but also fuses learned features as an enhanced feature representation. To verify the efficacy of MRF-GCN for machine fault diagnosis, case studies are implemented, and the results show that MRF-GCN can achieve superior performance even under imbalanced dataset.

Detecting anomalies in satellites holds immense importance within the aerospace industry. Many current detection methods only focus on temporal correlations and ignore spatial correlations. To take into account both temporal and spatial features, we proposed to employ Graph Neural Networks (GNN). In fact, to develop a GNN approach that is applicable to the satellite power system anomaly detection in real-world scenarios, it is imperative to take into account the specific requirements of the aerospace industry. Our analysis and research indicate that the critical factors lie in model interpretability and data characteristics. First, as model interpretability can bring trustworthiness, traceability, and guidance, it is indispensable for the application of deep learning algorithms in satellite telemetry data anomaly detection. We created a novel graph filter: Adaptive Quadratic Approximation Graph Filter (AQAGF), which is capable of both approximation ability and response time. It is transformed into a spectral graph convolution neural network that can draw the frequency response function to provide the model interpretability. Then, to address the difficulties of telemetry data characteristics: strong noise and missing data, we introduced autoencoder architecture and adversarial training strategy to further design our anomaly detection method, called Interpretable Spatial-Temporal Graph Anomaly Detection (ISTGAD) based on AQAGF, which is robust to noise and data missing. And it is able to capture temporal and spatial correlations together within a transparent working mechanism. Finally, experiments proved that our model has better anomaly detection performance than other state-of-the-art methods, and we also provide visualizations to showcase the interpretability and working mechanism of our model. Our code and data are publicly available at: https://github.com/DiYi1999/ISTGAD.