The $H_\infty$ control design problem is considered for nonlinear systems with unknown internal system model. It is known that the nonlinear $ H_\infty $ control problem can be transformed into solving the so-called Hamilton-Jacobi-Isaacs (HJI) equation, which is a nonlinear partial differential equation that is generally impossible to be solved analytically. Even worse, model-based approaches cannot be used for approximately solving HJI equation, when the accurate system model is unavailable or costly to obtain in practice. To overcome these difficulties, an off-policy reinforcement leaning (RL) method is introduced to learn the solution of HJI equation from real system data instead of mathematical system model, and its convergence is proved. In the off-policy RL method, the system data can be generated with arbitrary policies rather than the evaluating policy, which is extremely important and promising for practical systems. For implementation purpose, a neural network (NN) based actor-critic structure is employed and a least-square NN weight update algorithm is derived based on the method of weighted residuals. Finally, the developed NN-based off-policy RL method is tested on a linear F16 aircraft plant, and further applied to a rotational/translational actuator system.

Two types of coupled neural networks with reaction-diffusion terms are considered in this paper. In the first one, the nodes are coupled through their states. In the second one, the nodes are coupled through the spatial diffusion terms. For the former, utilizing Lyapunov functional method and pinning control technique, we obtain some sufficient conditions to guarantee that network can realize synchronization. In addition, considering that the theoretical coupling strength required for synchronization may be much larger than the needed value, we propose an adaptive strategy to adjust the coupling strength for achieving a suitable value. For the latter, we establish a criterion for synchronization using the designed pinning controllers. It is found that the coupled reaction-diffusion neural networks with state coupling under the given linear feedback pinning controllers can realize synchronization when the coupling strength is very large, which is contrary to the coupled reaction-diffusion neural networks with spatial diffusion coupling. Moreover, a general criterion for ensuring network synchronization is derived by pinning a small fraction of nodes with adaptive feedback controllers. Finally, two examples with numerical simulations are provided to demonstrate the effectiveness of the theoretical results.

This paper proposes a directed complex dynamical network consisting of N linearly and diffusively coupled identical reaction-diffusion neural networks. Based on the Lyapunov functional method and the pinning control technique, some sufficient conditions are obtained to guarantee the synchronization of the proposed network model. In addition, an adaptive strategy is proposed to obtain appropriate coupling strength for achieving network synchronization. Furthermore, the pinning adaptive synchronization problem is also investigated in this paper, and a general criterion for ensuring network synchronization is established. Finally, a numerical example is provided to illustrate the effectiveness of the proposed criteria.

In this paper, a novel approach to fuzzy sampled-data control of chaotic systems is presented by using a time-dependent Lyapunov functional. The advantage of the new method is that the Lyapunov functional is continuous at sampling times but not necessarily positive definite inside the sampling intervals. Compared with the existing works, the constructed Lyapunov functional makes full use of the information on the piecewise constant input and the actual sampling pattern. In terms of a new parameterized linear matrix inequality (LMI) technique, a less conservative stabilization condition is derived to guarantee the exponential stability for the closed-loop fuzzy sampled-data system. By solving a set of LMIs, the fuzzy sampled-data controller can be easily obtained. Finally, the chaotic Lorenz system and Rössler's system are employed to illustrate the feasibility and effectiveness of the proposed method.