One of the major concentrated activities of the past decade in control theory has been the development of the so-called control theory, which addresses the issue of worst-case controller design for linear plants subject to unknown disturbances and plant uncertainties. Among the different time-domain approaches to this class of worst-case design problems, the one that uses the framework of dynamic, differential game theory stands out to be the most natural. This is so because the original H-infinity control problem (in its equivalent time-domain formulation) is in fact a minimax optimization problem, and hence a zero-sum game, where the controller can be viewed as the minimizing player and disturbance as the maximizing player. Using this framework, the authors present in this book a complete theory that encompasses continuous-time as well as discrete-time systems, finite as well as infinite horizons, and several different measurement schemes, including closed loop perfect state, delayed perfect state, samples state, closed-loop imperfect state, delayed imperfect state and sampled imperfect state information patterns. They also discuss extensions of the linear theory to nonlinear systems, and derivation of the lower dimensional controller for systems with regularly and singularly perturbed dynamics. This is the second edition of a 1991 book with the same title, which, besides featuring a more streamlined presentation of the results included in the first edition, and at places under more refined conditions, also contains substantial new material, reflecting new developments in the field since 1991. Among these are the nonlinear theory; connections between H-infinity-optimal control and risk sensitive stochastic control problems; H-infinity filtering for linear and nonlinear systems; and robustness considerations in the presence of regular and singular perturbations. Also included are a rather detailed description of the relationship between frequency-and time-domain approaches to robust controller design, and a complete set of results on the existence of value and characterization of optimal policies in finite- and infinite-horizon LQ differential games. The authors believe that the theory is now at a stage where it can easily be incorporated into a second-level graduate course in a control curriculum, that would follow a basic course in linear control theory covering LQ and LQG designs. The framework adopted in this book makes such an ambitious plan possible. For the most part, the only prerequisite for the book is a basic knowledge of linear control theory. No background in differential games, or game theory in general, is required, as the requisite concepts and results have been developed in the book at the appropriate level. The book is written in such a way that makes it possible to follow the theory for the continuous- and discrete-time systems independently (and also in parallel).

Game theoretical techniques have recently become prevalent in many engineering applications, notably in communications. With the emergence of cooperation as a new communication paradigm, and the need for self-organizing, decentralized, and autonomic networks, it has become imperative to seek suitable game theoretical tools that allow to analyze and study the behavior and interactions of the nodes in future communication networks. In this context, this tutorial introduces the concepts of cooperative game theory, namely coalitional games, and their potential applications in communication and wireless networks. For this purpose, we classify coalitional games into three categories: canonical coalitional games, coalition formation games, and coalitional graph games. This new classification represents an application-oriented approach for understanding and analyzing coalitional games. For each class of coalitional games, we present the fundamental components, introduce the key properties, mathematical techniques, solution concepts, and describe the methodologies for applying these games in several applications drawn from the state-of-theart research in communications. In a nutshell, this article constitutes a unified treatment of coalitional game theory tailored to the demands of communications and network engineers.

This unified treatment of game theory focuses on finding state-of-the-art solutions to issues surrounding the next generation of wireless and communications networks. Future networks will rely on autonomous and distributed architectures to improve the efficiency and flexibility of mobile applications, and game theory provides the ideal framework for designing efficient and robust distributed algorithms. This book enables readers to develop a solid understanding of game theory, its applications and its use as an effective tool for addressing wireless communication and networking problems. The key results and tools of game theory are covered, as are various real-world technologies including 3G networks, wireless LANs, sensor networks, dynamic spectrum access and cognitive networks. The book also covers a wide range of techniques for modeling, designing and analysing communication networks using game theory, as well as state-of-the-art distributed design techniques. This is an ideal resource for communications engineers, researchers, and graduate and undergraduate students.

The future smart grid is envisioned as a large scale cyberphysical system encompassing advanced power, communications, control, and computing technologies. To accommodate these technologies, it will have to build on solid mathematical tools that can ensure an efficient and robust operation of such heterogeneous and large-scale cyberphysical systems. In this context, this article is an overview on the potential of applying game theory for addressing relevant and timely open problems in three emerging areas that pertain to the smart grid: microgrid systems, demand-side management, and communications. In each area, the state-of-the-art contributions are gathered and a systematic treatment, using game theory, of some of the most relevant problems for future power systems is provided. Future opportunities for adopting game-theoretic methodologies in the transition from legacy systems toward smart and intelligent grids are also discussed. In a nutshell, this article provides a comprehensive account of the application of game theory in smart grid systems tailored to the interdisciplinary characteristics of these systems that integrate components from power systems, networking, communications, and control.

We study the distributed averaging problem on arbitrary connected graphs, with the additional constraint that the value at each node is an integer. This discretized distributed averaging problem models several problems of interest, such as averaging in a network with finite capacity channels and load balancing in a processor network. We describe simple randomized distributed algorithms which achieve consensus to the extent that the discrete nature of the problem permits. We give bounds on the convergence time of these algorithms for fully connected networks and linear networks.

Demand Response Management (DRM) is a key component in the smart grid to effectively reduce power generation costs and user bills. However, it has been an open issue to address the DRM problem in a network of multiple utility companies and consumers where every entity is concerned about maximizing its own benefit. In this paper, we propose a Stackelberg game between utility companies and end-users to maximize the revenue of each utility company and the payoff of each user. We derive analytical results for the Stackelberg equilibrium of the game and prove that a unique solution exists. We develop a distributed algorithm which converges to the equilibrium with only local information available for both utility companies and end-users. Though DRM helps to facilitate the reliability of power supply, the smart grid can be succeptible to privacy and security issues because of communication links between the utility companies and the consumers. We study the impact of an attacker who can manipulate the price information from the utility companies. We also propose a scheme based on the concept of shared reserve power to improve the grid reliability and ensure its dependability.

In this paper, optimal control of linear time-invariant (LTI) systems over unreliable communication links is studied. The motivation of the problem comes from growing applications that demand remote control of objects over Internet-type or wireless networks where links are prone to failure. Depending on the availability of acknowledgment (ACK) signals, two different types of networking protocols are considered. Under a TCP structure, existence of ACK signals is assumed, unlike the UDP structure where no ACK packets are present. The objective here is to mean-square (m.s.) stabilize the system while minimizing a quadratic performance criterion when the information flow between the controller and the plant is disrupted due to link failures, or packet losses. Sufficient conditions for the existence of stabilizing optimal controllers are derived.

Electric storage units constitute a key element in the emerging smart grid system. In this paper, the interactions and energy trading decisions of a number of geographically distributed storage units are studied using a novel framework based on game theory. In particular, a noncooperative game is formulated between storage units, such as plug-in hybrid electric vehicles, or an array of batteries that are trading their stored energy. Here, each storage unit's owner can decide on the maximum amount of energy to sell in a local market so as to maximize a utility that reflects the tradeoff between the revenues from energy trading and the accompanying costs. Then in this energy exchange market between the storage units and the smart grid elements, the price at which energy is traded is determined via an auction mechanism. The game is shown to admit at least one Nash equilibrium and a novel algorithm that is guaranteed to reach such an equilibrium point is proposed. Simulation results show that the proposed approach yields significant performance improvements, in terms of the average utility per storage unit, reaching up to 130.2% compared to a conventional greedy approach.

Critical infrastructures, such as power grids and transportation systems, are increasingly using open networks for operation. The use of open networks poses many challenges for control systems. The classical design of control systems takes into account modeling uncertainties as well as physical disturbances, providing a multitude of control design methods such as robust control, adaptive control, and stochastic control. With the growing level of integration of control systems with new information technologies, modern control systems face uncertainties not only from the physical world but also from the cybercomponents of the system. The vulnerabilities of the software deployed in the new control system infrastructure will expose the control system to many potential risks and threats from attackers. Exploitation of these vulnerabilities can lead to severe damage as has been reported in various news outlets [1], [2]. More recently, it has been reported in [3] and [4] that a computer worm, Stuxnet, was spread to target Siemens supervisory control and data acquisition (SCADA) systems that are configured to control and monitor specific industrial processes.

We introduce a non-model based approach for locally stable convergence to Nash equilibria in static, noncooperative games with  $N$ players. In classical game theory algorithms, each player employs the knowledge of the functional form of his payoff and the knowledge of the other players' actions, whereas in the proposed algorithm, the players need to measure only their own payoff values. This strategy is based on the extremum seeking approach, which has previously been developed for standard optimization problems and employs sinusoidal perturbations to estimate the gradient. We consider static games with quadratic payoff functions before generalizing our results to games with non-quadratic payoff functions that are the output of a dynamic system. Specifically, we consider general nonlinear differential equations with $N$  inputs and $N$  outputs, where in the steady state, the output signals represent the payoff functions of a noncooperative game played by the steady-state values of the input signals. We employ the standard local averaging theory and obtain local convergence results for both quadratic payoffs, where the actual convergence is semi-global, and non-quadratic payoffs, where the potential existence of multiple Nash equilibria precludes semi-global convergence. Our convergence conditions coincide with conditions that arise in model-based Nash equilibrium seeking. However, in our framework the user is not meant to check these conditions because the payoff functions are presumed to be unknown. For non-quadratic payoffs, convergence to a Nash equilibrium is not perfect, but is biased in proportion to the perturbation amplitudes and the higher derivatives of the payoff functions. We quantify the size of these residual biases and confirm their existence numerically in an example noncooperative game. In this example, we present the first application of extremum seeking with projection to ensure that the players' actions remain in a given closed and bounded action set.