The ability to simultaneously record from large numbers of neurons in behaving animals has ushered in a new era for the study of the neural circuit mechanisms underlying cognitive functions. One promising approach to uncovering the dynamical and computational principles governing population responses is to analyze model recurrent neural networks (RNNs) that have been optimized to perform the same tasks as behaving animals. Because the optimization of network parameters specifies the desired output but not the manner in which to achieve this output, “trained” networks serve as a source of mechanistic hypotheses and a testing ground for data analyses that link neural computation to behavior. Complete access to the activity and connectivity of the circuit, and the ability to manipulate them arbitrarily, make trained networks a convenient proxy for biological circuits and a valuable platform for theoretical investigation. However, existing RNNs lack basic biological features such as the distinction between excitatory and inhibitory units (Dale’s principle), which are essential if RNNs are to provide insights into the operation of biological circuits. Moreover, trained networks can achieve the same behavioral performance but differ substantially in their structure and dynamics, highlighting the need for a simple and flexible framework for the exploratory training of RNNs. Here, we describe a framework for gradient descent-based training of excitatory-inhibitory RNNs that can incorporate a variety of biological knowledge. We provide an implementation based on the machine learning library Theano, whose automatic differentiation capabilities facilitate modifications and extensions. We validate this framework by applying it to well-known experimental paradigms such as perceptual decision-making, context-dependent integration, multisensory integration, parametric working memory, and motor sequence generation. Our results demonstrate the wide range of neural activity patterns and behavior that can be modeled, and suggest a unified setting in which diverse cognitive computations and mechanisms can be studied.

Summary Recently it has been proposed that information in short-term memory may not always be stored in persistent neuronal activity, but can be maintained in “activity-silent” hidden states such as synaptic efficacies endowed with short-term plasticity (STP). However, working memory involves manipulation as well as maintenance of information in the absence of external stimuli. In this work, we investigated working memory representation using recurrent neural network (RNN) models trained to perform several working memory dependent tasks. We found that STP can support the short-term maintenance of information provided that the memory delay period is sufficiently short. However, in tasks that require actively manipulating information, persistent neuronal activity naturally emerges from learning, and the amount of persistent neuronal activity scales with the degree of manipulation required. These results shed insight into the current debate on working memory encoding, and suggest that persistent neural activity can vary markedly between tasks used in different experiments.

Trained neural network models, which exhibit many features observed in neural recordings from behaving animals and whose activity and connectivity can be fully analyzed, may provide insights into neural mechanisms. In contrast to commonly used methods for supervised learning from graded error signals, however, animals learn from reward feedback on definite actions through reinforcement learning. Reward maximization is particularly relevant when the optimal behavior depends on an animal's internal judgment of confidence or subjective preferences. Here, we describe reward-based training of recurrent neural networks in which a value network guides learning by using the selected actions and activity of the policy network to predict future reward. We show that such models capture both behavioral and electrophysiological findings from well-known experimental paradigms. Our results provide a unified framework for investigating diverse cognitive and value-based computations, including a role for value representation that is essential for learning, but not executing, a task.

Objective: This study aimed to explore the effect of early cardiac recovery training on the cardiac function and life quality of elderly patients undergoing coronary artery bypass grafting (CABG). Methods: Elderly patients who underwent CABG in our hospital from January 2022 to November 2023 were selected as the subjects, and their clinical data were retrospectively analyzed. In accordance with the different rehabilitation intervention methods of the patients, they were separated into control group (C group) and research group (R group). The C group received conventional rehabilitation intervention, and the R Group received early cardiac recovery training intervention. The cardiac function indices and quality of life of the two groups were compared at baseline (T1) at admission, 1 day before surgery (T2), 7 days after surgery (T3), and 30 days after surgery (T4). Results: At T2 and T4, the left ventricular ejection fraction (LVEF) levels and 6-min walking test (6-MWT) of the C and R groups were sharply higher than those at T1 (p < 0.05). At T3, the LVEF levels and 6-MWT distance of both groups were sharply lower than those at T1 (p < 0.05). Compared with the levels at T3, the LVEF levels; the 6-MWT; and the global, physical, emotional, and social levels of the C and R groups at T2 and T4 significantly increased (p < 0.05). At T1, the LVEF level; the 6-MWT; and the global, physical, emotional, and social levels of the C group was not statistically significant compared with those of the R group (p > 0.05). At T2, T3, and T4, the LVEF levels; the 6-MWT; and the global, physical, emotional, and social levels of the R group were sharply higher than those of the C group (p < 0.05). Conclusion: Early cardiac recovery training can effectively ameliorate the cardiac function and improve the quality of life of elderly patients undergoing CABG.

A neural system has the ability to flexibly perform many tasks, but the underlying mechanism cannot be elucidated in traditional experimental and modeling studies designed for one task at a time. Here, we trained a single network model to perform 20 cognitive tasks that may involve working memory, decision-making, categorization and inhibitory control. We found that after training, recurrent units developed into clusters that are functionally specialized for various cognitive processes. We introduce a measure to quantify relationships between single-unit neural representations of tasks, and report five distinct types of such relationships that can be tested experimentally. Surprisingly, our network developed compositionality of task representations, a critical feature for cognitive flexibility, whereby one task can be performed by recombining instructions for other tasks. Finally, we demonstrate how the network could learn multiple tasks sequentially. This work provides a computational platform to investigate neural representations of many cognitive tasks.

The assessment of power transformers' condition is crucial for the safe and stable operation of the power grid. This paper proposes a method for assessing the condition based on the graph convolutional network and transformer state panoramic information. The aim is to address the limitations of traditional equipment condition assessment models based on deep learning. Comprehensive state assessment models often fail to consider the correlation between state quantities, while models that do consider this correlation struggle to effectively incorporate unstructured descriptive data. The method enables an intelligent and differential evaluation of the transformer's operating status by using technical performance parameters, operating performance data, and external environment data in the equipment operation and maintenance knowledge graph. Unstructured information is effectively utilized through embedded coding. The correlation between state data is considered through the application of an adjacency matrix, allowing for explicit modeling of correlations in deep learning. This approach enhances feature interaction and information supplementation among state data, resulting in objective, accurate, and interpretable state evaluation results. Experimental results demonstrate a significant improvement in accuracy, ranging from 2.38% to 7.16%, when compared to the baseline models.