This article describes learning with media as a complementary process within which representations are constructed and procedures performed, sometimes by the learner and sometimes by the medium. It reviews research on learning with books, television, computers, and multimedia environments. These media are distinguished by cognitively relevant characteristics of their technologies, symbol systems, and processing capabilities. Studies are examined that illustrate how these characteristics, and the instructional designs that employ them, interact with learner and task characteristics to influence the structure of mental representations and cognitive processes. Of specific interest is the effect of media characteristics on the structure, formation, and modification of mental models. Implications for research and practice are discussed.

In two experiments, we examined how professional chemists (i.e., experts) and undergraduate chemistry students (i.e., novices) respond to a variety of chemistry representations (video segments, graphs, animations, and equations). In the first experiment, we provided subjects with a range of representations and asked them to group them together in any way that made sense to them. Both experts and novices created chemically meaningful groupings. Novices formed smaller groupings and more often used same-media representations. Experts used representations in multiple media to form larger groups. The reasons experts gave for their groupings were judged to be conceptual, while those of novices were judged to be based on surface features. In the second experiment, subjects were asked to transform a range of representations into specified alternative representations (e.g., given an equation and asked to draw a graph). Experts were better than novices in providing equivalent representations, particularly verbal descriptions for any given representation. We discuss the role that surface features of representations play in the understanding of chemistry, and we emphasize the importance of developing representational competence in chemistry students. We draw implications for the role that multiple representations—particularly linguistic ones—should play in chemistry curriculum, instruction, and assessment. © 1997 John Wiley & Sons, Inc. J Res Sci Teach 34: 949–968, 1997.

This article reviews experimental and naturalistic studies conducted by our research group to examine the role of multiple representations in understanding science. It examines the differences between expert chemists and chemistry students in their representational skills and in their use of representations in science laboratories. It describes the way scientists use the material features of multiple representations to support their shared understanding and laboratory practices and contrasts this with the way students use representations. Scientists coordinate features within and across multiple representations to reason about their research and negotiate shared understanding based on underlying entities and processes. Students, on the other hand, have difficulty moving across or connecting multiple representations, so their understanding and discourse are constrained by the features of surface individual representations. Implications are drawn for the design and use of technology-based systems that provide students with coordinated, multiple representations and collaborative activities that afford the development of shared understanding in science. These implications are explored in a pilot study.

The brain generates oscillatory neuronal activity at a broad range of frequencies and the presence and amplitude of certain oscillations at specific times and in specific brain regions are highly correlated with states of arousal, sleep, and with a wide range of cognitive processes. The neuronal mechanisms underlying the generation of brain rhythms are poorly understood, particularly for low-frequency oscillations. We recently reported that respiration-locked olfactory bulb activity causes delta band (0.5 - 4 Hz) oscillatory neuronal activity in the whisker sensory (barrel) cortex in mice. Furthermore, gamma oscillations (30 - 100Hz), which are widely implicated in cognitive processing, were power-modulated in synchrony with the respiratory rhythm. These findings link afferent sensory activity caused by respiration directly to cortical rhythms associated with cognitive functions. Here we review the related literature and present new evidence to propose that respiration has a direct influence on oscillatory cortical activity, including gamma oscillations, and on transitions between synchronous and asynchronous cortical network states (marked by phase transitions). Oscillatory cortical activity, as well as phase transitions, has been implicated in cognitive functions, potentially linking respiratory phase to cognitive processing. We further argue that respiratory influence on cortical activity is present in most, and possibly in all areas of the neocortex in mice and humans. We furthermore suggest that respiration had a role in modulating cortical rhythms from early mammalian evolution. Early mammals relied strongly on their olfactory sense and had proportionately large olfactory bulbs. We propose that to this day the respiratory rhythm remains an integral element of dynamic cortical activity in mammals. We argue that breathing modulates all cortical functions, including cognitive and emotional processes, which could elucidate the well-documented but largely unexplained effects of respiratory exercises on mood and cognitive function.