Tasks with a complex, dynamic visual component require not only the acquisition of conceptual/procedural but also of perceptual/attentional skills. This study examined expertise differences in perceiving and interpreting complex, dynamic visual stimuli on a performance and on a process level, including perceptual and conceptual strategies. Performance, eye movement, and verbal report data were obtained from seven experts and 14 novices. Results show that experts compared to novices attend more to relevant aspects of the stimulus, use more heterogeneous task approaches, and use knowledge-based shortcuts. Implications for instructional design for the acquisition of perceptual skills are discussed.

The phenomenon that the physical integration of verbal and pictorial information sources, compared to their physical separation, enhances learning is known as the split-attention effect. This paper investigates how the split-attention effect can be best explained against the background of cognitive load theory. In an experimental study, students learned about physiological processes with either an integrated or a split-source format. Secondary task performance was used to measure overall cognitive load, whereas subjective ratings were used to measure intrinsic, extraneous and germane load individually. Learners with split-source format achieved lower learning outcomes, but did not show worse secondary task performance than learners with integrated format. These results contradict the assumption that only an increase in extraneous load for learners with a split-source format mediates the split-attention effect. Mediation analyses of the subjective load ratings revealed that both, extraneous and germane load contributed to the split-attention effect. These results support the assumption that germane load also plays a crucial role in mediating the split-attention effect.

Abstract Teachers must be able to monitor students’ behavior and identify valid cues in order to draw conclusions about students’ actual engagement in learning activities. Teacher training can support (inexperienced) teachers in developing these skills by using videotaped teaching to highlight which indicators should be considered. However, this supposes that (a) valid indicators of students’ engagement in learning are known and (b) work with videos is designed as effectively as possible to reduce the effort involved in manual coding procedures and in examining videos. One avenue for addressing these issues is to utilize the technological advances made in recent years in fields such as machine learning to improve the analysis of classroom videos. Assessing students’ attention-related processes through visible indicators of (dis)engagement in learning might become more effective if automated analyses can be employed. Thus, in the present study, we validated a new manual rating approach and provided a proof of concept for a machine vision-based approach evaluated on pilot classroom recordings of three lessons with university students. The manual rating system was significantly correlated with self-reported cognitive engagement, involvement, and situational interest and predicted performance on a subsequent knowledge test. The machine vision-based approach, which was based on gaze, head pose, and facial expressions, provided good estimations of the manual ratings. Adding a synchrony feature to the automated analysis improved correlations with the manual ratings as well as the prediction of posttest variables. The discussion focuses on challenges and important next steps in bringing the automated analysis of engagement to the classroom.

Successful learning depends on learners' ability to sustain attention, which is particularly challenging in online education due to limited teacher interaction. A potential indicator for attention is gaze synchrony, demonstrating predictive power for learning achievements in video-based learning in controlled experiments focusing on manipulating attention. This study (N=84) examines the relationship between gaze synchronization and self-reported attention of learners, using experience sampling, during realistic online video learning. Gaze synchrony was assessed through Kullback-Leibler Divergence of gaze density maps and MultiMatch algorithm scanpath comparisons. Results indicated significantly higher gaze synchronization in attentive participants for both measures and self-reported attention significantly predicted post-test scores. In contrast, synchrony measures did not correlate with learning outcomes. While supporting the hypothesis that attentive learners exhibit similar eye movements, the direct use of synchrony as an attention indicator poses challenges, requiring further research on the interplay of attention, gaze synchrony, and video content type.

Abstract Student’s shift of attention away from a current learning task to task-unrelated thought, also called mind wandering, occurs about 30% of the time spent on education-related activities. Its frequent occurrence has a negative effect on learning outcomes across learning tasks. Automated detection of mind wandering might offer an opportunity to assess the attentional state continuously and non-intrusively over time and hence enable large-scale research on learning materials and responding to inattention with targeted interventions. To achieve this, an accessible detection approach that performs well for various systems and settings is required. In this work, we explore a new, generalizable approach to video-based mind wandering detection that can be transferred to naturalistic settings across learning tasks. Therefore, we leverage two datasets, consisting of facial videos during reading in the lab (N = 135) and lecture viewing in-the-wild (N = 15). When predicting mind wandering, deep neural networks (DNN) and long short-term memory networks (LSTMs) achieve F $$_{1}$$ 1 scores of 0.44 (AUC-PR = 0.40) and 0.459 (AUC-PR = 0.39), above chance level, with latent features based on transfer-learning on the lab data. When exploring generalizability by training on the lab dataset and predicting on the in-the-wild dataset, BiLSTMs on latent features perform comparably to the state-of-the-art with an F $$_{1}$$ 1 score of 0.352 (AUC-PR = 0.26). Moreover, we investigate the fairness of predictive models across gender and show based on post-hoc explainability methods that employed latent features mainly encode information on eye and mouth areas. We discuss the benefits of generalizability and possible applications.

This work-in-progress paper aims to investigate the effect of immersive 360° and conventional two-dimensional videos presented with a Head-Mounted Display (HMD) as a science communication tool. Immersive videos, recorded in 360° and played back through HMDs, enable capturing authentic experiences, which are often hard or impossible to access in real life. This holds significant promise, potentially reshaping the public's perception of science. However, precisely for this reason, it should be closely examined. Immersive videos can vary in their design. The degree of immersion (in this study: monoscopic, conventional video vs. stereoscopic, 360° video) and the point of view (frontal vs. lateral view of the presenting scientist) from which the video is filmed might influence how the viewers perceive the contents in the videos. The ideal degree of immersion and the impact of different perspectives within these videos remain unclear. Therefore, the project addresses hypotheses related to the impact of varying degrees of immersion and different points of view within immersive videos on dependent variables such as the epistemic trustworthiness of the displayed scientists, the feeling of presence, user engagement, parasocial interactions, and learning retention. The goal of this research is to understand the influence of factors such as the degree of immersion in the context of science communication with immersive videos more precisely and, based on this, to provide informed assistance for the design and presentation of such videos.

Objective: According to current theoretical models of working memory (WM), executive functions (EFs) like updating, inhibition and shifting play an important role in WM functioning. The models state that EFs highly correlate with each other but also have some individual variance which makes them separable processes. Since this theory has mostly been substantiated with behavioral data like reaction time and the ability to execute a task correctly, the aim of this paper is to find evidence for diversity (unique properties) of the EFs updating and inhibition in neural correlates of EEG data by means of using brain-computer interface (BCI) methods as a research tool. To highlight the benefit of this approach we compare this new methodology to classical analysis approaches. Methods: An existing study has been reinvestigated by applying neurophysiological analysis in combination with support vector machine (SVM) classification on recorded electroenzephalography (EEG) data to determine the separability and variety of the two EFs updating and inhibition on a single trial basis. Results: The SVM weights reveal a set of distinct features as well as a set of shared features for the two EFs updating and inhibition in the theta and the alpha band power. Significance: In this paper we find evidence that correlates for unity and diversity of EFs can be found in neurophysiological data. Machine learning approaches reveal shared but also distinct properties for the EFs. This study shows that using methods from brain-computer interface (BCI) research, like machine learning, as a tool for the validation of psychological models and theoretical constructs is a new approach that is highly versatile and could lead to many new insights.

In this paper, we demonstrate how machine learning (ML) can be used to beneficially complement the traditional analysis of behavioral and physiological data to provide new insights into the structure of mental states, in this case, executive functions (EFs) with a focus on inhibitory control. We used a modified Flanker task with the aim to distinguish three levels of inhibitory control: no inhibition, readiness for inhibition and the actual execution of inhibitory control. A simultaneously presented n-back task was used to additionally induce demands on a second executive function. This design enabled us to investigate how the overlap of resources influences the distinction between three levels of inhibitory control. A support vector machine (SVM) based classification approach has been used on EEG data to predict the level of inhibitory control on single-subject and single-trial level. The SVM classification is a subject-specific and single-trial based approach which will be compared to standard group-level statistical approaches to reveal that both methodologies access different properties of the data. We show that considering both methods can give new insights into mental states which cannot be discovered when only using group-level statistics alone. Machine learning results indicate that three different levels of inhibitory control can be distinguished, while the group-average analysis does not give rise to this assumption. In addition, we highlight one other important benefit of the ML approach. We are able to define specific properties of the executive function inhibition by investigating the neural activation patterns that were used during the classification process.