ABSTRACT Electrophysiological research with event-related brain potentials (ERPs) is increasingly moving from simple, strictly orthogonal stimulation paradigms towards more complex, quasi-experimental designs and naturalistic situations that involve fast, multisensory stimulation and complex motor behavior. As a result, electrophysiological responses from subsequent events often overlap with each other. In addition, the recorded neural activity is typically modulated by numerous covariates, which influence the measured responses in a linear or nonlinear fashion. Examples of paradigms where systematic temporal overlap variations and low-level confounds between conditions cannot be avoided include combined EEG/eye-tracking experiments during natural vision, fast multisensory stimulation experiments, and mobile brain/body imaging studies. However, even “traditional”, highly controlled ERP datasets often contain a hidden mix of overlapping activity (e.g. from stimulus onsets, involuntary microsaccades, or button presses) and it is helpful or even necessary to disentangle these components for a correct interpretation of the results. In this paper, we introduce unfold , a powerful, yet easy-to-use MATLAB toolbox for regression-based EEG analyses that combines existing concepts of massive univariate modeling (“regression ERPs”), linear deconvolution modeling, and non-linear modeling with the generalized additive model (GAM) into one coherent and flexible analysis framework. The toolbox is modular, compatible with EEGLAB and can handle even large datasets efficiently. It also includes advanced options for regularization and the use of temporal basis functions (e.g. Fourier sets). We illustrate the advantages of this approach for simulated data as well as data from a standard face recognition experiment. In addition to traditional and non-conventional EEG/ERP designs, unfold can also be applied to other overlapping physiological signals, such as pupillary or electrodermal responses. It is available as open-source software at http://www.unfoldtoolbox.org .

ABSTRACT Perceptual decisions are biased towards previous decisions. Previous research suggests that this choice repetition bias is increased after previous decisions of high confidence, as inferred from response time measures (Urai et al., 2017), but also when previous decisions were based on weak sensory evidence (Akaishi et al., 2014). As weak sensory evidence is typically associated with low confidence, these previous findings appear conflicting. To resolve this conflict, we set out to investigate the effect of decision confidence on choice repetition more directly by measuring explicit confidence ratings in a motion coherence discrimination task. Moreover, we explored how choice and stimulus history jointly affect subsequent perceptual choices. We found that participants were more likely to repeat previous choices of high subjective confidence, as well as previous fast choices, confirming the boost of choice repetition with decision confidence. Furthermore, we discovered that current choices were biased away from the previous evidence direction, not previous choice, and that this effect grew with previous evidence strength. These findings point towards simultaneous biases of choice repetition, modulated by decision confidence, and adaptation, modulated by the strength of evidence, which bias current perceptual decisions in opposite directions.

Abstract Previous work has identified characteristic neural signatures of value-based decision-making, including neural dynamics that closely resemble the ramping evidence accumulation process believed to underpin choice. Here, we test whether these signatures of the choice process can be temporally dissociated from additional, choice- independent value signals. Indeed, EEG activity during value-based choice revealed distinct spatiotemporal clusters, with a stimulus-locked cluster reflecting affective reactions to choice sets and a response-locked cluster reflecting choice difficulty. Surprisingly, neither of these clusters met the criteria for an evidence accumulation signal. Instead, we found that stimulus-locked activity can mimic an evidence accumulation process when aligned to the response. Re-analyzing four previous studies – including three perceptual decision-making studies – we show that response-locked signatures of evidence accumulation disappear when stimulus-locked and response-locked activity are modelled jointly. Collectively, our findings show that neural signatures of value can reflect choice-independent processes and look deceptively like evidence accumulation. Significance Statement To choose, people must evaluate their options and select between them. Selection is well described by a process of accumulating evidence up to some threshold, with an electrophysiological signature in the centroparietal positivity (CPP). However, decision-making also gives rise to value signals reflecting affective reactions and other selection-unrelated processes. Measuring EEG while participants made value-based choices, we identified two spatiotemporally distinct value signals, neither reflecting evidence accumulation. Instead, we show that evidence accumulation signals found in the CPP can arise artifactually from overlapping stimulus- and response-related activity. These findings call for a significant reexamination of established links between neural and computational mechanisms of choice, while inviting deeper consideration of the array of cognitive and affective processes that occur in parallel.

Abstract Neural mechanisms of face perception are predominantly studied in well-controlled experimental settings that involve random stimulus sequences and fixed eye positions. While powerful, the employed paradigms are far from what constitutes natural vision. Here, we demonstrate the feasibility of ecologically more valid experimental paradigms using natural viewing behavior, by combining a free viewing paradigm on natural scenes, free of photographer bias, with advanced data processing techniques that correct for overlap effects and co-varying nonlinear dependencies of multiple eye movement parameters. We validate this approach by replicating classic N170 effects in neural responses, triggered by fixation onsets (fERPs). Importantly, our more natural stimulus paradigm yielded smaller variability between subjects than the classic setup. Moving beyond classic temporal and spatial effect locations, our experiment furthermore revealed previously unknown signatures of face processing. This includes modulation of early fERP components, as well as category-specific adaptation effects across subsequent fixations that emerge even before fixation onset.

Robots start to play a role in our social landscape, and they are progressively becoming responsive, both physically and socially. It begs the question of how humans react to and interact with robots in a coordinated manner and what the neural underpinnings of such behavior are. This exploratory study aims to understand the differences in human-human and human-robot interactions at a behavioral level and from a neurophysiological perspective. For this purpose, we adapted a collaborative dynamical paradigm from Hwang et al. (1). All 16 participants held two corners of a tablet while collaboratively guiding a ball around a circular track either with another participant or a robot. In irregular intervals, the ball was perturbed outward creating an artificial error in the behavior, which required corrective measures to return to the circular track again. Concurrently, we recorded electroencephalography (EEG). In the behavioral data, we found an increased velocity and positional error of the ball from the track in the human-human condition vs. human-robot condition. For the EEG data, we computed event-related potentials. To explore the temporal and spatial differences in the two conditions, we used time-regression with overlap-control and corrected for multiple-comparisons using Threshold-Free-Cluster Enhancement. We found a significant difference between human and robot partners driven by significant clusters at fronto-central electrodes. The amplitudes were stronger with a robot partner, suggesting a different neural processing. All in all, our exploratory study suggests that coordinating with robots affects action monitoring related processing. In the investigated paradigm, human participants treat errors during human-robot interaction differently from those made during interactions with other humans.

Understanding biological processes implies a quantitative description. In recent years a new tool set, Bayesian hierarchical modeling, has seen rapid development. We use these methods to model kinetics of a specific protein in a neuroscience context: melanopsin. Melanopsin is a photoactive protein in retinal ganglion cells. Due to its photoactivity, melanopsin is widely used in optogenetic experiments and an important component in the elucidation of neuronal interactions. Thus it is important to understand the relevant processes and develop mechanistic models. Here, with a focus on methodological aspects, we develop, implement, fit and discuss Bayesian generative models of melanopsin dynamics. We start with a sketch of a basic model and then translate it into formal probabilistic language. As melanopsin occurs in at least two states, a resting and a firing state, a basic model is defined by a non-stationary two state hidden Markov process. Subsequently we add complexities in the form of (1) an hierarchical extension to fit multiple cells; (2) a wavelength dependency, to investigate the response at different color of light stimulation; (3) an additional third state to investigate whether melanopsin is bi- or tri-stable; (4) differences between different sub-types of melanopsin as found in different species. This application of modeling melanopsin dynamics demonstrates several benefits of Bayesian methods. They directly model uncertainty of parameters, are flexible in the distributions and relations of parameters in the modeling, and allow including prior knowledge, for example parameter values based on biochemical data.

Humans achieve their goals in joint action tasks either by cooperation or competition. In the present study, we investigated the neural processes underpinning error and monetary rewards processing in such cooperative and competitive situations. We used electroencephalography (EEG) and analyzed event-related potentials (ERPs) triggered by feedback in both social situations. 26 dyads performed a joint four-alternative forced choice (4AFC) visual task either cooperatively or competitively. At the end of each trial, participants received performance feedback about their individual and joint errors and accompanying monetary rewards. Furthermore, the outcome, i.e. resulting positive, negative or neutral rewards, was dependent on the payoff matrix, defining the social situation either as cooperative or competitive. We used linear mixed effects models to analyze the feedback-related-negativity (FRN) and used the Thresholdfree cluster enhancement (TFCE) method to explore activations of all electrodes and times. We found main effects of the outcome and social situation at mid-line frontal electrodes. The FRN was more negative for losses than wins in both social situations. However, the FRN amplitudes differed between social situations. Moreover, we compared monetary with neutral outcomes in both social situations. Our exploratory TFCE analysis revealed that processing of feedback differs between cooperative and competitive situations at right temporo-parietal electrodes where the cooperative situation elicited more positive amplitudes. Further, the differences induced by the social situations were stronger in participants with higher scores on a perspective taking test. In sum, our results replicate previous studies about the FRN and extend them by comparing neurophysiological responses to positive and negative outcomes in a task that simultaneously engages two participants in competitive and cooperative situations.

Eye-tracking experiments rely heavily on good data quality of eye-trackers. Unfortunately, it is often that only the spatial accuracy and precision values are available from the manufacturers. These two values alone are not sufficient enough to serve as a benchmark for an eye-tracker: Eye-tracking quality deteriorates during an experimental session due to head movements, changing illumination or calibration decay. Additionally, different experimental paradigms require the analysis of different types of eye movements, for instance smooth pursuit movements, blinks or microsaccades, which themselves cannot readily be evaluated by using spatial accuracy or precision alone. To obtain a more comprehensive description of properties, we developed an extensive eye-tracking test battery. In 10 different tasks, we evaluated eye-tracking related measures such as: the decay of accuracy, fixation durations, pupil dilation, smooth pursuit movement, microsaccade detection, blink detection, or the influence of head motion. For some measures, true theoretical values exist. For others, a relative comparison to a gold standard eye-tracker is needed. Therefore, we collected our gaze data simultaneously from a gold standard remote EyeLink~1000 eye-tracker and compared it with the mobile Pupil Labs glasses. As expected, the average spatial accuracy of 0.57° for the EyeLink~1000 eye-tracker was better than the 0.82° for the Pupil Labs glasses (N=15). Furthermore, we detected less fixations and shorter saccade durations for the Pupil Labs glasses. Similarly, we found fewer microsaccades using the Pupil Labs glasses. The accuracy over time decayed only slightly for the EyeLink~1000, but strongly for the Pupil Labs glasses. Finally we observed that the measured pupil diameters differed between eye-trackers on the individual subject level but not the group level. To conclude, our eye-tracking test battery offers 10 tasks that allow us to benchmark the many parameters of interest in stereotypical eye-tracking situations, or addresses a common source of confounds in measurement errors (e.g. yaw and roll head movements). All recorded eye-tracking data (including Pupil Labs' eye video files), the stimulus code for the test battery and the modular analysis pipeline are available (https://github.com/behinger/etcomp).

Abstract 1 Some participants consistently show large, and others small activations in Electroencephalography (EEG) and other neuroimaging studies. Similarly, decoding accuracies in Brain-Computer-Interface (BCI) vary between subjects, in extreme cases labelled “BCI-Illiteracy”. Here, we investigate whether a switch of task within an event-related design could be sufficient to alleviate low performance. We compare event-related-potentials (ERP) component amplitudes, as well as offline balanced decoding-accuracy based on deep convolutional networks, between seven event-related tasks. ERP effect amplitudes and decoding accuracies were correlated within all tasks, but not between any pairwise tasks. Further, 39/40 subjects had above average performance in at least one task. Two cautious conclusions can be drawn, with the appropriate limitations of power (n=40) and the caveats of interpreting null-findings: 1) The lack of effect amplitude correlations shows that between-subject variability cannot be purely explained by a task-agnostic effects like skull thickness. 2) The lack of decoding accuracy correlations shows promise for ERP-based BCIs: replacing the task could be an effective way to combat “BCI-Illiteracy”.

Abstract Regression Event-Related-Potentials (ERPs) with overlap correction (also referred to, as linear deconvolution, or temporal response functions) are becoming more popular for the analysis of Electroencephalography (EEG) data. A common question for the analyst is, how to specify the length of the estimation windows. Long estimation windows might capture all relevant event-related activity, but might introduce artifacts due to overfit, short estimation windows might not overfit, but also might not capture all (overlapping) activity, and thereby introduce bias. Using a systematic simulation approach, we show that longer rather than shorter time windows should be preferred for typical EEG designs. We further provide an interactive app to visualize various design parameters: https://estimationwindow.ccn2023.s-ccs.de