We consider several key aspects of prediction in language comprehension: its computational nature, the representational level(s) at which we predict, whether we use higher level representations to predictively pre-activate lower level representations, and whether we 'commit' in any way to our predictions, beyond pre-activation. We argue that the bulk of behavioral and neural evidence suggests that we predict probabilistically and at multiple levels and grains of representation. We also argue that we can, in principle, use higher level inferences to predictively pre-activate information at multiple lower representational levels. We also suggest that the degree and level of predictive pre-activation might be a function of the expected utility of prediction, which, in turn, may depend on comprehenders' goals and their estimates of the relative reliability of their prior knowledge and the bottom-up input. Finally, we argue that all these properties of language understanding can be naturally explained and productively explored within a multi-representational hierarchical actively generative architecture whose goal is to infer the message intended by the producer, and in which predictions play a crucial role in explaining the bottom-up input.

The aim of this study was to determine whether or not the brain distinguishes between two types of conceptual relationships between noun-phrases (NPs) and verbs during online processing of simple, unambiguous English sentences. A total of 15 participants read and made plausibility judgments on sentences that were presented word-by-word. Event-related potentials elicited by critical verbs were measured. In all cases, the critical verb assigned a thematic role of ‘agent’ to its subject NP. In non-violated sentences (e.g. “For breakfast the boys would only eat…”), the preceding NP was animate (“boys”) and was a likely agent for a given verb (“eat”) given its preceding context (“For breakfast”). In both types of conceptually violated sentences, the NPs were unlikely agents for the verbs given their preceding contexts. In ‘thematic role animacy violations’ (e.g. “For breakfast the eggs would only eat…”), the NP was inanimate (“eggs”) and was therefore more likely to occupy the role of ‘theme’ than ‘agent’, i.e. eggs, being inanimate, cannot eat but they can be eaten. In ‘non-thematic role pragmatic violations’ (e.g. “For breakfast the boys would only bury…”), the thematic role of agent assigned by the verb (“bury”) to its preceding NP (“boys”) is inherently acceptable (boys can bury), but the sentence is still pragmatically incongruous given the preceding context (“At breakfast”). As expected, the non-thematic role pragmatic violations elicited a significant N400 effect. The thematic role animacy violations elicited a smaller N400 effect that only approached significance across all participants. The thematic role animacy violations, however, elicited a significant P600 effect—an ERP component that is most commonly associated with processing syntactic information during language comprehension. We discuss the possibility that the P600 was elicited by the thematic role animacy violations (but not by the non-thematic role pragmatic violations) because, in the former but not the latter, there was an online attempt to structurally repair and make sense of the sentences by reassigning the thematic role of the NP that preceded the critical verb from ‘agent’ to ‘theme’. Our findings suggest a qualitative neural distinction in processing these two types of conceptual anomalies within simple, unambiguous sentences.

When a word is preceded by a supportive context such as a semantically associated word or a strongly constraining sentence frame, the N400 component of the ERP is reduced in amplitude. An ongoing debate is the degree to which this reduction reflects a passive spread of activation across long-term semantic memory representations as opposed to specific predictions about upcoming input. We addressed this question by embedding semantically associated prime-target pairs within an experimental context that encouraged prediction to a greater or lesser degree. The proportion of related items was used to manipulate the predictive validity of the prime for the target while holding semantic association constant. A semantic category probe detection task was used to encourage semantic processing and to preclude the need for a motor response on the trials of interest. A larger N400 reduction to associated targets was observed in the high than the low relatedness proportion condition, consistent with the hypothesis that predictions about upcoming stimuli make a substantial contribution to the N400 effect. We also observed an earlier priming effect (205-240 msec) in the high-proportion condition, which may reflect facilitation because of form-based prediction. In summary, the results suggest that predictability modulates N400 amplitude to a greater degree than the semantic content of the context.

Abstract This is the first of two articles that discuss higher‐order language and semantic processing in schizophrenia. This article reviews clinical characterizations of language output and the phenomenon of positive thought disorder, as well as more principled characterizations of language output in schizophrenia. It also gives an overview of evidence for the predominant theory of language dysfunction in schizophrenia: that it arises from abnormalities in (i) semantic memory and/or (ii) working memory and executive function. The companion article (Part 2) focuses on the study of language in schizophrenia using online psycholinguistic methods and considers how the study of schizophrenia may inform our understanding of normal language processing.

Abstract We used MEG and ERPs to track the time-course and localization of evoked activity produced by expected , unexpected plausible and implausible words during incremental language comprehension. We interpret the full pattern of evoked responses and functional connectivity within a hierarchical predictive coding framework in which evoked activity reflects residual information (error) that is passed up and down the cortical hierarchy. Between 300-500ms, the three conditions produced progressively larger responses within left temporal cortex (lexico-semantic prediction error), while implausible inputs produced a selectively enhanced response within left inferior frontal cortex (event-level prediction error). Between 600-1000ms, unexpected plausible words activated left inferior frontal and middle temporal cortices (feedback activity that induced top-down shifts of event-level and lexico-semantic representations), while highly implausible inputs activated posterior fusiform and medial temporal cortices, supporting orthographic reanalysis and new learning. Therefore, predictive coding may provide a unifying theory that links language comprehension to other domains of cognition.

Abstract The ability to detect and respond to linguistic errors is critical for successful reading comprehension, but these skills can vary considerably across readers. In the current study, healthy adults (age 18-35) read short discourse scenarios for comprehension while monitoring for the presence of semantic anomalies. Using a factor analytic approach, we examined if performance in non-linguistic conflict monitoring tasks (Stroop, AX-CPT) would predict individual differences in neural and behavioral measures of linguistic error processing. Consistent with this hypothesis, domain-general conflict monitoring predicted both readers’ end-of-trial acceptability judgments and the amplitude of a late neural response (the P600) evoked by linguistic anomalies. Interestingly, the influence on the P600 was non-linear, suggesting that online neural responses to linguistic errors are influenced by both the effectiveness and efficiency of domain-general conflict monitoring. These relationships were also highly specific and remained after controlling for variability in working memory capacity and verbal knowledge. Finally, we found that domain-general conflict monitoring also predicted individual variability in measures of reading comprehension, and that this relationship was partially mediated by behavioral measures of linguistic error detection. These findings inform our understanding of the role of domain-general executive functions in reading comprehension, with potential implications for the diagnosis and treatment of language impairments.

Previous studies suggest that people generate predictions during language comprehension at multiple linguistic levels. It has been hypothesized that, under some circumstances, this can result in the pre-activation of specific lexico-semantic representations. We asked whether such representationally specific semantic pre-activation can be detected in the brain ahead of encountering bottom-up input. We measured MEG activity as participants read highly constraining sentences in which the final word could be predicted. We found that both spatial and temporal patterns of the brain activity prior to the onset of this word were more similar when the same words were predicted than when different words were predicted. This pre-activation was transient and engaged a left inferior and medial temporal region. These results suggest that unique spatial patterns of neural activity associated with the pre-activation of distributed semantic representations can be detected prior to the appearance of new sensory input, and that the left inferior and medial temporal regions may play a role in temporally binding such representations, giving rise to specific lexico-semantic predictions.

Background: Early psychopathologists proposed that certain features of positive thought disorder, the disorganized language output produced by some people with schizophrenia, suggest an insensitivity to global, relative to local, discourse context. This idea has received support from carefully controlled psycholinguistic studies in language comprehension. In language production, researchers have so far remained reliant on subjective qualitative rating scales to assess and understand speech disorganization. Now, however, recent advances in large language models mean that it is possible to quantify sensitivity to global and local context objectively by probing lexical probability (the predictability of a word given its preceding context) during natural language production. Methods: For each word in speech produced by 60 first-episode psychosis patients and 35 healthy, demographically-matched controls, we extracted lexical probabilities from GPT-3 based on contexts that ranged from very local--a single preceding word: P(Wn | Wn-1)--to global--up to 50 preceding words: P(Wn|Wn-50, Wn-49, ..., Wn-1). Results: We show, for the first time, that disorganized speech is characterized by disproportionate insensitivity to global, versus local, linguistic context. Critically, this global-versus-local insensitivity selectively predicted clinical ratings of positive thought disorder, above and beyond overall symptom severity. There was no evidence of a relationship with negative thought disorder (impoverishment). Conclusions: We provide an automated, interpretable measure that can potentially be used to quantify speech disorganization in schizophrenia. Our findings directly link the clinical phenomenology of thought disorder to neurocognitive constructs that are grounded in psycholinguistic theory and neurobiology.

Abstract The N400 event-related component has been widely used to investigate the neural mechanisms underlying real-time language comprehension. However, despite decades of research, there is still no unifying theory that can explain both its temporal dynamics and functional properties. In this work, we show that predictive coding – a biologically plausible algorithm for approximating Bayesian inference – offers a promising framework for characterizing the N400. Using an implemented predictive coding computational model, we demonstrate how the N400 can be formalized as the lexico-semantic prediction error produced as the brain infers meaning from linguistic form of incoming words. We show that the magnitude of lexico-semantic prediction error mirrors the functional sensitivity of the N400 to various lexical variables, priming, contextual effects, as well as their higher-order interactions. We further show that the dynamics of the predictive coding algorithm provide a natural explanation for the temporal dynamics of the N400, and a biologically plausible link to neural activity. Together, these findings directly situate the N400 within the broader context of predictive coding research, and suggest that the brain may use the same computational mechanism for inference across linguistic and non-linguistic domains.