Intraclass correlation coefficients (ICC) are recommended for the assessment of the reliability of measurement scales. However, the ICC is subject to a variety of statistical assumptions such as normality and stable variance, which are rarely considered in health applications. A Bayesian approach using hierarchical regression and variance-function modeling is proposed to estimate the ICC with emphasis on accounting for heterogeneous variances across a measurement scale. As an application, we review the implementation of using an ICC to evaluate the reliability of Observer OPTION5, an instrument which used trained raters to evaluate the level of Shared Decision Making between clinicians and patients. The study used two raters to evaluate recordings of 311 clinical encounters across three studies to evaluate the impact of using a Personal Decision Aid over usual care. We particularly focus on deriving an estimate for the ICC when multiple studies are being considered as part of the data. The results demonstrate that ICC varies substantially across studies and patient-physician encounters within studies. Using the new framework we developed, the study-specific ICCs were estimated to be 0.821, 0.295, and 0.644. If the within- and between-encounter variances were assumed to be the same across studies, the estimated within-study ICC was 0.609. If heteroscedasticity is not properly adjusted for, the within-study ICC estimate was inflated to be as high as 0.640. Finally, if the data were pooled across studies without accounting for the variability between studies then ICC estimates were further inflated by approximately 0.02 while formerly allowing for between study variation in the ICC inflated its estimated value by approximately 0.066 to 0.072 depending on the model. We demonstrated that misuse of the ICC statistics under common assumption violations leads to misleading and likely inflated estimates of interrater reliability. A statistical analysis that overcomes these violations by expanding the standard statistical model to account for them leads to estimates that are a better reflection of a measurement scale's reliability while maintaining ease of interpretation. Bayesian methods are particularly well suited to estimating the expanded statistical model.

Spatially resolved characterization of the transcriptome and proteome promises to provide further clarity on cancer pathogenesis and etiology, which may inform future clinical practice through classifier development for clinical outcomes. However, batch effects may potentially obscure the ability of machine learning methods to derive complex associations within spatial omics data. Profiling thirty-five stage three colon cancer patients using the GeoMX Digital Spatial Profiler, we found that mixed-effects machine learning (MEML) methods † may provide utility for overcoming significant batch effects to communicate key and complex disease associations from spatial information. These results point to further exploration and application of MEML methods within the spatial omics algorithm development life cycle for clinical deployment.

Disease grading and staging is accomplished through the assignment of an ordinal rating. Bridge ratings occur when a rater assigns two adjacent categories. Most statistical methodology necessitates the use of a single ordinal category. Consequently, bridge ratings often go unreported in clinical research studies. We propose three methodologies ( Expanded, Mixture , and Collapsed ) Bridge Category Models , to account for bridge ratings. We perform simulations to examine the impact of our approaches on detecting treatment effects, and comment on a real-world scenario of staging liver biopsies. Results indicate that if bridge ratings are not accounted for, disease staging models may exhibit significant bias and precision loss. All models worked well when they corresponded to the data generating mechanism.

Abstract The public health burden of non-alcoholic steatohepatitis (NASH), a liver condition characterized by excessive lipid accumulation and subsequent tissue inflammation and fibrosis, has burgeoned with the spread of western lifestyle habits. Progression of fibrosis into cirrhosis is assessed using histological staging scales (e.g., NASH Clinical Research Network (NASH CRN)). These scales are used to monitor disease progression as well as to evaluate the effectiveness of therapies. However, clinical drug trials for NASH are typically underpowered due to lower than expected inter-/intra-rater reliability, which impacts measurements at screening, baseline, and endpoint. Bridge ratings represent a phenomenon where pathologists assign two adjacent stages simultaneously during assessment and may further complicate these analyses when ad hoc procedures are applied. Statistical techniques, dubbed Bridge Category Models , have been developed to account for bridge ratings, but not for the scenario where multiple pathologists assess biopsies across time points. Here, we develop hierarchical Bayesian extensions for these statistical methods to account for repeat observations and use these methods to assess the impact of bridge ratings on the inter-/intra-rater reliability of the NASH CRN staging scale. We also report on how pathologists may differ in their assignment of bridge ratings to highlight different staging practices. Our findings suggest that Bridge Category Models can capture additional fibrosis staging heterogeneity with greater precision, which translates to potentially higher reliability estimates in contrast to the information lost through ad hoc approaches.

Abstract Non-alcoholic steatohepatitis (NASH) is a fatty liver disease characterized by accumulation of fat in hepatocytes with concurrent inflammation and is associated with morbidity, cirrhosis and liver failure. After extraction of a liver core biopsy, tissue sections are stained with hematoxylin and eosin (H&E) to grade NASH activity, and stained with trichrome to stage fibrosis. Methods to computationally transform one stain into another on digital whole slide images (WSI) can lessen the need for additional physical staining besides H&E, reducing personnel, equipment, and time costs. Generative adversarial networks (GAN) have shown promise for virtual staining of tissue. We conducted a large-scale validation study of the viability of GANs for H&E to trichrome conversion on WSI (n=574). Pathologists were largely unable to distinguish real images from virtual/synthetic images given a set of twelve Turing Tests. We report high correlation between staging of real and virtual stains (ρ = 0.86; 95% CI: 0.84-0.88). Stages assigned to both virtual and real stains correlated similarly with a number of clinical biomarkers and progression to End Stage Liver Disease (Hazard Ratio HR = 2.06, CI 95% 1.36-3.12, P < 0.001 for real stains; HR = 2.02, CI 95% 1.40-2.92, p < 0.001 for virtual stains). Our results demonstrate that virtual trichrome technologies may offer a software solution that can be employed in the clinical setting as a diagnostic decision aid.

Abstract Non-alcoholic steatohepatitis (NASH) is a liver disease characterized by excessive lipid accumulation and disease progression is typically assessed through inspection of a Trichrome stain for Fibrosis staging. As the public health burden of NASH worsens due to evolving lifestyle habits, pathology laboratory resources will become increasingly strained due to rising demand for specialized stains. Virtual staining processes, computational methods which can synthesize the application of chemical staining reagents, can potentially provide resource savings by obviating the need to acquire specialized stains. Virtual staining technologies are assessed by comparing virtual and real tissue stains for their realism and ability to stage. However, these assessment methods are rife with statistical mistreatment of observed phenomena that are difficult to account for. Bridge category ratings represent a phenomenon where a pathologist may assign two adjacent stages simultaneously, which may bias and/or reduce the power of research findings. Such stage assignments were frequently reported in a large-scale assessment of Virtual Trichrome technologies yet were unaccounted for since no statistical adjustment procedures existed. In this work, we provide an updated assessment of Virtual Trichrome technologies using Bridge Category Models , which account for these bridge ratings . We report that two of four pathologists tended to assign lower Fibrosis stages to virtually stained tissue while the other two pathologists assigned similar stages. These research findings differ when bridge ratings are not accounted for. While promising, these results indicate further room for algorithmic finetuning of Virtual Trichrome technologies.

Abstract Confirmatory diagnosis of childhood tuberculosis (TB) remains a challenge mainly due to its dependence on sputum samples and the paucibacillary nature of the disease. Thus, only ~ 30% of suspected cases in children are diagnosed and the need for minimally invasive, non-sputum-based biomarkers remains unmet. Understanding host molecular changes by measuring blood-based transcriptomic markers has shown promise as a diagnostic tool for TB. However, the implication of sex contributing to disease heterogeneity and therefore diagnosis remains to be understood. Using publicly available gene expression data (GSE39939, GSE39940; n = 370), we report a sex-specific RNA biomarker signature that could improve the diagnosis of TB disease in children. We found four gene biomarker signatures for male (SLAMF8, GBP2, WARS, and FCGR1C) and female pediatric patients (GBP6, CELSR3, ALDH1A1, and GBP4) from Kenya, South Africa, and Malawi. Both signatures achieved a sensitivity of 85% and a specificity of 70%, which approaches the WHO-recommended target product profile for a triage test. Our gene signatures outperform most other gene signatures reported previously for childhood TB diagnosis.

Abstract Network analysis methods are useful to better understand and contextualize relationships between entities. While statistical and machine learning prediction models generally assume independence between actors, network-based statistical methods for social network data allow for dyadic dependence between actors. While numerous methods have been developed for the R statistical software to analyze such data, deep learning methods have not been implemented in this language. Here, we introduce GCN4R, an R library for fitting graph neural networks on independent networks to aggregate actor covariate information to yield meaningful embeddings for a variety of network-based tasks (e.g. community detection, peer effects models, social influence). We provide an extensive overview of insights and methods utilized by the deep learning community on learning on social and biological networks, followed by a tutorial that demonstrates some of the capabilities of the GCN4R framework to make these methods more accessible to the R research community.