Abstract Modern single-cell data analysis relies on statistical testing (e.g. differential expression testing) to identify genes or proteins that are up-or down-regulated in relation to cell-types or clinical outcomes. However, existing algorithms for such statistical testing are often limited by technical noise and cellular heterogeneity, which lead to false-positive results. To constrain the analysis to a compact and phenotype-related cell population, differential abundance (DA) testing methods were employed to identify subgroups of cells whose abundance changed significantly in response to disease progression, or experimental perturbation. Despite the effectiveness of DA testing algorithms of identifying critical cell-states, there are no systematic benchmarking or comparative studies to compare their usages in practice. Herein, we performed the first comprehensive benchmarking study to objectively evaluate and compare the benefits and potential downsides of current state-of-the-art DA testing methods. We benchmarked six DA testing methods on several practical tasks, using both synthetic and real single-cell datasets. The task evaluated include, recognizing true DA subpopulations, appropriate handing of batch effects, runtime efficiency, and hyperparameter usability and robustness. Based on various evaluation results, this paper gives dataset-specific suggestions for the usage of DA testing methods.

Abstract High-throughput single-cell immune profiling technologies, such as mass cytometry (CyTOF) and single-cell RNA sequencing measure the expression of multiple proteins or genes across many individual cells within a profiled sample. As it is often of interest to identify particular clusters or cell-populations driving clinical phenotypes or experimental outcomes, there is a critical need to develop automated bioinformatics approaches that can handle a large number of profiled cells. For analyzing multi-sample single-cell datasets at scale, the datasets are usually encoded as a graph, where nodes represent cells and edges imply significant between-cell similarity. As multi-sample single-cell experiments can readily result in millions of profiled cells, the construction and analysis of a graph becomes computationally prohibitive and often requires reducing the dataset size through downsampling as a pre-processing step. Here, we explore the interplay between sketching, or downsampling approaches, and the way in which the graph is constructed on the sketched data for ultimately identifying biologically-meaningful cell-populations. Our results suggest that combining a principled sketching approach with a simple k -nearest neighbor graph representation of the data can identify meaningful subsets of cells as robustly as, and sometimes better than, more sophisticated graph generation approaches. This reveals that the practical concern of downsampling or sketching a limited number of cells is a more critical pre-processing step than how the graph representation is constructed.