Abstract Immune checkpoint inhibitors (ICIs) have led to durable responses in cancer patients, yet their efficacy varies significantly across cancer types and patients. To stratify patients based on their potential clinical benefits, there have been substantial research efforts in identifying biomarkers and computational models that can predict the efficacy of ICIs, and it has become difficult to keep track of all of them. It is also difficult to compare findings of different studies since they involve different cancer types, ICIs, and various other details. To make it easy to access the latest information about ICI efficacy, we have developed a knowledgebase and a corresponding web-based portal (https://iciefficacy.org/). Our knowledgebase systematically records information about latest publications related to ICI efficacy, predictors proposed, and datasets used to test them. All information recorded is checked carefully by a manual curation process. The web-based portal provides functions to browse, search, filter, and sort the information. Digests of method details are provided based on the original descriptions in the publications. Evaluation results of the effectiveness of the predictors reported in the publications are summarized for quick overviews. Overall, our resource provides centralized access to the burst of information produced by the vibrant research on ICI efficacy.

Abstract The precision-recall curve (PRC) and the area under it (AUPRC) are useful for quantifying classification performance. They are commonly used in situations with imbalanced classes, such as cancer diagnosis and cell type annotation. We evaluated 10 popular tools for plotting PRC and computing AUPRC, which were collectively used in > 3,000 published studies. We found the AUPRC values computed by the tools rank classifiers differently and some tools produce overly-optimistic results.

Abstract The precision-recall curve (PRC) and the area under the precision-recall curve (AUPRC) are useful for quantifying classification performance. They are commonly used in situations with imbalanced classes, such as cancer diagnosis and cell type annotation. We evaluate 10 popular tools for plotting PRC and computing AUPRC, which were collectively used in more than 3000 published studies. We find the AUPRC values computed by the tools rank classifiers differently and some tools produce overly-optimistic results.