Automated annotation of protein function is challenging. As the number of sequenced genomes rapidly grows, the overwhelming majority of protein products can only be annotated computationally. If computational predictions are to be relied upon, it is crucial that the accuracy of these methods be high. Here we report the results from the first large-scale community-based critical assessment of protein function annotation (CAFA) experiment. Fifty-four methods representing the state of the art for protein function prediction were evaluated on a target set of 866 proteins from 11 organisms. Two findings stand out: (i) today's best protein function prediction algorithms substantially outperform widely used first-generation methods, with large gains on all types of targets; and (ii) although the top methods perform well enough to guide experiments, there is considerable need for improvement of currently available tools.

A major bottleneck in our understanding of the molecular underpinnings of life is the assignment of function to proteins. While molecular experiments provide the most reliable annotation of proteins, their relatively low throughput and restricted purview have led to an increasing role for computational function prediction. However, assessing methods for protein function prediction and tracking progress in the field remain challenging.We conducted the second critical assessment of functional annotation (CAFA), a timed challenge to assess computational methods that automatically assign protein function. We evaluated 126 methods from 56 research groups for their ability to predict biological functions using Gene Ontology and gene-disease associations using Human Phenotype Ontology on a set of 3681 proteins from 18 species. CAFA2 featured expanded analysis compared with CAFA1, with regards to data set size, variety, and assessment metrics. To review progress in the field, the analysis compared the best methods from CAFA1 to those of CAFA2.The top-performing methods in CAFA2 outperformed those from CAFA1. This increased accuracy can be attributed to a combination of the growing number of experimental annotations and improved methods for function prediction. The assessment also revealed that the definition of top-performing algorithms is ontology specific, that different performance metrics can be used to probe the nature of accurate predictions, and the relative diversity of predictions in the biological process and human phenotype ontologies. While there was methodological improvement between CAFA1 and CAFA2, the interpretation of results and usefulness of individual methods remain context-dependent.

Abstract Background The Critical Assessment of Functional Annotation (CAFA) is an ongoing, global, community-driven effort to evaluate and improve the computational annotation of protein function. Results Here, we report on the results of the third CAFA challenge, CAFA3, that featured an expanded analysis over the previous CAFA rounds, both in terms of volume of data analyzed and the types of analysis performed. In a novel and major new development, computational predictions and assessment goals drove some of the experimental assays, resulting in new functional annotations for more than 1000 genes. Specifically, we performed experimental whole-genome mutation screening in Candida albicans and Pseudomonas aureginosa genomes, which provided us with genome-wide experimental data for genes associated with biofilm formation and motility. We further performed targeted assays on selected genes in Drosophila melanogaster , which we suspected of being involved in long-term memory. Conclusion We conclude that while predictions of the molecular function and biological process annotations have slightly improved over time, those of the cellular component have not. Term-centric prediction of experimental annotations remains equally challenging; although the performance of the top methods is significantly better than the expectations set by baseline methods in C. albicans and D. melanogaster , it leaves considerable room and need for improvement. Finally, we report that the CAFA community now involves a broad range of participants with expertise in bioinformatics, biological experimentation, biocuration, and bio-ontologies, working together to improve functional annotation, computational function prediction, and our ability to manage big data in the era of large experimental screens.

Background

 Humoral immunocompetence develops stepwise throughout life and contributes to individual susceptibility to infection, immunodeficiency, autoimmunity, and neoplasia. Immunoglobulin heavy chain (IgH) isotype serum levels can partly explain such age-related differences, but their relationship with the IgH isotype distribution within memory B-cell (MBC) and plasma cell (PCs) compartments remains to be investigated. 

Objective

 We studied the age-related distribution of MBCs and PCs expressing different IgH isotypes in addition to the immature/transitional and naive B-cell compartments. 

Methods

 B-cell and PC subsets and plasma IgH isotype levels were studied in cord blood (n = 19) and peripheral blood (n = 215) from healthy donors aged 0 to 90 years by using flow cytometry and nephelometry, respectively. 

Results

 IgH-switched MBCs expressing IgG₁, IgG₂, IgG₃, IgA₁, and IgA₂ were already detected in cord blood and newborns at very low counts, whereas CD27⁺IgM⁺⁺IgD⁺ MBCs only became detectable at 1 to 5 months and remained stable until 2 to 4 years, and IgD MBCs peaked at 2 to 4 years, with both populations decreasing thereafter. MBCs expressing IgH isotypes of the second immunoglobulin heavy chain constant region (IGHC) gene block (IgG₁, IgG₃, and IgA₁) peaked later during childhood (2-4 years), whereas MBCs expressing third IGHC gene block immunoglobulin isotypes (IgG₂, IgG₄, and IgA₂) reached maximum values during adulthood. PCs were already detected in newborns, increasing in number until 6 to 11 months for IgM, IgG₁, IgG₂, IgG₃, IgA₁, and IgA₂; until 2 to 4 years for IgD; and until 5 to 9 years for IgG₄ and decreasing thereafter. For most IgH isotypes (except IgD and IgG₄), maximum plasma levels were reached after PC and MBC counts peaked. 

Conclusions

 PC counts reach maximum values early in life, followed by MBC counts and plasma IgH isotypes. Importantly, IgH isotypes from different IGHC gene blocks show different patterns, probably reflecting consecutive cycles of IgH isotype switch recombination through life.

The Critical Assessment of Functional Annotation (CAFA) is an ongoing, global, community-driven effort to evaluate and improve the computational annotation of protein function. Here we report on the results of the third CAFA challenge, CAFA3, that featured an expanded analysis over the previous CAFA rounds, both in terms of volume of data analyzed and the types of analysis performed. In a novel and major new development, computational predictions and assessment goals drove some of the experimental assays, resulting in new functional annotations for more than 1000 genes. Specifically, we performed experimental whole-genome mutation screening in Candida albicans and Pseudomonas aureginosa genomes, which provided us with genome-wide experimental data for genes associated with biofilm formation and motility P. aureginosa only). We further performed targeted assays on selected genes in Drosophila melanogaster, which we suspected of being involved in long-term memory. We conclude that, while predictions of the molecular function and biological process annotations have slightly improved over time, those of the cellular component have not. Term-centric prediction of experimental annotations remains equally challenging; although the performance of the top methods is significantly better than expectations set by baseline methods in C. albicans and D. melanogaster, it leaves considerable room and need for improvement. We finally report that the CAFA community now involves a broad range of participants with expertise in bioinformatics, biological experimentation, biocuration, and bio-ontologies, working together to improve functional annotation, computational function