HC
Hui Chong
Author with expertise in RNA Sequencing Data Analysis
Achievements
Open Access Advocate
Cited Author
Key Stats
Upvotes received:
0
Publications:
5
(80% Open Access)
Cited by:
21
h-index:
7
/
i10-index:
5
Reputation
Biology
< 1%
Chemistry
< 1%
Economics
< 1%
Show more
How is this calculated?
Publications
0

Ontology-Aware Deep Learning Enables Ultrafast, Accurate and Interpretable Source Tracking among Sub-Million Microbial Community Samples from Hundreds of Niches

Yuguo Zha et al.Nov 2, 2020
Abstract The taxonomical structure of microbial community sample is highly habitat-specific, making it possible for source tracking niches where samples are originated. Current methods face challenges when the number of samples and niches are magnitudes more than current in use, under which circumstances they are unable to accurately source track samples in a timely manner, rendering them difficult in knowledge discovery from sub-million heterogeneous samples. Here, we introduce a deep learning method based on Ontology-aware Neural Network approach, ONN4MST ( https://github.com/HUST-NingKang-Lab/ONN4MST ), which takes into consideration the ontology structure of niches and the relationship of samples from these ontologically-organized niches. ONN4MST’s superiority in accuracy, speed and robustness have been proven, for example with an accuracy of 0.99 and AUC of 0.97 in a microbial source tracking experiment that 125,823 samples and 114 niches were involved. Moreover, ONN4MST has been utilized on several source tracking applications, showing that it could provide highly-interpretable results from samples with previously less-studied niches, detect microbial contaminants, and identify similar samples from ontologically-remote niches, with high fidelity.
0
Paper
Citation6
0
Save
0

Meta-Prism 2.0: Enabling algorithm for ultra-fast, accurate and memory-efficient search among millions of microbial community samples

Kai Kang et al.Nov 20, 2020
Abstract Motivation Microbial community samples and sequencing data have been accumulated at a speed faster than ever, with tens of thousands of samples been sequenced each year. Mining such a huge amount of multi-source heterogeneous data is becoming more and more difficult. Among several sample mining bottlenecks, efficient and accurate search of samples is one of the most prominent: Faced with millions of samples in the data repository, traditional sample comparison and search approaches fall short in speed and accuracy. Results Here we proposed Meta-Prism 2.0, a microbial community sample search method based on smart pair-wise sample comparison, which pushed the time and memory efficiency to a new limit, without the compromise of accuracy. Based on memory-saving data structure, time-saving instruction pipeline, and boost scheme optimization, Meta-Prism 2.0 has enabled ultra-fast, accurate and memory-efficient search among millions of samples. Meta-Prism 2.0 has been put to test on several datasets, with largest containing one million samples. Results have shown that firstly, as a distance-based method, Meta-Prism 2.0 is not only faster than other distance-based methods, but also faster than unsupervised methods. Its 0.00001s per sample pair search speed, as well as 8GB memory needs for searching against one million samples, have enabled it to be the most efficient method for sample comparison. Additionally, Meta-Prism 2.0 could achieve the comparison accuracy and search precision that are comparable or better than other contemporary methods. Thirdly, Meta-Prism 2.0 can precisely identify the original biome for samples, thus enabling sample source tracking. Conclusion In summary, Meta-Prism 2.0 can perform accurate searches among millions of samples with very low memory cost and fast speed, enabling knowledge discovery from samples at a massive scale. It has changed the traditional resource-intensive sample comparison and search scheme to a cheap and effective procedure, which could be conducted by researchers everyday even on a laptop, for insightful sample search and knowledge discovery. Meta-Prism 2.0 could be accessed at: https://github.com/HUST-NingKang-Lab/Meta-Prism-2.0 .