In an increasing number of scientific disciplines, large data collections are emerging as important community resources. In this paper, we introduce design principles for a data management architecture called the data grid. We describe two basic services that we believe are fundamental to the design of a data grid, namely, storage systems and metadata management. Next, we explain how these services can be used to develop higher-level services for replica management and replica selection. We conclude by describing our initial implementation of data grid functionality.

Researchers working on the planning, scheduling, and execution of scientific workflows need access to a wide variety of scientific workflows to evaluate the performance of their implementations. This paper provides a characterization of workflows from six diverse scientific applications, including astronomy, bioinformatics, earthquake science, and gravitational-wave physics. The characterization is based on novel workflow profiling tools that provide detailed information about the various computational tasks that are present in the workflow. This information includes I/O, memory and computational characteristics. Although the workflows are diverse, there is evidence that each workflow has a job type that consumes the most amount of runtime. The study also uncovered inefficiency in a workflow component implementation, where the component was re-reading the same data multiple times.

INTRODUCTION The brain is responsible for cognition, behavior, and much of what makes us uniquely human. The development of the brain is a highly complex process, and this process is reliant on precise regulation of molecular and cellular events grounded in the spatiotemporal regulation of the transcriptome. Disruption of this regulation can lead to neuropsychiatric disorders. RATIONALE The regulatory, epigenomic, and transcriptomic features of the human brain have not been comprehensively compiled across time, regions, or cell types. Understanding the etiology of neuropsychiatric disorders requires knowledge not just of endpoint differences between healthy and diseased brains but also of the developmental and cellular contexts in which these differences arise. Moreover, an emerging body of research indicates that many aspects of the development and physiology of the human brain are not well recapitulated in model organisms, and therefore it is necessary that neuropsychiatric disorders be understood in the broader context of the developing and adult human brain. RESULTS Here we describe the generation and analysis of a variety of genomic data modalities at the tissue and single-cell levels, including transcriptome, DNA methylation, and histone modifications across multiple brain regions ranging in age from embryonic development through adulthood. We observed a widespread transcriptomic transition beginning during late fetal development and consisting of sharply decreased regional differences. This reduction coincided with increases in the transcriptional signatures of mature neurons and the expression of genes associated with dendrite development, synapse development, and neuronal activity, all of which were temporally synchronous across neocortical areas, as well as myelination and oligodendrocytes, which were asynchronous. Moreover, genes including MEF2C , SATB2 , and TCF4 , with genetic associations to multiple brain-related traits and disorders, converged in a small number of modules exhibiting spatial or spatiotemporal specificity. CONCLUSION We generated and applied our dataset to document transcriptomic and epigenetic changes across human development and then related those changes to major neuropsychiatric disorders. These data allowed us to identify genes, cell types, gene coexpression modules, and spatiotemporal loci where disease risk might converge, demonstrating the utility of the dataset and providing new insights into human development and disease. Spatiotemporal dynamics of human brain development and neuropsychiatric risks. Human brain development begins during embryonic development and continues through adulthood (top). Integrating data modalities (bottom left) revealed age- and cell type–specific properties and global patterns of transcriptional dynamics, including a late fetal transition (bottom middle). We related the variation in gene expression (brown, high; purple, low) to regulatory elements in the fetal and adult brains, cell type–specific signatures, and genetic loci associated with neuropsychiatric disorders (bottom right; gray circles indicate enrichment for corresponding features among module genes). Relationships depicted in this panel do not correspond to specific observations. CBC, cerebellar cortex; STR, striatum; HIP, hippocampus; MD, mediodorsal nucleus of thalamus; AMY, amygdala.

An emerging class of data-intensive applications involve the geographically dispersed extraction of complex scientific information from very large collections of measured or computed data. Such applications arise, for example, in experimental physics, where the data in question is generated by accelerators, and in simulation science, where the data is generated by supercomputers. So-called Data Grids provide essential infrastructure for such applications, much as the Internet provides essential services for applications such as e-mail and the Web. We describe here two services that we believe are fundamental to any Data Grid: reliable, high-speed transport and replica management. Our high-speed transport service, GridFTP, extends the popular FTP protocol with new features required for Data Grid applications, such as striping and partial file access. Our replica management service integrates a replica catalog with GridFTP transfers to provide for the creation, registration, location, and management of dataset replicas. We present the design of both services and also preliminary performance results. Our implementations exploit security and other services provided by the Globus Toolkit.

Researchers working on the planning, scheduling and execution of scientific workflows need access to a wide variety of scientific workflows to evaluate the performance of their implementations. We describe basic workflow structures that are composed into complex workflows by scientific communities. We provide a characterization of workflows from five diverse scientific applications, describing their composition and data and computational requirements. We also describe the effect of the size of the input datasets on the structure and execution profiles of these workflows. Finally, we describe a workflow generator that produces synthetic, parameterizable workflows that closely resemble the workflows that we characterize. We make these workflows available to the community to be used as benchmarks for evaluating various workflow systems and scheduling algorithms.

In wide area computing systems, it is often desirable to create remote read-only copies (replicas) of files. Replication can be used to reduce access latency, improve data locality, and/or increase robustness, scalability and performance for distributed applications. We define a replica location service (RLS) as a system that maintains and provides access to information about the physical locations of copies. An RLS typically functions as one component of a data grid architecture. This paper makes the following contributions. First, we characterize RLS requirements. Next, we describe a parameterized architectural framework, which we name Giggle (for GIGa-scale Global Location Engine), within which a wide range of RLSs can be defined. We define several concrete instantiations of this framework with different performance characteristics. Finally, we present initial performance results for an RLS prototype, demonstrating that RLS systems can be constructed that meet performance goals.