ABSTRACT The critical cellular transitions that govern human pancreas development are largely unknown. We performed large-scale single-cell RNA-sequencing (scRNA-Seq) to interrogate human fetal pancreas development from 8-20 weeks post conception. We identified 103 distinct cell types, including four novel endocrine progenitor subtypes displaying unique transcriptional features and differentiation potency. Integration with single-nucleus Assay for Transposase Accessible Chromatin Sequencing (snATAC-Seq) identified candidate regulators of human endocrine cell fate and revealed development-specific regulatory annotation at diabetes risk loci. Comparison of in vitro stem cell-derived and endogenous endocrine cells predicted aberrant genetic programs leading to the generation of off-target cells. Finally, knock-out studies revealed that the gene FEV regulates human endocrine differentiation. This work establishes a roadmap of human pancreatic development, highlights previously unappreciated cellular diversity and lineage dynamics, and provides a blueprint for understanding pancreatic disease and physiology, as well as generating human stem cell-derived islet cells in vitro for regenerative medicine purposes.