Abstract Skin is the most visible indicator of aging, in part because it is the largest organ exposed to the outer environment. It is well recognized that age-related cumulative damage to our skin tissue degrades its structural integrity, yet how age affects the skin at the micro-anatomical and cellular scales is poorly understood. Here, we develop an Automated detection of Skin Cellular features and Microanatomy (AutoSCM) to characterize the microanatomical tissue and cellular features that change in the skin with age. We automatically label twelve distinct skin tissue components and nuclei contours on whole slide images from skin histological sections stained by hematoxylin and eosin (H&E). Then, we extract 914 objective structural features, from which we determine 108 are significantly affected by age and 806 are not. In addition to identifying decreases in epidermal and dermal thickness and hair follicle appendage density with age, we identify four previously unknown biomarkers of human aging in skin including: increased interstitial space, reduced sebaceous gland size, hair loss in back skin, and progressive horizontal alignment of the extracellular matrix and stromal cells. We further find major sex-based differences in aging skin, including increased stromal cell density by 28%, fibroblast density by 24%, epidermal thickness by 15%, and decreased epidermal cell density by 21%, sweat gland size by 23%, and 28% less content of arrector pili muscles in female compared to male. This rigorously curated and segmented atlas of normal skin microarchitecture constitutes important reference maps for future studies in age-associated diseases of the skin.