ABSTRACT SARS-CoV-2-specific memory T cells will likely prove critical for long-term immune protection against COVID-19. We systematically mapped the functional and phenotypic landscape of SARS-CoV-2-specific T cell responses in a large cohort of unexposed individuals as well as exposed family members and individuals with acute or convalescent COVID-19. Acute phase SARS-CoV-2-specific T cells displayed a highly activated cytotoxic phenotype that correlated with various clinical markers of disease severity, whereas convalescent phase SARS-CoV-2-specific T cells were polyfunctional and displayed a stem-like memory phenotype. Importantly, SARS-CoV-2-specific T cells were detectable in antibody-seronegative family members and individuals with a history of asymptomatic or mild COVID-19. Our collective dataset shows that SARS-CoV-2 elicits robust memory T cell responses akin to those observed in the context of successful vaccines, suggesting that natural exposure or infection may prevent recurrent episodes of severe COVID-19 also in seronegative individuals.