Abstract SARS-CoV-2 infection induces a T cell response that most likely contributes to virus control in COVID-19 patients, but may also induce immunopathology. Until now, the cytotoxic T cell response has not been very well characterized in COVID-19 patients. Here, we analyzed the differentiation and cytotoxic profile of T cells in 30 cases of mild COVID-19 during acute infection. SARS-CoV-2 infection induced a cytotoxic response of CD8+ T cells, but not CD4+ T cells, characterized by the simultaneous production of granzyme A and B, as well as perforin within different effector CD8+ T cell subsets. PD-1 expressing CD8+ T cells also produced cytotoxic molecules during acute infection indicating that they were not functionally exhausted. However, in COVID-19 patients over the age of 80 years the cytotoxic T cell potential was diminished, especially in effector memory and terminally differentiated effector CD8+ cells, showing that elderly patients have impaired cellular immunity against SARS-CoV-2. Our data provides valuable information about T cell responses in COVID-19 patients that may also have important implications for vaccine development. Importance Cytotoxic T cells are responsible for the elimination of infected cells and are key players for the control of viruses. CD8+ T cells with an effector phenotype express cytotoxic molecules and are able to perform target cell killing. COVID-19 patients with a mild disease course were analyzed for the differentiation status and cytotoxic profile of CD8+ T cells. SARS-CoV-2 infection induced a vigorous cytotoxic CD8+ T cell response. However, this cytotoxic profile of T cells was not detected in COVID-19 patients over the age of 80 years. Thus, the absence of a cytotoxic response in elderly patients might be a possible reason for the more frequent severity of COVID-19 in this age group in comparison to younger patients.