Summary The genome of esophageal adenocarcinoma (EAC) is highly unstable and might evolve over time. Here, we track karyotype evolution in EACs in response to treatment and upon recurrence through multi-region and longitudinal analysis. To this end, we introduce L-PAC, a bio-informatics technique that allows inference of absolute copy number aberrations (CNA) of low-purity samples by leveraging information of high-purity samples from the same cancer. Quantitative analysis of matched absolute CNAs reveals that the amount of karyotype evolution induced by chemoradiotherapy (CRT) is predictive for early recurrence and depends on the initial level of karyotype intra-tumor heterogeneity. We observe that CNAs acquired in response to CRT are partially reversed back to the initial state upon recurrence. CRT hence alters the fitness landscape to which tumors can adjust by adapting their karyotype. Together, our results indicate that karyotype plasticity contributes to therapy resistance of EACs.