Several studies have found associations between poor oral health, particularly tooth loss and cognitive decline. However, the specific brain regions affected by tooth loss and the probable causes remain unclear. We conducted a population-based longitudinal cohort study in Nakajima, Nanao City, Japan. Between 2016 and 2018, 2454 residents aged ≥60 participated, covering 92.9% of the local age demographics. This study used comprehensive approach by combining detailed dental examinations, dietary assessments, magnetic resonance imaging (MRI) analysis, and cognitive evaluations. Tooth loss, even in cognitively normal individuals, is associated with parahippocampal gyrus atrophy and increased WMH volume, both of which are characteristics of dementia. Tooth loss was associated with altered dietary patterns, notably a reduction in plant-based food intake and an increase in fatty, processed food intake. This study highlights a possible preventative pathway where oral health may play a significant role in preventing the early neuropathological shifts associated with dementia.