Abstract A novel deep learning algorithm is proposed for hollow heart detection which is an internal tuber defect. Hollow heart is one of many internal defects that decrease the market value of potatoes in the fresh market and food processing sectors. Susceptibility to internal defects like the hollow heart is influenced by genetic and environmental factors so elimination of defect-prone material in potato breeding programs is important. Current methods of evaluation utilize human scoring which is limiting (only collects binary data) relative to the data collection capacity afforded by computer vision or are based upon X-ray transmission techniques that are both expensive and can be hazardous. Automation of defect classification (e.g. hollow heart) from data sets collected using inexpensive, consumer-grade hardware has the potential to increase throughput and reduce bias in public breeding programs. The proposed algorithm consists of ResNet50 as the backbone of the model followed by a shallow fully connected network (FCN). A simple augmentation technique is performed to increase the number of images in the data set. The performance of the proposed algorithm is validated by investigating metrics such as precision and the area under the curve (AUC).