Image classification in data-limited environments presents a significant challenge, as collecting and labeling large image datasets in real-world applications is often costly and time-consuming. This has led to increasing interest in developing models under data-constrained conditions. This paper introduces the Feature Optimization and Dropout in Genetic Programming (FOD-GP) framework, which addresses this issue by leveraging Genetic Programming (GP) to evolve models automatically. FOD-GP incorporates feature optimization and adaptive dropout techniques to improve overall performance. Experimental evaluations on benchmark datasets, including CIFAR10, FMNIST, and SVHN, demonstrate that FOD-GP improves training efficiency. In particular, FOD-GP achieves up to a 12% increase in classification accuracy over traditional methods. The effectiveness of the proposed framework is validated through statistical analysis, confirming its practicality for image classification. These findings establish a foundation for future advancements in data-limited and interpretable machine learning, offering a scalable solution for complex classification tasks.