Rice paddy irrigation ponds can sustain surprisingly high taxonomic richness and make significant contributions to regional biodiversity. We evaluated the impacts of pesticides and other environmental stressors on the taxonomic richness of freshwater animals in 21 irrigation ponds in Japan. We sampled a wide range of freshwater animals (reptiles, amphibians, fishes, mollusks, crustaceans, insects, annelids, bryozoans, and sponges) and surveyed environmental variables related to pesticide contamination, eutrophication, decreased macrophyte coverage, physical habitat destruction, and invasive alien species. Statistical analyses comprised contraction of highly correlated environmental variables, best-subset model selection, stepwise model selection, and permutation tests. Results showed that: (i) probenazole (fungicide) was the unique significant stressor on fish (i.e., contamination with this compound had a significantly negative correlation with fish taxonomic richness), (ii) the interaction of BPMC (insecticide; also known as fenobucarb) and bluegill (invasive alien fish) was a significant stressor on a “large insect” category (Coleoptera, Ephemeroptera, Hemiptera, Lepidoptera, Odonata, and Trichoptera), (iii) the interaction of BPMC and concrete bank was a significant stressor on an “invertebrate” category, (iv) the combined impacts of BPMC and the other stressors on the invertebrate and large insect categories resulted in an estimated mean loss of taxonomic richness by 15% and 77%, respectively, in comparison with a hypothetical pond with preferable conditions.