The adverse drug-drug interaction (DDI) is a crucial safety concern in drug development. The intricate combinations of traditional Chinese medicine (TCM), while powerful in their therapeutic potentials, also harbor potential risks when incompatibly paired. Some methods have been proposed to infer incompatible herb pairs (IHPs), but most of them focus on revealing and analyzing the adverse reactions of known IHPs, despite that there are still a number of undiscovered IHPs at intervals. This paper introduces a deep attention network (AN-IHP) that effectively exploits diverse types of data for IHPs prediction. AN-IHP designs an attention-aggregation block to learn the ingredient-level features towards herbs and use similarity profiles to represent the efficacy and property. Then it defines commonality and specificity constraints to enhance the representations from different types of features. After that, it makes dynamic representation fusion across herb pairs using a gated attention unit (GAU) and leverages a deep neural network (DNN) to predict IHPs. The experimental results on the collected IHPTCM dataset demonstrate that AN-IHP outperforms competitive methods. AN-IHP provides interpretability for analyzing IHPs at the ingredient level, proves beneficial for wet-lab experiments. It is also capable of predicting DDIs.