Bipolar Disorder (BP) is a mental disorder that affects 1-2% of the population. Early diagnosis and targeted treatment can benefit from associated biological markers. The existing methods typically utilize biomarkers, region of interests (ROIs) from anatomical MRI or functional BOLD imaging, but lack the ability of revealing the relationship between integrated modalities and disease. In this paper, we developed an Edge-weighted Graph Attention Network (EGAT) with Dense Hierarchical Pooling (DHP), to better understand the underlying roots of the disorder from the view of structure-function integration. For the input, the underlying graphs are constructed from functional connectivity matrices and the nodal features consist of both the anatomical features and the statistics of the connectivity. We investigated the potential benefits of using EGAT to classify BP vs. Healthy Control (HC). Compared with traditional machine learning classifiers, our proposed EGAT embedding increased improved 10-20% in the accuracy and F1-score, compared with alternative classifiers. More specifically, by examining the attention map and gradient sensitivity of nodal features, we indicated that associated with the abnormality of anatomical geometric properties, multiple interactive patterns among Default Mode, Fronto-parietal and Cingulo-opercular networks contribute to identifying BP.