In colorectal cancer (CRC), accurately predicting lymph node metastasis (LNM) contributes to developing appropriate treatment plans and serves as the key to long‐term survival of patients. In the clinical settings, preoperative LNM diagnosis in CRC predominantly depends on computed tomography (CT). Nevertheless, lymph nodes are small in size and difficult to identify on 3D CT scans, and CT‐based diagnosis of metastatic lymph nodes is prone to a significant misdiagnosis rate and lacks consistency across clinicians. Currently, there is no automatic system available for LNM prediction in CRC via 3D CT scans. In addition, existing deep learning‐ (DL‐) based lymph node detection models present low detection accuracy and high false‐positive rates, and most existing DL‐based lymph node metastasis prediction models mainly use tumor area characteristics but fail to adequately utilize lymph node information, thus not yielding satisfactory results. To tackle these issues, we propose an intelligent diagnosis system for this challenging task, mainly including a lymph node detection (LND) model and a lymph node metastasis prediction (LNMP) model. In detail, the LND model utilizes an encoder‐decoder network to detect lymph nodes, and the LNMP model employs an innovative attention‐based multiple instance learning (MIL) network. An instance‐level self‐attention feature enhancement module is designed to extract and augment lymph node features as a bag of instances. Furthermore, a bag‐level MIL prediction module is employed to extract instance features and create a bag representation for the ultimate LNM prediction. As far as we know, the proposed intelligent system represents the pioneering method for addressing this complex clinical challenge. In experiments, our proposed intelligent system achieves the AUC of 75.4% and the accuracy of 73.9%, showcasing a significant enhancement compared to physicians specialising in CRC and highlighting its strong clinical applicability. The accessible code can be found at https://github.com/SCU-MI/IS-LNM .