With the development of the Internet, businesses are confronted with a burgeoning volume of cross-industry complaint information, posing challenges for traditional manual classification methods. In this paper, a Complaint Text Classification Framework (CCF) is proposed, leveraging state-of-the-art Large Language Models to categorize complaint information efficiently. CCF adopts a multi-step approach, including real-time monitoring, data preprocessing, feature extraction, and classification prediction, with the aim of enhancing the accuracy and efficiency of complaint categorization for organizations grappling with vast datasets. Extensive experimental evaluations demonstrate that bolstered by the utilization of the Yi-34B large model, CCF excels in accurately categorizing complaints, underscoring its potential to streamline complaint management processes within today's data-driven environment. This framework also serves as a benchmark for future research endeavors.