Multi-task optimization problems in the real world often contain constraints. When dealing with these problems, it is necessary to consider multiple tasks and their respective constraints simultaneously. However, most of existing research on multi-task optimization neglects the influence of constraints, which leads to slow convergence speed and susceptibility to local optima. To address the aforementioned issues, this paper proposes a reinforcement learning assisted constrained multi-task evolutionary algorithm. First, to meet the different requirements of different tasks and constraints, an adaptive operator selection strategy based on reinforcement learning is proposed. Second, to enhance population diversity, a multi-population method with different constraint handling techniques is introduced. This method assigns two independent populations to each task. The main population aims to find feasible solutions, while the auxiliary population focuses on exploring the entire search space. Finally, considering the individual differences between tasks, a dimension-based knowledge transfer is employed to facilitate positive information exchange. Compared with other state-of-the-art constrained evolutionary algorithms, the experimental results on constrained multi-task benchmark suite demonstrate the superiority of the proposed algorithm. The source code can be obtained from https://github.com/yufeiyng/RL-CMTEA.