In recent decades, Rapidly-exploring Random Tree star (RRT*) has garnered significant attention in the field of path planning due to its asymptotical optimality feature. However, the paths obtained by RRT* are comprised of polylines and too tortuous to be followed by underwater robots. To solve the drawback, this paper proposes a novel autonomous underwater vehicle (AUV) path planning method based on B-spline RRT* (BSRRT*). It focuses on planning optimal paths under maximum curvature constraints, which considerably improves the path smoothness. Different from conventional RRT*-based methods, the tree generated by BSRRT* is composed of piecewise B-spline curves that meet the curvature constraint. The analytical formulas of curve curvature and curve length enable BSRRT* to extend the tree with a low computational cost. Furthermore, start and end orientations constraints are imposed via the introduction of start node pairs and end node pairs. BSRRT* also combines with the expanded candidate strategy and the goal-biased strategy for a faster convergence rate. Simulation results demonstrate that compared to existing approaches, BSRRT* can provide shorter smooth paths with lower time costs.