Мне как-то один знакомый, с огромным опытом дс, сказал -«Чтобы научиться рисовать художнику, ему нужен карандаш, ластик и лист. А чтобы воплощать шедевры в реальность - все остальные инструменты.» Если провести аналогию, то тебе не нужна сразу вся математика. Учитывай, что на первых этапах ты изучаешь язык программирования, простые алгоритмы и работу с БД, а только потом приступаешь к математике. Как только дойдёшь до первых шагов в ML, тогда уже нужна будет математика, чтобы понять о чем идёт речь в документации как минимум.
Опять же, возвращаясь к первым словам - тебе нужны все инструменты, чтобы научиться видеть конечный продукт, если ты ожидаешь что-то крутое и прогрессивное.