Вот именно, это асинхронность
Оно пушит что-то куда-то, что и замедляет выполнение для нетрудного вычислительного кода (про длительные задачи по типу хттп запросов и работы с файлами мы не говорим)
И уж тем более TPL использует thread pool, а thread pool это неэффективный вариант для загрузки всех ядер.
Parallel же в свою очередь это синхронный API
Т.е. мы говорим в разряде синхронность vs асинхронность, ну и ясен пень посчитать 2 в 10й степени создавая таск это оверхед