Тут важно понимать, в каком порядке стоят кванторы и в каком смысле считается вероятность.
Если фиксировать основание многочлена, а входные данные будут случайны, то вероятность коллизии всегда будет 1/M независимо от их величины, потому что у случайного многочлена в среднем один корень (лёгкое доказательство: из многочленов P(x)*x+0, P(x)*x+1, ..., P(x)*x+(M-1) ровно один зануляется на данном конкретном значении x).
Но нас обычно интересует другой случай: сначала враг придумывает пару входных данных, а затем мы случайным образом выбираем хеш-функцию из семейства (в данном случае посредством выбора основания), и вероятность считается относительно выбора хеш-функции. И в этом случае вероятность коллизии будет пропорциональна количеству корней у многочлена, который выбрал враг, поэтому чем больше степень, тем больше он может сделать вероятность коллизии.