если бы вдруг было наоборот, что юзер написал, что надо квадраты сравнить, а мы сравнивали корни, а потом оказалось, что мы замапили не тот квадрат на корень
Мне кажется, ты выбрал правильную схему исследования этого процесса. Действительно, надо рассмотреть случаи, когда корни и квадраты не соответствуют друг другу.
не, наверное, всё же, сравнивать квадраты безопасно. Опознал, какое граничное число из double даёт неподходящий корень, считаешь его константой для сравнения квадратов