Там в вики сказано только про частные случаи, когда очевидно, что положение равновесия неустойчиво, потому что существует хотя бы одно направление в его окрестности, вдоль которого система уходит в разнос
Вопрос и правда сложный. Вот статья про достаточно общий пример, когда в окрестности положения равновесия существуют разные направления (соответствующие собственным векторам, собственные значения для которых имеют либо положительную, либо отрицательную вещественную часть), разбивающие так называемое центральное многообразие на три части: https://en.m.wikipedia.org/wiki/Center_manifold