Если перетренировать НС то она проложит эти множества так, что они будут проходить через граничные точки, которые будут являться результатом обработки датасета. То есть НС тупо запомнит ответы и не будет способна правильно принять решение если дать ей новые данные, которые она не видела. Поэтому нельзя тыкать туеву хучу нейронов и слоев в НС. Всегда надо стараться найти компромисс между количеством связей и точностью НС.
Хорошо себя зарекомендовало рандомное отключение части нейронов при обучении и использование разных функций активации в разных слоях