Ну я начал ломать голову - сначала подумал, что какие-то машины есть с дублирующимися IP - не оказалось. Спросил, кто что менял за вечер (потому что я ленивый и ничего не делал, только кое-где MTU поправил) - ну и меня осенило, что мне раннер раздуплили на два.