Народ, подскажите один технический момент, если кто в курсе.
У меня задача чекнуть 100к доменов на предмет определенных паттернов на их главных страницах (то есть запрашиваю курлом HTML с сайта, проверяю его на паттерны, записываю в лог, и следующий домен).
Взял сервак с гигабитным каналом, оперативки 10 гигов, процессор двухядерный, в общем ресурсов хватает.
Запустил свой чекер в 500 потоков на данном сервере (т.е. по 500 одновременных коннектов к сайтам).
Все стабильно работало несколько дней, после чего через 3 дня начали сыпаться ошибки, что DNS резолвер отвалился, т.е. к доменам нельзя было обратиться по доменному имени, и даже на сервере банальные проверки типа wget google[.]com или curl google[.]com отвечали, что не могут отрезолвить домен.
Я уточняю у хостера, в чем беда, хостер сообщает, что у них некие сетевые лимиты к портам DNS (53|993), то есть, типа в процессе работы скриптов накапливаются UDP подключения по DNS портам, которые получают resolve информацию, и типа перегружаются запросами, и перестают работать.
Кто нибудь может мне ламеру объяснить, что это за ограничения такие, и как их можно выявить перед покупкой сервера? К примеру, если буду выбирать сервак без этого гемороя, чтобы быть уверенным, что никаких подобных ограничений не будет.
Буду признателен, если кто подскажет, из за чего на сервере такая беда происходит, и можно ли её в рамках текущего сервера побороть, или надо покупать более мощный, или какой то по особенному сконфигурированный.