DM
Народ, подскажите один технический момент, если кто в курсе.
У меня задача чекнуть 100к доменов на предмет определенных паттернов на их главных страницах (то есть запрашиваю курлом HTML с сайта, проверяю его на паттерны, записываю в лог, и следующий домен).
Взял сервак с гигабитным каналом, оперативки 10 гигов, процессор двухядерный, в общем ресурсов хватает.
Запустил свой чекер в 500 потоков на данном сервере (т.е. по 500 одновременных коннектов к сайтам).
Все стабильно работало несколько дней, после чего через 3 дня начали сыпаться ошибки, что DNS резолвер отвалился, т.е. к доменам нельзя было обратиться по доменному имени, и даже на сервере банальные проверки типа wget google[.]com или curl google[.]com отвечали, что не могут отрезолвить домен.
Я уточняю у хостера, в чем беда, хостер сообщает, что у них некие сетевые лимиты к портам DNS (53|993), то есть, типа в процессе работы скриптов накапливаются UDP подключения по DNS портам, которые получают resolve информацию, и типа перегружаются запросами, и перестают работать.
Кто нибудь может мне ламеру объяснить, что это за ограничения такие, и как их можно выявить перед покупкой сервера? К примеру, если буду выбирать сервак без этого гемороя, чтобы быть уверенным, что никаких подобных ограничений не будет.
Буду признателен, если кто подскажет, из за чего на сервере такая беда происходит, и можно ли её в рамках текущего сервера побороть, или надо покупать более мощный, или какой то по особенному сконфигурированный.
У меня задача чекнуть 100к доменов на предмет определенных паттернов на их главных страницах (то есть запрашиваю курлом HTML с сайта, проверяю его на паттерны, записываю в лог, и следующий домен).
Взял сервак с гигабитным каналом, оперативки 10 гигов, процессор двухядерный, в общем ресурсов хватает.
Запустил свой чекер в 500 потоков на данном сервере (т.е. по 500 одновременных коннектов к сайтам).
Все стабильно работало несколько дней, после чего через 3 дня начали сыпаться ошибки, что DNS резолвер отвалился, т.е. к доменам нельзя было обратиться по доменному имени, и даже на сервере банальные проверки типа wget google[.]com или curl google[.]com отвечали, что не могут отрезолвить домен.
Я уточняю у хостера, в чем беда, хостер сообщает, что у них некие сетевые лимиты к портам DNS (53|993), то есть, типа в процессе работы скриптов накапливаются UDP подключения по DNS портам, которые получают resolve информацию, и типа перегружаются запросами, и перестают работать.
Кто нибудь может мне ламеру объяснить, что это за ограничения такие, и как их можно выявить перед покупкой сервера? К примеру, если буду выбирать сервак без этого гемороя, чтобы быть уверенным, что никаких подобных ограничений не будет.
Буду признателен, если кто подскажет, из за чего на сервере такая беда происходит, и можно ли её в рамках текущего сервера побороть, или надо покупать более мощный, или какой то по особенному сконфигурированный.
ты просто досишь интернеты, за что ловишь банан. любой нормальный хостер это делает. поставь себе днс кеш и юзай его