Всем привет.
Знаю, вопросы немного странные...
Вопросы:
1.Если бот(скрапер) осуществляет запрос на страницу сайта, после чего сервер редеректит его, он успевает получить код страницы (html), но может ли это быть не так в каких-то случаях (при условии что сетевая инфраструктура, файервол и т.д. настроены нормально и сеть работает стабильно) ?
(
Просто некоторые сайты ведут себя странно, иногда перенаправляют, а иногда нет...
)
2.Оказывают ли сильное влияние редиректы на скраперов (в плане получения данных и производительности)?
(PS: если кто-то опытный уделит на это время, ответив несколько слов, что думаете об этом, заранее благодарю.)