AR
если на улице не идёт дождь, но идёт снег, то условие верно
Size: a a a
2021 May 13
AR
то есть тут не даже не с булевой логикой проблемы, а и с бытовой
na
Ясно, спасибо.
NZ
Привет, а что посоветуете почитать на тему как избежать бана? Заголовки наверное надо как-то правильно проставлять и тд. А то меня тут после первого же запроса за сайтмапом через scrapy забанили 😐
МС
защиты у каждого сайта свои.
так что, от такого бана никто не застрахован
так что, от такого бана никто не застрахован
МС
прям "почитать" не знаю, одно могу посоветовать, подделывай браузер...
NZ
Буду смотреть, спасибо
NZ
Что-то уже сверх странное, я с браузера ручками зашел на сайт в sitemap.xml и после этого меня забанило. Ранее этот сайт я не пытался парсить. Появляется такая вот ошибка
AR
а на главную?
NZ
Есть идеи, ребят? А то выглядит так что проблема на моей стороне
AR
вобщем-то у меня даже вгет качает этот файл
NZ
В общем это сайт https://www.timberland.com/ если захожу на главную то кинет на .ru и там всё работает, а если куда-то внутрь https://www.timberland.com/shop/mens-shoes то ошибка выше
NZ
причём до того как я попытался зайти на https://www.timberland.com/sitemap.xml всё работало, а после нет
A
Поклади прокси и парсь себе
AR
куки почисти
NZ
пробовал, не помогает
A
Еще вопрос откуда вообще тьі взял Timberland.com/sitemap.xml
NZ
из robots.txt
A
Если там
https://www.timberland.com/.sitemap.xml