Size: a a a

2021 April 27

i

i in Scrapy
неконсистентность кэша
источник

П

Пастырь in Scrapy
А если так забирать ?
источник

r

rink0 in Scrapy
Жиза. Похожая ситуация была когда парсил маркетплейс зарубежный. Говорит 40 тысяч результатов. А в итоге там и 10 тысяч нет
источник

П

Пастырь in Scrapy
Хх говорит что у них 40 млн резюме, а вот в поиске всего 10:)
источник

SS

Stepan Smirnov in Scrapy
Задача:
Реализовать экспорт item'а в сторонее API через POST request.
При этом желательно использовать несколько item, file pipelines перед тем как отправть POST request.
Проблема:
Из pipeline нельзя отправить request. Из middleware можно, но они работают до pipeline.
Что делать?
источник

AR

Andrey Rahmatullin in Scrapy
источник
2021 April 28

И

Илья in Scrapy
Ребята, можете подкинуть статью, где сказано как грамотно подменивать хедерс, использовать ВПН и попросту скрываться при парсинге?
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
сложная статья
источник

МС

Михаил Синегубов... in Scrapy
Скрываться от кого? От товарища майора?
источник

И

Илья in Scrapy
Да
источник

И

Илья in Scrapy
И ещё вопрос: как безопаснее парсить, с помощью селениум или рекуестс?
источник

AR

Andrey Rahmatullin in Scrapy
безопаснее тоже от товарища майора?
источник

И

Илья in Scrapy
Да
источник

AR

Andrey Rahmatullin in Scrapy
тогда нет разницы
источник

И

Илья in Scrapy
Просто я слышал, что если делать с помощью рекуестс, то будет нестандартное поведение на браузере
источник

И

Илья in Scrapy
А с помощью селениум все норм, как пользователь
источник

AR

Andrey Rahmatullin in Scrapy
товарищу майору-то какое дело что там сайт думает
источник

S

SoHard 🎄 in Scrapy
да с рекуестс на браузере будет точно нестандартное поведение
источник

И

Илья in Scrapy
Значит с селениум будет меньше шансов спалиться
источник