Size: a a a

2021 June 04

S

SoHard 🎄 in Scrapy
Больше всего интересует надо ли вообще селениум там
источник

H

Harsh in Scrapy
Depends on xhr calls. If it's not cookies, session id based, that's optimal
источник

VR

Vadim Ryzhkov in Scrapy
Это накрутка рекламы. Намного легче запустить браузер и проверить наличие рекламы, чем как-либо пытаться все организовать на запросах. Просто потратить кучу времени ради сомнительного результата
источник

VR

Vadim Ryzhkov in Scrapy
Спасибо
источник

H

Harsh in Scrapy
👍
источник
2021 June 05

P

Pavel in Scrapy
Помогите пожалуйста.
Мне нужно в функцию start_requests  добавить данные со страницы сайта который планирую парсить.

Есть какая то функция, которая единоразово запускается перед start_requests ?
источник

МС

Михаил Синегубов... in Scrapy
Насколько я знаю - никакая.
1. Запрашиваеш страницу сайта.
2. В методе parse генериш свои запросы, колбек на какой другой метод
источник

P

Pavel in Scrapy
Спасибо за ответ.
источник

(

(o_O) in Scrapy
Есть не упоминаемый в документации, но отлично подходящий для некоторых сценариев InitSpider
источник

МС

Михаил Синегубов... in Scrapy
о, блин, вери биг сенкс
источник

P

Pavel in Scrapy
Отлично. Благодарю
источник
2021 June 06

SS

Stepan Smirnov in Scrapy
Уважаемые знатоки! Стоти ли инфорсить использование Request subclasses на большом проекте (до 500-600 пауков)?
Например, для заполнения форм использовать только FormRequest, для  получения json response отправлять только  JsonRequest?
источник

AR

Andrey Rahmatullin in Scrapy
Нет
источник

SS

Stepan Smirnov in Scrapy
Почему? Инфорсмент потратит больше ресурсов чем сэкономит?
источник

AR

Andrey Rahmatullin in Scrapy
Не вижу что он сэкономит
источник

SS

Stepan Smirnov in Scrapy
Время на чтение кода, на починку пауков.
источник

AR

Andrey Rahmatullin in Scrapy
Вряд ли, но твоё дело
источник

AR

Andrey Rahmatullin in Scrapy
JsonRequest вообще не нужен (и нет, он не "для  получения json response")
источник

H

Harsh in Scrapy
FormReqest.from_response is good way to try and fill forms. Aspx site particularly
источник

NS

Nikolay Semenov in Scrapy
Подскажите, пожалуйста. Хочу узнать состояние объекта. Но при парсинги пишет display: none когда display: block;
источник