купленные, но бывают битые и нет долгое время респонза

да должно по идее помочь

да думаю должен

спс

Нет, озадачиваться сравнением производительности не надо 😁, это лишнее. Я к тому, что БС как раз и начал с какого-то момента использовать lxml на уровне настоятельных рекомендаций как раз именно из-за его скорости по сравнению со своими/стандартными решениями. Но прошло столько времени, а api xpath, как самое эффективное, из lxml так и не перекочевало. Я лично вообще за pure xpath, а все эти БС-ы... уж лучше стандартным html.parser-ом заморочиться и не тянуть лишние зависимости.
Мне как-то на stackoverflow один увлеченный товарищ с пеной у рта доказывал, какой БС замечательный и самый лучший (не сравнится с lxml), и что стоит им начать пользоваться, как потом за уши не оттянешь. 😁

Объяснится просто: заказчик хочет поддерживать потом то, что знает сам

заказчик аналог хотлайн в мексике, не думаю что СЕО будет что-то поддерживать)

Ну, зачем-то же подчеркнул, что не использовать. О мотивации из тех 2-х пунктов можно только догадываться

Привет, большое спасибо, то что нужно! Я так понял update_settings это не очень распространённый вариант (что-то в документации про него ничего нет, кроме его наличия в исходниках), поэтому сделал через мидлвэир в котором условие на запрос через селениум, а иначе возвращаю None и в таком случае работает дефолтный варинт скрапи (обычный request видимо).

Единственное у меня повился вопрос, а где находится мидлвеир с помощью которого скрапи в итоге отправляет запрос? Я просмотрел все встроенные мидлвеиры(точнее их метод process_request) и никто не отправляет

вроде же шедулер добавляет в очередь запросы...

запрос проходит через каждый мидлварь

по очереди

и там что-то с ним случается. или не случается

Это я понял, только вот не вижу мидлвеир который отправляет запрос

мидлвари на то и мидл

ты что-то другое должен искать

а, ок, спасибо, но это уже скорее просто интерес был :)

смотри всякое в scrapy.core

Возможно имеет смысл взглянуть на архитектуру scrapy
https://docs.scrapy.org/en/latest/topics/architecture.html

появился интересный момент с cloudflare