да

тоже самое что ты и requests подключишь(но так не надо). Попробуй, я не часто юзаю могу что-то упустить.

ок спасибо, надо будет попробовать на каком-нибудь новом проекте разок

лучше прокинуть в мете

если уже никак не получится, то подключать инлайн_реквесты

в общем заборол я проблему, и всё получилось. если кому интересно, то во втором методе переопределил селектор лодера, и всё стало хорошо: https://pastebin.com/qFYnDLnm

прокидывать в мете я не стал, так как пока не вижу причин делать это. передаю аргументом

Всем привет, друзья!

Кто парсер на заказ несложный может написать? ТЗ есть, готов в личку прислать прм сейчас

#нужен_парсер #срочно #help

Ребят, парсил с Scrapy с авторизацией. Такой вопрос, подключая Splash нужно ли прокидывать авторизацию снова или он подхватывает аторизацию Scrapy?

Всем привет. Ребят с хедлесс не работал, так-что сильно не пинайте

Хедлесс работает только с селениум?

Селениум это драйвер, управляющий браузером. Браузер  может быть в режиме хедлесс. Начиная от устаревшего phantomjs и заканчивая обычным хромом в режиме хедлесс. Или фаерфоксом.  Ну да селениумом можно перевести браузер в этот режим. И селениум самый популярный. А чего сделать то охота?

По-умолчанию нет, но легко настраивается https://github.com/scrapy-plugins/scrapy-splash/blob/master/README.rst#session-handling

О, спасибо огромное!

Хочу написать бота для постинга в facebook  в фоновом режиме, чтоб небыло окон никаких мешающие пользователю.

Апи не позволяет делать постинг?

Вот честно в сторону API не смотрел

вопрос по middleware, в какое место лучше всего вывести такую логику. паук в парсит ссылки товаров на странице со списком товаров, и в for loop переходит на товар для сбора детальной инфы по товару. если ссылка на товар уже есть в базе, то переходить по ней для дальнейшего изучения уже не нужно. пока у меня такая проверка происходит в самом теле паука. чую, что это не лучшая практика. куда лучше перенести код?

В скрапи же полно механизмов на предмет не скрапить дубликаты, там иногда наоборот надо задавать по логике, чтобы он несколько раз на одну и ту же страницу зашел,ты их точно используешь? Плюс всякие linkextractor.  Или ты этот спайдер несколько раз запускаешь? Имхо, если это не промышленно, можно и в теле проверять, главное вне цикла for, либо засунуть в signal spider_opened особо по-скорости ты не выиграешь, архитектурно разве что.