Потому что сайт так запрограммирован

И ведь не поспоришь.

Ну наверное ето не пейдж, а директори

Не нужно в этом искать смысл, просто бывают делают окончание со слешом, а бывает без. Особенно тупые миксуют эти два варианта

DEBUG: Redirecting (301) to <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf/> from <GET https://2019.jokerconf.com/2019/talks/3cesz7vgx6oybg3mn3lsf>

в браузере тоже редиректит

проблема высосана из пальца

Всем привет. А подскажите плз есть ли способ запуская паука через скрапид подкинуть ему урлы на парсинг?

Из базы брать?

Передавать урл с файла

не, у меня воркер который запускает эти урлы из очередей будет брать

Ну раз через аргументы будет громоздко, а бд нет, пиши в файлы

у аргументов фиксированная длина?

Зависит от ОС,  но если там полтора урла на джоб, то конечно можно не париться

понял, спасибо

Товарищи, подскажите, плиз: для экономии прокси трафика какие инструменты можете посоветовать? Я пока поставил триальную версию NetBalancer-a для контроля трафика, думаю можно и беЗплатные аналоги найти. Но как бы так сделать, чтоб мой браузер не закачивал тонны картинок с портала, а читал только текст? Может как-то кеширование организовать можно, зайдя заранее этим же браузером на страницу и загрузив основной контент?

Ем? Тебе для парсинга или серфинга?

Наверно для парсинга. Просто ещё сам процесс Парсинга не ковырял, не хочу соврать. У меня есть туториал по парсингу, никак не доберусь. Пока селениум изучаю. Короче мне надо зайти на портал, потратив самое минимальное количество трафика, и там залогиниться, может создать тему на форуме или написать отзыв о товаре, такого плана.

Отключи загрузку изображений в селениуме

Тут вопрос в том, что селениум управляет браузером. А вот как браузеру сказать чтоб он не загружал изображения, я и пытаюсь разобраться. Я могу селениумом «найти css локатор», нажать на кнопку. Но как сделать так, чтоб браузер открыл страницу, не загружая картинки оттуда - пока не нашёл.

Нашёл вот статью про отложенную загрузку изображений, но чё-то сложновато пока идёт материал. Такое впечатление что надо неск дней лопатить ресурсы прежде чем что-то попадётся толковое. Вот и решил спросить вдруг есть у кого уже проверенные способы.