сохраняй response.text, а не урлы.

ну и джс отключай

Ну почему же? Страница сайта - это файл (-ы) на сервере, которые отдаются по запросу других компютеров. А уж какой программой я этот файл забираю, это моё дело. За молоком можно и на опеле поехать, и на велосипеде и вообще пешочком. А уж что с этим молоком я буду делать так вообще никого не должно интересовать. Может с печеньем съем, может манку сварю, может клей казеиновый буду делать или с котом поделюсь.
Странными выглядят как раз требования везти молоко только на тролейбусе, открывать бутылку читая молитвы и посматривая лёгкое порно и после каждого глотка сплёвывать непонятного рода примеси. :)

в общем я просто сделал Middleware реквест в котором делается через селениум и всё продолжило работать с Rule и LinkExtractor

в сша есть закон что если сайт доступен человеку то он должен быть доступен для роботов, по крайней мере мне так заказчик сказал

Привет. Можно у Вас в канале разместить объявление?

В конце апреля планируется Parsing Conf 2. Темы докладов — самые разные. От сбора данных в интернете до методологий сбора данных "в полях".

Приглашаются все желающие. Неважно: есть у Вас опыт или нет.

Для того, чтобы понять, какие темы и направления Вы можете осветить на митапе, мы дадим несколько примеров тем докладов:
- Парсинг на C#
- Библиотека ferret
- Как скачать весь интернет
- Методология сбора данных с сейсмометров в Пакистане
- Разметка данных с помощью Yandex.Толока

Для того, чтобы участвовать, нужно предложить тему доклада до 9 апреля плюс тезисы.

Доклады по времени ограничиваются 30 минутами. Но также должны быть не короче 10 минут. Каждый доклад должен сопровождаться презентацией. Срок предоставления презентации до 19 апреля.

Контакты: @cuda23
Link channel: https://t.me/parsing_conf

Язык доклада и какой формат встречи (онлайн, как я понял)?

Онлайн. Русский.

Кто-нибудь парсил bitly.com? Ну то есть задача в том чтобы дать свою ссылку и забрать сгенерированную. Я в сурсах сайта нашел скрипт который это делает но он на json и я вообще не алë

Вроде выглядит структурно просто, но я все равно не знаю че с этим делать

У них же есть api

Так ведь нужен для этого аккаунт

Бесплатный даёт 1000 линков в месяц

А нужно больше

Ну да)

Если просто парсить то неограниченно

Ты не можешь достать данные из json?

Я сомневаюсь что прям неограниченно. Они на этом деньги зарабатывают, так что скорее всего там будут какие-то проблемы с антиботами, или как минимум лимитом на ip

У меня прокси

Согласен)