МС
а в чем проблема? ну, фильтрануться запросы. Или я про другое подумал?
Size: a a a
2021 April 30
AR
ну надо внутренние, а будут некоторые внешние
МС
первый сайт - надо по всем страницам пройти или только с главной собрать?
МС
я тебя обожаю, ты сказал все, кроме ответа на мой вопрос 😂
МС
сейчас вопрос в обратных ссылках.
есть первый сайт, с него собрали ссылки. По ним перешли:
1. обратно на первый сайт можно возвращаться (я уже понял, что это что то вроде HH, но все же)?
2. между соседними сайтами можно переходить? К примеру, получили два сайта, а у них перекресные ссылки
3. те сайты, на которые пришли с первого - их надо полностью проходить, или только до определенного уровня?
есть первый сайт, с него собрали ссылки. По ним перешли:
1. обратно на первый сайт можно возвращаться (я уже понял, что это что то вроде HH, но все же)?
2. между соседними сайтами можно переходить? К примеру, получили два сайта, а у них перекресные ссылки
3. те сайты, на которые пришли с первого - их надо полностью проходить, или только до определенного уровня?
МС
уф, надеюсь понятно написал :)
МС
а вообще, если не вдаваться в подробности. Я бы allowed_domains передавал в колбеки. В самом пауке вообще убрал бы параметр.
В самом колбеке ссылки доставать через LinkExtractor, ну, или с фильтром по домену.
Можно еще, дополнительно, передавать "можно ли парсить внешние ссылки"
В самом колбеке ссылки доставать через LinkExtractor, ну, или с фильтром по домену.
Можно еще, дополнительно, передавать "можно ли парсить внешние ссылки"
МС
в самом LinkExtractor, есть же allowed_domains
надо просто отключить фильтр ссылок по домену самого скрапи
хз, насколько это правильно
надо просто отключить фильтр ссылок по домену самого скрапи
хз, насколько это правильно
МС
если написал непонятную хрень - спрашивай, попытаюсь объяснить :)
МС
ииии? :)
МС
аа, так и написал бы сразу, "вроде норм", а то написал что сделал и хз, может "нихрена ничего не работает" 😀😂
MA
Здравствуйте, у меня вопрос. После прохождения страницы с логином и паролем мне нужно было бы нажать кнопку, которая переводит меня на другую страницу, как у меня такое поведение?
МС
Maybe you should write in English? :)
или я не так имя понял :)
или я не так имя понял :)
МС
F12 -> Network
Смотреть запросы, с помощью которых происходит переход на страницу.
Но, это не всегда требуется. Чаще всего, этот шаг можно пропустить и сразу запрашивать страницу с данным.
Смотреть запросы, с помощью которых происходит переход на страницу.
Но, это не всегда требуется. Чаще всего, этот шаг можно пропустить и сразу запрашивать страницу с данным.