i
Size: a a a
2021 June 17
A
Hello guys
A
I have integrated Selenium with scrapy to trigger javascript events in www.coolmod.com
A
I load de html using Selenium and I use Selectors to get the htmls request to load it with scrapy wich is faster
A
but I can't extract more than one start_url
A
With this I just can extract the first one url, never extract and save the second
A
Have you got any idea about how to deal this or the correct way to do it?
A
МФ
Добрый день,пытаюсь спарсить данный сайт, т.к он требует использования javascript - использую splash. Для теста попробовал сначало отрендерить его на локалхосте, но сплеш не рендерит жс по каким-то причинам и соотвественно выдает пустой скриншот(пробовал отключать режим приватности, не помогло). Пробовал так-же через селениум, на нем все работает отлично,но хотелось бы чего-нибудь побыстрее...
МС
please send you code with pastebin.com or https://gist.github.com/
МС
а если запросы снять?
МФ
немного не понял... Отправить то что выдал мне сплеш в виде хтмл или как?
МС
посмотреть что браузер шлет и сделать то же самое на скрапи
МФ
Браузер шлет запросы к апишке, если перейти с заголовками на эту страницу, то получу пустой ответ - []
МС
Значит что то делаешь не так. Сравнивай заголовки и прочую лабуду
A
Привет. Напомните чем можно удалить теги с текста но оставить те что мне нужно? (H1-H6, strong, ul/li, p)
МС
вроде, говорили, BS умеет... но не уверен
A
Спасибо
(
Кстати, одна из зависимостей скрапи