Size: a a a

2020 November 09

К

Кирилл in Scrapy
google selenium disable images
источник

A

Andrii in Scrapy
Антон Магурский
Наверно для парсинга. Просто ещё сам процесс Парсинга не ковырял, не хочу соврать. У меня есть туториал по парсингу, никак не доберусь. Пока селениум изучаю. Короче мне надо зайти на портал, потратив самое минимальное количество трафика, и там залогиниться, может создать тему на форуме или написать отзыв о товаре, такого плана.
Тогда не делай все ето браузером, а реквестом для начала, минимум трафика
источник

A

Andrii in Scrapy
И что у тебя там за прокси, что пару мб не может прокатать 🙄
источник

АМ

Антон Магурский... in Scrapy
Если просто открываешь главную страницу того же Амазона, сразу сходу съедается 5 мб трафика. Пока доберёшься до нужного результата, трафик просто улетает.
источник

i

i in Scrapy
тебе же линканули уже гугль поиск
источник

i

i in Scrapy
там второй линк, 87 плюсов на стековере
источник

i

i in Scrapy
даже первый, сверху просто сам гугль решение предлагает (но оно не очень)
источник

АМ

Антон Магурский... in Scrapy
i
даже первый, сверху просто сам гугль решение предлагает (но оно не очень)
Так отож
источник

АМ

Антон Магурский... in Scrapy
Если ставить хром экстеншн, то Амазон может палить плагины, которые стоят на браузере
источник

АМ

Антон Магурский... in Scrapy
В общем, буду сегодня весь вечер это дело гуглить. Ну и этот запрос выше тоже. Если у кого ещё будут мысли, буду признателен.
источник

i

i in Scrapy
ой все
источник

i

i in Scrapy
источник

i

i in Scrapy
см ответ на 87 плюсов это раз. а два зачем тебе селениум амазон вроде и со скрапи прекрасно пашет, и даже без сплеша. И если чо так - в скрапи есть встроенный кэш, который можно включить, и он даже картинки не будет сохранять
источник

АМ

Антон Магурский... in Scrapy
Да. Я эту ссылку и смотрю. Правда джаву не шарю, использую питон, но думаю можно идею понять будет.
источник

i

i in Scrapy
не, ну там конечно надо прокси ротейтор или капчарешалку
источник

i

i in Scrapy
там ответ не для джавы
источник

АМ

Антон Магурский... in Scrapy
Не, прокси ротейтор не подойдёт в моём случае, к сож.
источник

i

i in Scrapy
смотри тот, где 87 плюсов ответ
источник

i

i in Scrapy
Антон Магурский
Не, прокси ротейтор не подойдёт в моём случае, к сож.
почему?
источник

АМ

Антон Магурский... in Scrapy
Задача другая - органический трафик чтоб был. С историей.
источник