Size: a a a

2021 May 14

S

SoHard 🎄 in Scrapy
Скорее, кому надо тот купит, а кто будет искать возможность спарсить дешевле спарсит
источник

A

Artyom in Scrapy
как проще всего прозвонить (пингануть) список проксей? через requests?
источник

МС

Михаил Синегубов... in Scrapy
надо "живость" проверить или работоспособность?
источник

A

Artyom in Scrapy
нуу.. и то и то)
источник

AL

Alexey Lemeshevski in Scrapy
Нароод) а дайте пожалуйста ссылок на пару простых руководств по xpath для начинающих?) Чтобы простым языком и с примерами )
источник

A

Artyom in Scrapy
на я так понимаю  проветка наработоспособность убивает двух зайцев сразу
источник

k

kFor in Scrapy
Привет. Есть способы пройти кф при использовании селениума?
источник

МС

Михаил Синегубов... in Scrapy
сказать сайту что не используешь силениум
источник

МС

Михаил Синегубов... in Scrapy
неа, рабочая прокся может быть "прозрачной"
источник

OS

Oleg Shleiko in Scrapy
источник

k

kFor in Scrapy
А как это можно сделать?
chrome_options.add_argument(f'window-size={height},{width}')
   chrome_options.add_argument('hide-scrollbars')
   chrome_options.add_argument('--disable-gpu')
   chrome_options.add_argument('--no-sandbox')
   chrome_options.add_argument('--disable-dev-shm-usage')
   chrome_options.add_argument(
       'user-agent=Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:84.0) Gecko/20100101 Firefox/84.0')
   chrome_options.add_argument('--disable-blink-features=AutomationControlled')
   browser = webdriver.Chrome(options=chrome_options)
источник

МС

Михаил Синегубов... in Scrapy
    chrome_options.add_argument('hide-scrollbars')
   chrome_options.add_argument('--disable-gpu')
   chrome_options.add_argument('--no-sandbox')
   chrome_options.add_argument('--disable-dev-shm-usage')

мне кажется, это как раз не типично для браузера
источник

МС

Михаил Синегубов... in Scrapy
@Verz1Lka как оно по умному слово называется, когда прячешься что ты "не браузер".
источник

A

Artyom in Scrapy
меня за такой вопрос забанили в python beginners, видно народ не в курсе,что парс это серая схема)
источник

A

Artyom in Scrapy
ну а как проверить работоспособность?
источник

МС

Михаил Синегубов... in Scrapy
запросами, с проверкой на анонимность. Чем же еще :).
источник

МС

Михаил Синегубов... in Scrapy
хотя, если садо-мазо и пытаешся обработать паблик листы, первичный отсев можно и пингом проверить. Правда, я не знаю закрывают его или нет на проксях
источник

МС

Михаил Синегубов... in Scrapy
там вообще чуть чуть странный народ.
парс, сам по себе, белый и пушистый, если не наглеть. А вот данные, которые собираешь, тут да, тут могут быть варианты
источник

A

Andrii in Scrapy
Парсить без селениума
источник

AV

Anatoli Valenda in Scrapy
😭папитир меня не любит. Отключил хэдлес и вижу картинку, что вкладка висит в бесконечной загрузке. Url на месте. На что похоже?
источник