АМ
С хедлесс надо попробовать. Нашёл туториал, попробую по нему https://duo.com/decipher/driving-headless-chrome-with-python
Size: a a a
2019 June 04
DS
Настоящий браузер всё-равно несколько не то, интеграция сложнее, работает, кмк медленнее. А вот scrapy + splash просто огонь! Супер удобное апи, установка через докер и тп. Из минусов: на редких сайтах может скрэшиться внезапно + рендеринг не всегда аккуратен
DS
Я разные варианты пробовал и остановился на этом
A
Dmitriy Shashkin
Настоящий браузер всё-равно несколько не то, интеграция сложнее, работает, кмк медленнее. А вот scrapy + splash просто огонь! Супер удобное апи, установка через докер и тп. Из минусов: на редких сайтах может скрэшиться внезапно + рендеринг не всегда аккуратен
не понял, что медленнее чего работает?
DS
не понял, что медленнее чего работает?
headless chrome медленнее чем splash, по крайней мере по ощущениям, я не замерял
A
в хедлесе как раз можно отключить какуие-то загрузки если не нужны, например сказать не грузить картинки
DS
"Process multiple pages in parallel, turn OFF images or use Adblock Plus rules to make rendering faster."
Сплэш тоже всякое умеет
Сплэш тоже всякое умеет
A
тогда круто бы сравнить, да
хедлесс это не комбайн, в параллель сам не умеет, но самому запустить его в параллель легко
хедлесс это не комбайн, в параллель сам не умеет, но самому запустить его в параллель легко
DS
У меня ещё пару пожеланий было необычных, типа перехвата всех http запросов, чтение лога консоли разработчика и ещё что. И с headless chrome я вроде даже смог всё сделать, но это было как-то сложно, а splash всё это сам делает.
АМ
Во, перехват логов запросов - это прям то, что мне сейчас нужно
A
а через тор сплэш легко проксировать?
АМ
Нет какого-то готового решения?
DS
Ну вот с headless chrome я использовал прокси сервер на яве, который всё логировал, а сплэш в одном из форматов ответа просто отдаёт HAR со всеми запросами
DS
а через тор сплэш легко проксировать?
Не пробовал)
DS
Нет какого-то готового решения?
К
как быть если надо запустить обход по 2-ум столбцам dataframe и сравнивать их в функции между собой?
пробую так, но что в map закинуть тогда не понимаю
пробую так, но что в map закинуть тогда не понимаю
АМ
Это можно сделать через
df.apply(f, axis=1)АМ
АМ
Вот хороший пример
