К
Size: a a a
2020 December 01
DO
Селениум мощнее сплэша
да я понимаю, что мощнее, но что может быть базовее, чем норм фингерпринтинг) или его специально по-умолчанию не включают, чтобы не прикрыли и его?
DO
В хроме ты лично страницу юзаешь
поясните, пожалуйста, я не понял, что значит "лично"
D
Почти нет таких кейсов же
Ну у меня всегда ощущение, что я супер-базовые задачки решаю и до меня миллион человек должен был на эти грабли наступить. По поводу сразу все реквесты сразу сгенерить - я как раз думал, что не нужно. Грубо говоря, engine скрапи, получая реквест с аргументом finally, увеличивает у себя каунтер на 1, а когда подреквест выполнился - уменьшает на 1. После этого, если каунтер стал равен нулю, он проверяет, завершился ли parent метод, из которого вызывались подреквесты. И если да, то запускает finally.
К
да я понимаю, что мощнее, но что может быть базовее, чем норм фингерпринтинг) или его специально по-умолчанию не включают, чтобы не прикрыли и его?
Базовое, это исполнение js и рендер страницы для скриншотов) А борьба с системами безопасности, это уже не базовое
DO
Базовое, это исполнение js и рендер страницы для скриншотов) А борьба с системами безопасности, это уже не базовое
базовая борьба)
D
Ну у меня всегда ощущение, что я супер-базовые задачки решаю и до меня миллион человек должен был на эти грабли наступить. По поводу сразу все реквесты сразу сгенерить - я как раз думал, что не нужно. Грубо говоря, engine скрапи, получая реквест с аргументом finally, увеличивает у себя каунтер на 1, а когда подреквест выполнился - уменьшает на 1. После этого, если каунтер стал равен нулю, он проверяет, завершился ли parent метод, из которого вызывались подреквесты. И если да, то запускает finally.
Можно просто написать, что я бред написал и так просто это работать не будет, а сложно это никому не нужно :)
DO
Селениум немного отличается от обычного браузера. Почекай в сервисах, вот к примеру посмотри https://bot.sannysoft.com/
ага, здраствуйте. Это я дефолтным chromedriver + selenium открыл
DO
Если кто знает готовое решение / сниппеты, как можно из Selenium или чего другого сделать беспалевный браузер - скиньте, пожалуйста. Очень не хочется городить свои велосипеды, ведь задача это уже 100% пройдена десятками людей
DO
просто где, как не в чате скрапи спрашивать такие вот инсайты)
BL
Если кто знает готовое решение / сниппеты, как можно из Selenium или чего другого сделать беспалевный браузер - скиньте, пожалуйста. Очень не хочется городить свои велосипеды, ведь задача это уже 100% пройдена десятками людей
беспалевный понятие относительное, зависит от уровня защиты
у тебя задача конкретный сайт спарсить или создать супер беспалевный браузер? если первое то в большинстве случаев достаточно отследить запросы и можно их реквестами слать без селениума, контролируя юзер агент, авторизацию и айпи
у тебя задача конкретный сайт спарсить или создать супер беспалевный браузер? если первое то в большинстве случаев достаточно отследить запросы и можно их реквестами слать без селениума, контролируя юзер агент, авторизацию и айпи
A
базовая борьба)
Почитайте что клаудфлайр для енджел_ко нейронку учило отличать ботов от людей за много денег
A
И етот сайт не лучший для "познавания" скрейпинга
A
Но решаемо
S
Если кто знает готовое решение / сниппеты, как можно из Selenium или чего другого сделать беспалевный браузер - скиньте, пожалуйста. Очень не хочется городить свои велосипеды, ведь задача это уже 100% пройдена десятками людей
B
Ну у меня всегда ощущение, что я супер-базовые задачки решаю и до меня миллион человек должен был на эти грабли наступить. По поводу сразу все реквесты сразу сгенерить - я как раз думал, что не нужно. Грубо говоря, engine скрапи, получая реквест с аргументом finally, увеличивает у себя каунтер на 1, а когда подреквест выполнился - уменьшает на 1. После этого, если каунтер стал равен нулю, он проверяет, завершился ли parent метод, из которого вызывались подреквесты. И если да, то запускает finally.
как я понимаю тебе нужно будет еще остальной весь скрапинг останавливать и кэшировать пока не выолняется эти 100 реквестов? типо флагом, потом после того как отработают твои 100 реквестов вернуть флаг и продолжить парсить(вытащить из кэша)?
B
либо прикрутить парсинг на
spider_idle. Крутишь свои 100 реквестов и как оно отработало достаешь в spider_idle твой final реквестB
либо я не понял, что нужно 🙂
DO
Спасибо!
D
либо прикрутить парсинг на
spider_idle. Крутишь свои 100 реквестов и как оно отработало достаешь в spider_idle твой final реквестЯ внутренности не изучал, но это звучит наиболее похоже, потому что решает задачу и вроде бы не мешает остальным процессам - ничего останавливать не надо спецом.