D
(простейший вариант, как известно - лист с интом внутри)
О, спасибо, не знал. А зачем там мутабельность, если все thread-safe и один поток? Или это не так и тогда это где-то в доках должно быть прописано, что cb-kwargs не сейф?
Size: a a a
2020 December 01
AR
Да
DO
Всем привет! Я начал познавать scrapy с боевой задачки: спарсить angel.co.
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
DO
Посмотри сниффером чем отличаются запросы от селениума и хрома. Сделай их одинаковыми. Начни с банального user-agent.
спасибо) user-agent банально я уже скопировал, но не помогло.
К
Всем привет! Я начал познавать scrapy с боевой задачки: спарсить angel.co.
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
Селениум немного отличается от обычного браузера. Почекай в сервисах, вот к примеру посмотри https://bot.sannysoft.com/
D
А может можно это в стандартный функционал скрапи засунуть? Я даже вижу как это будет. Если в подреквест (внутри parse или производного) передается аргумент finally=finish(), то скрапи сам их считает, и когда эти подреквесты выполнятся, то в конце вызывает finish(). Я думаю это добавило бы гибкости, чтобы решить 99% подобных edge-кейсов.
DO
Селениум немного отличается от обычного браузера. Почекай в сервисах, вот к примеру посмотри https://bot.sannysoft.com/
О! Спасибо. Теперь нужно просто спарсить эту страницу селениумом и посмотреть, что выдаст. Попробую...
AR
А может можно это в стандартный функционал скрапи засунуть? Я даже вижу как это будет. Если в подреквест (внутри parse или производного) передается аргумент finally=finish(), то скрапи сам их считает, и когда эти подреквесты выполнятся, то в конце вызывает finish(). Я думаю это добавило бы гибкости, чтобы решить 99% подобных edge-кейсов.
Почти нет таких кейсов же
К
О! Спасибо. Теперь нужно просто спарсить эту страницу селениумом и посмотреть, что выдаст. Попробую...
Я давно им не пользовался, так что не знаю актуально ли показывает именно этот сервис
AR
Надо ж чтобы сразу все реквесты можно было сгенерить, а это значит никакого пейджинга
AR
Ну или я не понял
DO
Я давно им не пользовался, так что не знаю актуально ли показывает именно этот сервис
А что насчет Splash? Я думал, что вы там для себя уже по кайфу все настроили, но он тоже из коробки наткнулся на Cloudflare
К
А что насчет Splash? Я думал, что вы там для себя уже по кайфу все настроили, но он тоже из коробки наткнулся на Cloudflare
Селениум мощнее сплэша
AR
Всем привет! Я начал познавать scrapy с боевой задачки: спарсить angel.co.
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
Но там стоит cloudflare, поэтому ни requests, ни стоковый scrapy, ни Splash, ни Selenium не берут странички. Последние два возвращают ONE MORE STEP.
И вот вопрос. Но ведь у меня в браузере в гуглхроме в инкогнито все открывается - почему тогда даже в Selenium просит капчу? Я, скорее всего, что-то не то делаю, и нужно просто нужный параметр выставить (я надеюсь). Или я просто наивный мальчик и welcome to real world: нужно покупать индусов, чтобы мне капчу проходили?
Заранее спасибо за ответ, я новенький тут)
В хроме ты лично страницу юзаешь