SS
Так что парси скрейпи в 200 потоков с хедером «poshli nahui»
Size: a a a
2020 March 04
М
Тут недавно одному ютуберу от ютуба страйк прилетел за видео, в котором он парсит ХХ. Идиотизм блин. При этом они еще и суд проиграли, который разрешил всем желающим парсить ХХ
да кучу такой инфы я видел, пока ресурс изучал. где малейший намек на покушение на их базу - тут же юристы от хх бегут с требованием удалить контент
М
Так что парси скрейпи в 200 потоков с хедером «poshli nahui»
боюсь люди, которые оплатили аккаунт, не поймут)))
SS
боюсь люди, которые оплатили аккаунт, не поймут)))
Шучу конечно. Аккаунт лимитный? С ограничением на количество в день или анлим?
SS
Ну, тогда селениум это действительно хороший выход. Скорость у него нормальная, но немного больше ресурсов жрет. Тебе же все равно на скорость. Ты ведь не будешь на платнике в многопоток парсить
SS
Если кому интересно почитать полную версию как ХХ нагнули, вот ссыль
https://br.fas.gov.ru/ca/upravlenie-regulirovaniya-svyazi-i-informatsionnyh-tehnologiy/8e4961ce-3f9c-4b37-9f4b-b2804deeec88/?query=ООО%20«Хэдхантер»
https://br.fas.gov.ru/ca/upravlenie-regulirovaniya-svyazi-i-informatsionnyh-tehnologiy/8e4961ce-3f9c-4b37-9f4b-b2804deeec88/?query=ООО%20«Хэдхантер»
МС
Если кому интересно почитать полную версию как ХХ нагнули, вот ссыль
https://br.fas.gov.ru/ca/upravlenie-regulirovaniya-svyazi-i-informatsionnyh-tehnologiy/8e4961ce-3f9c-4b37-9f4b-b2804deeec88/?query=ООО%20«Хэдхантер»
https://br.fas.gov.ru/ca/upravlenie-regulirovaniya-svyazi-i-informatsionnyh-tehnologiy/8e4961ce-3f9c-4b37-9f4b-b2804deeec88/?query=ООО%20«Хэдхантер»
ну, к сожалению, у нас не прецендентное судебное производство, так что, только в рамочку на стену повесить...
МС
или к счастью.... хз
i
оно не работает в 3.8
ну там я так понял kmike предложил заюзать Plyvel, но на тот момент с ним были траблы и 28 декабря кто-то психанул и вырезал leveldb за 2 дня 😞
а 22 января на гитхабе plyvel 1.2.0 уже нормально проходил CI на python 3.8 и были сгенерены wheels: https://github.com/wbolster/plyvel/issues/108
а 22 января на гитхабе plyvel 1.2.0 уже нормально проходил CI на python 3.8 и были сгенерены wheels: https://github.com/wbolster/plyvel/issues/108
DO
Ну, тогда селениум это действительно хороший выход. Скорость у него нормальная, но немного больше ресурсов жрет. Тебе же все равно на скорость. Ты ведь не будешь на платнике в многопоток парсить
Пробовал юзать селениум, но всеравно высекают:
1. Менял navigator.webdriver в браузере на null
2. В webdriver.exe заменял'$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
(нашел вот тут https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver?noredirect=1&lq=1)
3. Запускал с:
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
И ничего не помогало, через пару перехдов по ссылкам прилетала капча. Хоть в нормальном браузере все работало хорошо.
Вопрос кто-то знает что еще может палить силениум?
Если кому интересно сайт https://www.wayfair.com
1. Менял navigator.webdriver в браузере на null
2. В webdriver.exe заменял'$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
(нашел вот тут https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver?noredirect=1&lq=1)
3. Запускал с:
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
И ничего не помогало, через пару перехдов по ссылкам прилетала капча. Хоть в нормальном браузере все работало хорошо.
Вопрос кто-то знает что еще может палить силениум?
Если кому интересно сайт https://www.wayfair.com
SS
Denis Olianiuk
Пробовал юзать селениум, но всеравно высекают:
1. Менял navigator.webdriver в браузере на null
2. В webdriver.exe заменял'$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
(нашел вот тут https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver?noredirect=1&lq=1)
3. Запускал с:
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
И ничего не помогало, через пару перехдов по ссылкам прилетала капча. Хоть в нормальном браузере все работало хорошо.
Вопрос кто-то знает что еще может палить силениум?
Если кому интересно сайт https://www.wayfair.com
1. Менял navigator.webdriver в браузере на null
2. В webdriver.exe заменял'$cdc_asdjflasutopfhvcZLmcfl_' на такую-же по длине строку но с другими символами.
(нашел вот тут https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver?noredirect=1&lq=1)
3. Запускал с:
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
options.add_argument('--disable-useAutomationExtension')
И ничего не помогало, через пару перехдов по ссылкам прилетала капча. Хоть в нормальном браузере все работало хорошо.
Вопрос кто-то знает что еще может палить силениум?
Если кому интересно сайт https://www.wayfair.com
А браузер какой?
SS
Таймауты ставил?
DO
А браузер какой?
Хром 79 версия
SS
Клики мышки эмулировал?
SS
Клики мышки эмулировал?
кнопка вниз, пауза, кнопка вверх
DO
Я запускал селениум и кодом заходил на страницу товара, после этого руками лазил по сайту и всеравно капча прилетает
DO
Забыл добваить, даже добавил свой профиль из настоящего хрома