SS
Динамическую бы подкачку прокси замутить.
Size: a a a
2020 March 16
К
Динамическую бы подкачку прокси замутить.
Замути) там запрос на фичу с 2017 висит
МС
А, там свои условия пилить можно
Ага. Приходилось ловить ситуацию, когда бан отдавал 404 с определенным текстом. Ну, вот так ребята заморочились.
A
Вопрос по парсингу сайта https://ulyanovsk.220-volt.ru/, нужно спарсить именно requests.get. Но в ответ прилетает только функция, дом элементов нет в response. Контент на сайт подтягивается через туннель, как парсить такой сайт именно с requests?)
SS
Замути) там запрос на фичу с 2017 висит
Да я, к сожалению, пока не осваивал миддлаври, но, видимо, придется...
A
Страницу рендерит js скрипт
МС
Нахрена динамика? Единственное для чего приходит на ум - фришные прокси с чекера. Свят свят их пользовать 😂
К
Нахрена динамика? Единственное для чего приходит на ум - фришные прокси с чекера. Свят свят их пользовать 😂
Думаю ты правильно догадался)
SS
Нахрена динамика? Единственное для чего приходит на ум - фришные прокси с чекера. Свят свят их пользовать 😂
Ну, если мне нужно 300 прокси, то тут или разоряться или парсить и динамически выдавать скрейпи
SS
Хэх, что-то все новички один и тот же путь проходят
Поделись)
SS
Верным путем)
К
Вопрос по парсингу сайта https://ulyanovsk.220-volt.ru/, нужно спарсить именно requests.get. Но в ответ прилетает только функция, дом элементов нет в response. Контент на сайт подтягивается через туннель, как парсить такой сайт именно с requests?)
У меня не открывается. Если там вэб сокет тунель, как ты говоришь, через requests никак
К
Верным путем)
Покупай прокси
МС
Вопрос по парсингу сайта https://ulyanovsk.220-volt.ru/, нужно спарсить именно requests.get. Но в ответ прилетает только функция, дом элементов нет в response. Контент на сайт подтягивается через туннель, как парсить такой сайт именно с requests?)
хм, то что я вижу, варианты:
1. расковырять JS
2. выполнить JS через тот же Js2Py (х/з, может и проканает)
3. пользовать браузер (силениум, сплеш, пупитер)
1. расковырять JS
2. выполнить JS через тот же Js2Py (х/з, может и проканает)
3. пользовать браузер (силениум, сплеш, пупитер)
SS
5 приватных прокси будет лучше нескольких сотен фришных
Быстровато их банят при большом потоке...
МС
а вообще, клево сделали :), я про 220 вольт
A
хм, то что я вижу, варианты:
1. расковырять JS
2. выполнить JS через тот же Js2Py (х/з, может и проканает)
3. пользовать браузер (силениум, сплеш, пупитер)
1. расковырять JS
2. выполнить JS через тот же Js2Py (х/з, может и проканает)
3. пользовать браузер (силениум, сплеш, пупитер)
Спасибо за мысли, третий вариант точно работает
К
Быстровато их банят при большом потоке...
Не делай большой поток, ты должен настроить парсинг, так чтоб не банили