VS
вон там чувак просто наделал их и меняет))
Size: a a a
2019 August 23
D
динамическая смена прокси-адресов и юзерагентов
D
и количество rps от тебя скорее всего нечеловеческое
IS
Новиков Дмитрий
Всем привет! Подскажите как лучше парсить сайты, когда они отдают код 200, но при этом тело документа пустое например http://prntscr.com/owklyh в примере озон.РУ . Хедер отдаю и иногда получается получить документ, но в большинстве случаев результат пустой
На скриншоте дана ссылка на ифрейм, попробовать сначала к нему напрямую обратиться. Потом посмотреть, что делает ява-скрипт, может, всё надо парсить Селениумом.
НД
Есть библиотека Фейк Юзер Агент. Спасибо почитаю, но мне не только озон Нужен, к примеру 100000 сайтов и получается везде где нет ответа, нужно всегда менять юзер агент
НД
На скриншоте дана ссылка на ифрейм, попробовать сначала к нему напрямую обратиться. Потом посмотреть, что делает ява-скрипт, может, всё надо парсить Селениумом.
Я напрямую обращаюсь, и каждый 5 раз я получаю документ.
IS
Напрямую к iframe?
НД
http://prntscr.com/owktg4
user_agent = UserAgent().chrome
print(user_agent)
headers = {'User-Agent': user_agent}
link = 'https://www.ozon.ru/highlight/24178/'
url = requests.get(link.strip(), timeout=120, verify=False, headers = headers)
url_html = BeautifulSoup(url.text, 'html.parser')
status = url.status_code
print(status)
print(url_html)
user_agent = UserAgent().chrome
print(user_agent)
headers = {'User-Agent': user_agent}
link = 'https://www.ozon.ru/highlight/24178/'
url = requests.get(link.strip(), timeout=120, verify=False, headers = headers)
url_html = BeautifulSoup(url.text, 'html.parser')
status = url.status_code
print(status)
print(url_html)
IS
вот теперь body пустой. Наверн, сервер понял, что это не человек. Надо немного подождать, обратиться ещё раз, получить ответ с ифреймом, получить этот ифрейм, и его уже распарсить.
IS
Ну и, конечно же, смотреть ява-скрипты. Может, он всё через аякс подгружает - тогда какой юзер-агент ни поставишь, контент не получить...
НД
Вот пример https://bertal.ru/index.php?a6930931/https://www.ozon.ru/highlight/24179/#h весь контент прекрасно можно получить https://bertal.ru/index.php?a6930931/https://www.ozon.ru/highlight/24179/#h
ВЛ
Вот тут в вопросе что-то похожее https://stackoverflow.com/questions/43828226/pandas-merging-dataframes-conditionally-on-multiple-columns
Спасибо, похоже на то.
ВЛ
Хочу сконектиться к api google analytics через инструкцию
https://nbviewer.jupyter.org/urls/drive.google.com/uc/%3Fid=16X5S7bwcNyxCLczIvx-FXggZvky6NCF8&authuser=0&export=download
Но во время создания переменной gam. Выдает такую ошибку:
Скрин кода приложен
Скажите, пж, что делать?
https://nbviewer.jupyter.org/urls/drive.google.com/uc/%3Fid=16X5S7bwcNyxCLczIvx-FXggZvky6NCF8&authuser=0&export=download
Но во время создания переменной gam. Выдает такую ошибку:
UnknownApiNameOrVersion: name: analytics version: v4Способ коннекта: с помощью клиентского токена
Скрин кода приложен
Скажите, пж, что делать?
OO
"analyticsreporting"
OO
вместо analytics
ВЛ
"analyticsreporting"
спасибо!
OO
Если через сервис-аккаунт подключаетесь, рекомендую протестировать эту либу: https://github.com/gaapi4py/gaapi4py
ВЛ
Если через сервис-аккаунт подключаетесь, рекомендую протестировать эту либу: https://github.com/gaapi4py/gaapi4py
спасибо, попробую
ВЛ
Если через сервис-аккаунт подключаетесь, рекомендую протестировать эту либу: https://github.com/gaapi4py/gaapi4py
в том же ноутбуке есть сервис аккаунт, сейчас нужно сделать быстро, а так, конечно лучше через сервис-аккаунт
2019 August 25
ВЛ
Привет, скажите, пж, почему не могу построить plt.boxplot?
fig, ax = plt.subplots(dpi = 100)
plt.figure(figsize=(2, 3))
ax.boxplot(df.close)
plt.show()