Size: a a a

Сообщество Python Программистов

2021 January 25

КБ

Кирилл Баст... in Сообщество Python Программистов
Michael
from bs4 import BeautifulSoup
import requests

r = requests.get('https://www.google.com/search?q=Mission+Curry+House+2434+Mission+St')
soup = BeautifulSoup(r.text, 'html.parser')
mains = soup.find_all('div', {'class': 'IzNS7c duf-h'})
for main in mains:
   try:
       site_adr = main.find('a', {'class': 'ab_button'}).get('href')
       print('website: ' + site_adr)
   except:
       print(None)
Передай хэдерсы
источник

in Сообщество Python Программистов
!report
источник

СИ

Сергей Ильин... in Сообщество Python Программистов
доброе утро, чтоль.

я с такой штукой не сталкивался, прошу камнями не кидать:

есть примитивный цикл:

for day in df_plot_dep_month.index.levels[0]:
   print(day)
    print(df_plot_dep_month[df_plot_dep_month.index.get_level_values(0)==day])


ну, все понятно:
1/ берем day как нулевой уровень в мультииндексе, печатаем

2/ печатаем df, который обрезан этим днем.

все примитивно и просто.

то есть, как я понимаю, "левому" дню взяться неоткуда.

однако смотрим, чего питон напечатал:

2020-09-01 00:00:00
(это первый принт, все ок)
                       orvi_percent  summary  month
date       departament                              
2020-09-01 АД                    0.0        8      9
это второй, все снова вроде бы ок)

2020-09-06 00:00:00
(снова первый)
Empty DataFrame
Columns: [orvi_percent, summary, month]
Index: []
(а вот тут уже второй)

то есть, как я понимаю, в какой-то момент не находится дня и мне возвращается пустой массив. Как такое может быть (если я говорю for i in list, по сути) и как это починить?
источник

А

Айван in Сообщество Python Программистов
!report
+
источник

K

KarmaBot in Сообщество Python Программистов
Вы увеличили карму 🍉 до 2031.72 (+31.17)
источник

А

Айван in Сообщество Python Программистов
+20
источник

K

KarmaBot in Сообщество Python Программистов
Вы увеличили карму lendoroff до 97.62 (+20.00)
источник

👑️

👑OGURCHIK🖤 ️ in Сообщество Python Программистов
а когда я второй зарепортил с меня сняли карму
источник

А

Айван in Сообщество Python Программистов
источник

👑️

👑OGURCHIK🖤 ️ in Сообщество Python Программистов
кумовство уже и тут
источник

👑️

👑OGURCHIK🖤 ️ in Сообщество Python Программистов
источник

КП

Кирилл Панов... in Сообщество Python Программистов
👑OGURCHIK🖤 ️
а когда я второй зарепортил с меня сняли карму
+ не расстраивайся🥺))
источник

K

KarmaBot in Сообщество Python Программистов
Кирилл Панов
+ не расстраивайся🥺))
Вы увеличили карму 👑OGURCHIK🖤 до 211.38 (+9.88)
источник

👑️

👑OGURCHIK🖤 ️ in Сообщество Python Программистов
Кирилл Панов
+ не расстраивайся🥺))
+ спасибо
источник

K

KarmaBot in Сообщество Python Программистов
👑OGURCHIK🖤 ️
+ спасибо
Вы увеличили карму lendoroff до 112.16 (+14.54)
источник

m

mi-6 in Сообщество Python Программистов
Подскажите, на сайте есть таймер после которого идет запрос на сервер и task считается выполненым. Как я понимаю таймер это js скрипт, тк список запросов на сайте чист. Как мне выполнить этот js код используя пайтон? Или есть другие способы выполнить js код?
источник

А

Айван in Сообщество Python Программистов
mi-6
Подскажите, на сайте есть таймер после которого идет запрос на сервер и task считается выполненым. Как я понимаю таймер это js скрипт, тк список запросов на сайте чист. Как мне выполнить этот js код используя пайтон? Или есть другие способы выполнить js код?
Если чтобы спарсить получению от ответа информацию, можешь попытаться самому делать запросы к серверу. Если нужно конкретно то что вывел JS получить, можешь либо погуглить как его рендерить при помощи питона (не знаю, возможно ли), либо использовать selenium
источник

m

mi-6 in Сообщество Python Программистов
Айван
Если чтобы спарсить получению от ответа информацию, можешь попытаться самому делать запросы к серверу. Если нужно конкретно то что вывел JS получить, можешь либо погуглить как его рендерить при помощи питона (не знаю, возможно ли), либо использовать selenium
Не,самому запросы делать не прокатит,тк там ключ при выполнении теста получается,который далее виден в запросе к серверу когда он сдает таск. Селениум из за скорости не подходит.
источник

m

mi-6 in Сообщество Python Программистов
Айван
Если чтобы спарсить получению от ответа информацию, можешь попытаться самому делать запросы к серверу. Если нужно конкретно то что вывел JS получить, можешь либо погуглить как его рендерить при помощи питона (не знаю, возможно ли), либо использовать selenium
Как это гуглить?)
источник

ММ

Мак МО in Сообщество Python Программистов
Подскажите как правильно использовать библиотеку requests в python 3 для скачивания файла xlsx (excel) ??
источник