Size: a a a

Сообщество Python Программистов

2021 February 25

S

Savage in Сообщество Python Программистов
всем привет народ
def get_product_info(url):
   product_data = []
   for page in range(1, 3):
       req = requests.get(url=url, headers=headers)

url = f"https://kontakt.az/saatlar-ve-qolbaglar/page/{page}/"
get_product_info(url)
как правильно реализовать данный код
мне нужно что бы в цикле переменная page подставлялся в url
источник

AT

Alexander T in Сообщество Python Программистов
Vladislav Bushmeniov
большой цикл будет)))
большой по какому параметру?
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
ну долго обходиться придется
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
считать все символы 😅
источник

AT

Alexander T in Сообщество Python Программистов
можно оценку сверху сделать, если знаешь максимальную длину строкового представления каждой ячейки
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
если мы возьмем трешхолд 5 мегабайт, то это немало пройти придется
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
я вообще не буду знать, что в csv. Даже примерно
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
там может быть как просто числовые значения
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
так и колонка, в которой хранится текст небольшой с нескольких слов
источник

AT

Alexander T in Сообщество Python Программистов
Vladislav Bushmeniov
я вообще не буду знать, что в csv. Даже примерно
df.astype(str).map(len) + sum(df.shape) грубо
источник

AT

Alexander T in Сообщество Python Программистов
всмысле до плюса сумму всего взять
источник

AT

Alexander T in Сообщество Python Программистов
грубо так
источник

AT

Alexander T in Сообщество Python Программистов
Vladislav Bushmeniov
так и колонка, в которой хранится текст небольшой с нескольких слов
^
источник

AD

Andrew Dakhnovsky in Сообщество Python Программистов
Vladislav Bushmeniov
большой цикл будет)))
ну можно к примеру оценить размер  приблизительно, и если точно больше 2 мегабайт - пропускать следующий шаг
а дальше создавать файл в памяти и писать туда, потом узнавать размер и если меньше - писать на диск
https://stackoverflow.com/questions/33166305/python-generate-csv-file-in-memory-and-then-encode-its-data-into-base64
источник

VB

Vladislav Bushmeniov in Сообщество Python Программистов
источник

DK

D. K. in Сообщество Python Программистов
привет!
подскажите, пжлст, как проще переименовать колонки в пандах, если они у меня вида 1name, 2name, 3name, 1blabla, 2blabla...
и есть словарь для чисел: {1:'eto', 2:'to', ...}
как его туда внедрить? %)  чтобы получилось etoname, toname, etoblabla, toblabla =)) есть колонки, в которых нет чисел - они так и остаются
источник

DK

D. K. in Сообщество Python Программистов
я сделал функцию через re.match('(\d+)(.+)') и потом применяю ее в df.rename(columns = lambda X: foo(x))
но может это перебор)
источник

A

Aleksei in Сообщество Python Программистов
Всем привет, пробую обычный запрос в БД кинуть, в таблице 2 записи, вот скрин из pgadmin:

https://prnt.sc/106nx01  

пытаюсь проитерироваться по ним, после первой итерации сразу вылетает из цикла, соответственно только первая запись в лист попадает, не пойму в чем косяк, подскажите плз. Вот тут код:

https://ideone.com/mNFKuB

в результате выдаёт вот что в браузер

https://prnt.sc/106o5uk

P.S. Пайтон не знаю.
источник

A

Aleksei in Сообщество Python Программистов
Aleksei
Всем привет, пробую обычный запрос в БД кинуть, в таблице 2 записи, вот скрин из pgadmin:

https://prnt.sc/106nx01  

пытаюсь проитерироваться по ним, после первой итерации сразу вылетает из цикла, соответственно только первая запись в лист попадает, не пойму в чем косяк, подскажите плз. Вот тут код:

https://ideone.com/mNFKuB

в результате выдаёт вот что в браузер

https://prnt.sc/106o5uk

P.S. Пайтон не знаю.
Кажется я тупо таб в цикле поставил.
источник

A

Aleksei in Сообщество Python Программистов
Еперный театр
источник