GP
но если ты про testcontainers-hdfs то он у меня поднимает локально контейнер
Size: a a a
2021 June 01
N
Хочешь видео запишу.
N
А как мне hdfs операции тестировать? Как отцы завещали, так и делаю.
GP
а в логах чо
GP
када стартуешь
GP
там ж он пишет типа алоцировал контейнер
GP
такой то адрес имя
N
Поищу. Там конская простынь, ещё же спрак локально заводится. Я ради интереса ставил просто while true и шёл смотреть докер пс, а там пусто.
im
https://t.me/MacSoftwareFree/57
This is a channel that focuses on Mac free cracking software. They are free forever and are updated weekly.
This is a channel that focuses on Mac free cracking software. They are free forever and are updated weekly.
C
ibtoey mnapt has been banned! Reason: CAS ban.
RY
Добрый день.
1. есть большой фрейм. нужно создать текстовый столбик, куда будут внесены в тестовом виде данные по заданной строке, который будет представлять для каждой строки "название столбца: содержимое данного столбца". т.е. к примеру фрейм имеет столбцы -
если использовать простую итерацию по индексам, а затем по столбикам, то время будет измеряться часами. нужно сделать как можно быстрее?
я вот такой код использую
1. есть большой фрейм. нужно создать текстовый столбик, куда будут внесены в тестовом виде данные по заданной строке, который будет представлять для каждой строки "название столбца: содержимое данного столбца". т.е. к примеру фрейм имеет столбцы -
a, b, c, d. нужен отдельный столбец text для текстового представления столбиков c, d. к примеру для строки с индексом i: df.loc[i, "text"] == "c: text1, d: text2". где text1 == df.loc[i, "c"], text2 == df.loc[i, "d"]. если использовать простую итерацию по индексам, а затем по столбикам, то время будет измеряться часами. нужно сделать как можно быстрее?
я вот такой код использую
for index, row in df.iterrows():
text = ""
for col in target_cols:
text += dict_name[col]
text += ": "
text += str(row[col])
text += "."
# row["text"] = text
df.loc[index, "text"] = text
2. возникает проблема в размере файла. т.к. он большой то в память не влазит. возможно конечно считвание по частям и дозапись, но может есть другие способы?GA
Коллег привет! Есть какие-нибудь решения, что бы из большого sql-кода truncate,insert’ов генерировало несложную визуализацию потока преобразований, содержащую название таблиц и списка полей, используемых в коде. Что погуглить на этот счёт?
GA
Кажется, что ничего сложного, может в python библиотека уже есть. Но гугл выдает курсы визуализации данных с помощью питон
AZ
МК
да, и имя ему - apache spark...
MG
Всем привет, может кто-то дать ссылку на тематический чат по кафке?
JF
MG
Спасибо!
K
коллеги, кто трино разворачивал, у меня добрались руки наконец, как вы делали POC для ононодового кластера)
K
есть ли какие-нибудь доп тулзы(BI) , которые позвуолят это продать как красивую он премиз историю, и еще вопрос, в кубе или не в кубе прод делать, если делать