АЖ
55200 датафреймов(
ититская сила
Size: a a a
2020 March 29
K
можно ядер побольше правда драйверу дать
K
ладно, сча посмотрим
K
попробую число датафреймов все таки уменьшить
ИК
ититская сила
Так, я планирую сделать примерно то же самое на 150 - 300 тысяч. Опыт очень интересен, пиши, что получится, пожалуйста
K
Так, я планирую сделать примерно то же самое на 150 - 300 тысяч. Опыт очень интересен, пиши, что получится, пожалуйста
в параллели мержить нужно
N
Как может возникнуть 5 тыс union?
AK
И тем более 300 тысяч
ИК
очень просто, чтение отдельных файлов, с попыткой получить статистики по ним. Подскажите, как получить имя конкретного файла в датафрейме без этой жуткой процедуры.
K
Nikolay
Как может возникнуть 5 тыс union?
нарезка таблицы из базы своими руками
K
когда spark.read.jdbc не хватает
t
очень просто, чтение отдельных файлов, с попыткой получить статистики по ним. Подскажите, как получить имя конкретного файла в датафрейме без этой жуткой процедуры.
input_file погугли в функциях
N
нарезка таблицы из базы своими руками
А нельзяли нарезать так , что бы было 5 тыс партиции , а не датафрэймов. Например ходит в базу самому , а не использовать spark .read.jdbc
N
У тебя будет условный список из 5k запросов. Ты его преобразуешь в rdd, например и потом для каждого запроса сходишь в базу через ванильный jdbc.
ИК
input_file погугли в функциях
input_file_name() есть, спасибо! проверю корректность работы в используемой версии spark
t
input_file_name() есть, спасибо! проверю корректность работы в используемой версии spark
ага, он
t
ток после .cache и возможно .repartition работать не будет
t
учти это)
ИК
учти это)
Учту, а в моем случае, как раз нужно выполнить это на только что созданном датафрейма.
Прототип на нескольких сотнях файлов отработал очень хорошо и вот, я готовлю промышленную версию, а там сотни тысяч файлов!
Прототип на нескольких сотнях файлов отработал очень хорошо и вот, я готовлю промышленную версию, а там сотни тысяч файлов!
GP
нарезка таблицы из базы своими руками
А напиши сразу сурс который будет читать и резать базу по твоей схеме партицировария