DZ
@tenKe 1)у меня ORC файлы, наврядли такое подойдет. 2) не совсем понял. 3) кастить каждое поле вы имеете виду? Я не могу скастить каждое поле так как таблиц очень много и полей тоже, будет большущая лапша
Функцию напиши
Size: a a a
2020 January 12
DZ
У меня есть, но не под рукой
DM
@tenKe 1) а понял, я сначало не понял уровень топорности, но зато рабочий вариант 🙂 2) Вот это классный вариант, но тоже большой кусок получатется 3) тоже попробую. Спасибо большое!
DM
@zuynew да в любом случае функция будет которая рекурсивно будет выполнять. Я не могу под каждую таблицу сделать кастомную ставку
DM
@zuynew спасибо!
DZ
Зачем делать?
DZ
Тебе же нужно все в lowercase/camelcase
DZ
Да?
DM
@zuynew да, что бы не только 1ого уровня колонки в lowercase (это просто делается с withColumnRenamed(...)),а есть колонка которая ArrayType в виде StructType где уже 2-3 поля, надо что бы nested колонки тоже были lowercase
DZ
Угу
DZ
Такое есть
DZ
У меня
DZ
Ща, 10 минут скину
A
Друзья, есть какой-то комплексный курс или книга по стеку Hadoop + Python + A/B тесты? Посоветуйте, пожалуйста. Хочу изучить.
DZ
АБ это статистика
DZ
Хадуп это что по твоему мнению?
DM
@zuynew Ок, спасибо
A
Хадуп это что по твоему мнению?
Это hdfs и mapreduce для обработки и хранения данных, которые потом нужны будут для работы со статистикой.
DZ
Это hdfs и mapreduce для обработки и хранения данных, которые потом нужны будут для работы со статистикой.
Spark или Mr?
A
Spark или Mr?
Spark, скорее всего