A
Смотрите где разрыв между строками по времени большой :) хотя я не уверен что старт/стоп планировщика пишется
Size: a a a
2021 September 07
A
Есть риск что просто найдёте большой интервал между 2 строками и всё
OI
в логах экзекуторов почти час ничего не происходило
A
Да, видно что поднялись, инициализациы, потом таски прилетели, поэтому и спросил про драйвер :)
AZ
Это явно кубовый сервис, а не настоящий хостнейм
DR
да, я в примере с кубером и нашел
AB
Есть у кого дежурная ссылка на спецификацию форматов parquet и orc ? Чем полнее, тем лучше. Я гуглил, но полное описание не могу найти.
ЕГ
Это же опенсорс
ЕГ
В гите ток по коммитам читать
ЕГ
Что там в новых версиях)
AZ
Github/apache/parquet
AZ
Опять люди гуглить ленятся
AB
Это я читал уже конечно.
ЕГ
Ну зачем так сразу, человек надеялся, что где-нибудь в закромах у сениоров найдётся заветная дока с полным и понятным описанием того, что в коде)
ЕГ
AZ
Так может у вас более конкретный вопрос? Там прям в репе просто лежит трифт файл со спекой, куда уж более точно?
A
В каком коде?
Раньше были реализации хайва, импалы, спарка
И они не само совместимы были между собой, бывало что записанное одним плохо читалось другими
Сейчас уже лучше ситуация
Раньше были реализации хайва, импалы, спарка
И они не само совместимы были между собой, бывало что записанное одним плохо читалось другими
Сейчас уже лучше ситуация
ЕГ
Кстати, по недавней теме - я так понял, что блум фильтры прямо внутрь спарк паркет ридер/райтера завезли только в 3.1?
ЕГ
Хайв научился читать спарк бакеты? Спарк научился читать хайв3 мэнэджд таблицы?