SA
but cant fetch it
Size: a a a
2021 January 26
JG
Yeah I am
KS
Как проверить почему запрос типа
в консоли Hive выполняется около минуты? Backend postgres, захожу через psql вроде всё быстро.
show databases
в консоли Hive выполняется около минуты? Backend postgres, захожу через psql вроде всё быстро.
KS
MK
Добрый день. Я правильно понимаю, что delta lake хранит данные в parquet, а apache hudi в своем проприетарном? Или это оба полностью open source продукта?
N
Hudi хранит или только паркет или паркет+логи изменений в авро и евентуалли их вмердживает.
N
Зависит от типа таблицы
N
MOR или COW
AZ
Mikhail Kuznetsov
Добрый день. Я правильно понимаю, что delta lake хранит данные в parquet, а apache hudi в своем проприетарном? Или это оба полностью open source продукта?
Apache Hudi это проект Apache Software Foundation, насколько я знаю в ASF нет проприетарных проектов, там все Open Source; Delta Lake это компонент Databricks доступный по модели open core (основные интерфейсы в open source, но с очень большими ограничениями, которые можно преодолеть или серьезным дописыванием, или миграцией на Databricks)
N
Добрый день. Сторожилы биг даты, сколько на вашей памяти было максимальное и/или среднее кол-во партиций у ваших больших таблиц в hive? Если помните, то ещё как это влияло на перфоменс работы с такой таблицой
AA
Всем добрый день, коллеги! Пытаюсь считать с кафки, распарсить json и записать этот датафрейм в hdfs. Весь код на скале. Все работает кроме записи. Ошибка при записи выдает Null Pointer Exception. Может кто-то сталкивался с такой ошибкой?
EK
Всем добрый день, коллеги! Пытаюсь считать с кафки, распарсить json и записать этот датафрейм в hdfs. Весь код на скале. Все работает кроме записи. Ошибка при записи выдает Null Pointer Exception. Может кто-то сталкивался с такой ошибкой?
проблема в парсинге скорее всего. То что падает на записи говорит о том что парсинг раньше и не начинается (он lazy).
AA
проблема в парсинге скорее всего. То что падает на записи говорит о том что парсинг раньше и не начинается (он lazy).
Парсинг вот именно отработал и показал df.show() 😀
AZ
Добрый день. Сторожилы биг даты, сколько на вашей памяти было максимальное и/или среднее кол-во партиций у ваших больших таблиц в hive? Если помните, то ещё как это влияло на перфоменс работы с такой таблицой
Когда я чинил людям хадупы то постоянно сталкивался с 3-4К партиций в таблице, вроде 10 лет дневных партиций, работает плохо, планирование запросы может очень долго занимать, ещё HS зависал (там прилично проблем в схеме метастора, какие-то не лечатся годами)
AZ
Хадуп это big data, а много партиций это many data, разные задачи)
NN
Хадуп это big data, а много партиций это many data, разные задачи)
Прикольно, а можно раскрыть отличия?)
С
Хадуп это big data, а много партиций это many data, разные задачи)
Давайте меряться количеством и размером файлов за 1 бизнес день
А
положить метастор хайва в другой хайв) когда метаданные тоже бигдата
NN
Добрый день. Сторожилы биг даты, сколько на вашей памяти было максимальное и/или среднее кол-во партиций у ваших больших таблиц в hive? Если помните, то ещё как это влияло на перфоменс работы с такой таблицой
Я бигдату не сторожил, но сталкивался примерно с около 5к партиций, работало отвратно. Но тут, правда, дело было больше в том, что данные были не оч разложены, но и история была многолетняя.
NN
Но вообще partition pruning помогает