K
) инсерты тож вроде работали )
Size: a a a
2021 February 24
K
он вроде только читать умел
но мы же про только селект говорили
AZ
Никак. Как можно в key-value бд быстро делать произвольные батчевые агрегации с фильтрами? Она про другое. Отструивайте входящий поток данных и наваливайте его куда-то в эластик/кликхаус/ходуп/лучшую_в_мире_MPP_СУБД_Teradata/whatever.
лайк!
AZ
(теперь она еще и лучшая клауд СУБД)
N
(теперь она еще и лучшая клауд СУБД)
магические квадранты?
AZ
магические квадранты?
СЛ
привет.
spark -
hive -
В партишены external таблицы доезжают данные в маленьких файлах, и по итогу в table-data внешней таблицы на hdfs появляется много маленьких файлов, я не люблю много маленьких файлов.
Хочется, чтобы когда доезжали эти файлы, они как-то коллапсились-мёржились-что-угодно с уже существующими файлами.
Я нагуглил следующие конфигурационные параметры:
Этого не происходит. Я не уверен, что правильно выставляю эти конфиги, пробовал через
Как быть?
Если не тот чат для таких вопросов - прощу прощения, и прошу подсказать, где тот.
spark -
version 2.3.0.2.6.5.0-292hive -
1.2.1000.2.6.5.0-292В партишены external таблицы доезжают данные в маленьких файлах, и по итогу в table-data внешней таблицы на hdfs появляется много маленьких файлов, я не люблю много маленьких файлов.
Хочется, чтобы когда доезжали эти файлы, они как-то коллапсились-мёржились-что-угодно с уже существующими файлами.
Я нагуглил следующие конфигурационные параметры:
hive.merge.sparkfiles, hive.merge.smallfiles.avgsize. В моём понимании, если они выставлены, то по окончании спарк джобы данные должны дописываться в существующие файлы, а не просто создавать новые.Этого не происходит. Я не уверен, что правильно выставляю эти конфиги, пробовал через
SparkConf, через --conf, и просто втупую sparkSession.sql("SET x=y"). Как быть?
Если не тот чат для таких вопросов - прощу прощения, и прошу подсказать, где тот.
N
а в каком формате-то? далеко не все поддерживают аппенд.
СЛ
СЛ
Это формат таблицы в хайве, а энтри в
table-data - part-00006-7b584c96-6d47-4db8-8871-2cfd7828e8db.c000, не уверен, считается ли c000 форматомА
В хайв есть команда concatenate
A
как вы в облако все особенности своего проприетарного железа запихнули? или уже она какое-то время на "обычном" железе научилась работать?
AZ
как вы в облако все особенности своего проприетарного железа запихнули? или уже она какое-то время на "обычном" железе научилась работать?
ну теперь у нас лучшие люди отвечают за продукт (хе-хе), научили
A
ну теперь у нас лучшие люди отвечают за продукт (хе-хе), научили
Поздравляю, что вас лихорадить судя по всему прекращает и новые высоты берете!
AZ
Поздравляю, что вас лихорадить судя по всему прекращает и новые высоты берете!
спасибо Леша, могу сказать что от этого выигрывают даже не очень облачные заказчики, вот например ;) https://min.io/solutions/native-object-store-for-teradata
V
как вы в облако все особенности своего проприетарного железа запихнули? или уже она какое-то время на "обычном" железе научилась работать?
Не скажу что прям каждый сервер разбирал из доступных 4 поколений, но ничего вроде особо проприетарного Intel, IBM... "Ивсетакое"
Дизайн+прошивки
Дизайн+прошивки
AZ
Vasiliy
Не скажу что прям каждый сервер разбирал из доступных 4 поколений, но ничего вроде особо проприетарного Intel, IBM... "Ивсетакое"
Дизайн+прошивки
Дизайн+прошивки
ну я когда начинал работать, у нас был собственный кремний, BYNET; но давно уже на ИБ перешли, да
AZ
сама платформа - референс интел дизайн обычно
V
ну теперь у нас лучшие люди отвечают за продукт (хе-хе), научили
А лучшие люди, это Макмиллан, смазавший лыжи из IBM)?
AZ
Vasiliy
А лучшие люди, это Макмиллан, смазавший лыжи из IBM)?
конечно, СЕО же все решает, а не скромные инженеры :)