В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1233 membersпожаловаться на группу
2022 February 03

Н

Никита in Moscow Spark
Хотел узнать, а как сделать так, чтобы при sql запросе в hive

у меня вывод таблиц был не в формате table_name.col_name. |   table_name.col_name  table_name.col_name , а просто col_name.  | col_name. | col_name ?
источник
16:15пожаловаться#1

GP

Grigory Pomadchin in Moscow Spark
интересно но у меня на эти даты  (вокруг) воркшопы пока ): @krivdathetriewe надо заставлять)
источник
16:15пожаловаться#2

GP

Grigory Pomadchin in Moscow Spark
а что имеешь ввиду?
источник
16:16пожаловаться#3

Н

Никита in Moscow Spark
В hue в sql окошке пишу select * from db.table

названия колонок выводятся в формате:
table.col1. | table.col2


Хочу загрузить эти результаты в csv  файл , но чтобы столбцы назывались нормально:
col1  | col2  и т.п
источник
16:18пожаловаться#4

DZ

Dmitry Zuev in Moscow Spark
у меня активная фаза отпуска 10, 12 могу и после >=14
источник
16:18пожаловаться#5

GP

Grigory Pomadchin in Moscow Spark
По-моему это hive.resultset.use.unique.column.names параметр который надо в фолс поставить
источник
16:27пожаловаться#6

OI

Oleg Ivchenko in Moscow Spark
Можешь пож. CV в личку прислать?
источник
16:38пожаловаться#7

DZ

Dmitry Zuev in Moscow Spark
закину ща
источник
16:40пожаловаться#8

I

Ivan in Moscow Spark
Добрый день!
Вопрос по партицированию, мы заранее можем знать на сколько файлов бить таблицу? Например, Если таблица партицирована по дате, то у нее в 15 году объем партиции 1мб, а сейчас 300гб есть способ проставить адекватный partitionCount?
Либо может есть какой то авторепартишн на количество файлов для записи самой таблицы
источник
16:44пожаловаться#9

MD

Michael Davydov in Moscow Spark
Не слышал, есть ли умный способ это делать, все, кого я знаю, перезаписывают файлы отдельной джобой через несколько дней после записи
источник
17:03пожаловаться#10

ЕГ

Евгений Глотов... in Moscow Spark
В 3 версии вроде как есть какой-то автомёрдж мелких файлов
источник
17:08пожаловаться#11

ЕГ

Евгений Глотов... in Moscow Spark
А так только руками и головой
источник
17:08пожаловаться#12

ЕГ

Евгений Глотов... in Moscow Spark
Мутить репартишен такой, чтоб в каждом таске было какое-то подмножество данных из итоговых партиций, которое запишется в подмножество файлов
источник
17:09пожаловаться#13

A

Alex in Moscow Spark
Причём даже норм работает вроде как
источник
17:10пожаловаться#14

A

Alex in Moscow Spark
https://medium.com/@songkunjump/shuffle-partition-size-matters-and-how-aqe-help-us-finding-reasoning-partition-size-1d0371a8be7a
Medium
Shuffle Partition Size Matters and How AQE Help Us Finding Reasoning Partition Size
Introduction
источник
17:10пожаловаться#15

A

Alex in Moscow Spark
Наш чел на простых датасетах проверил, достаточно оптимальное количество выбралось
источник
17:11пожаловаться#16

K

KrivdaTheTriewe in Moscow Spark
хозяйке на заметку, делать  колонку артицирования лучше yyyy-mm-dd
источник
17:12пожаловаться#17

K

KrivdaTheTriewe in Moscow Spark
а не yyyymmdd
источник
17:12пожаловаться#18

K

KrivdaTheTriewe in Moscow Spark
)
источник
17:12пожаловаться#19

DZ

Dmitry Zuev in Moscow Spark
Поч?
источник
17:12пожаловаться#20