В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1790 membersпожаловаться на группу
2020 March 23

SZ

Sergey Zakharov in Data Engineers
Mikhail Epikhin
Возьмите тогда просто то облако, которым уже пользуетесь и все:)
Или если его нет, то то что ближе или куда с бОльшей вероятностью будете другие компоненты / данные перемещать когда-нибудь.
Облаками пока еще не пользовались, есть hadoop-кластер из арендованных машин, но он загружен, вот как раз причина попробовать посчитать в облаках, было интересно, чем кто пользуется
источник
19:41пожаловаться#1

AE

Alexey Evdokimov in Data Engineers
гуглом, ажуром, амазоном. разница не сильно большая, но чем свежее облако, тем у него настройка проще
источник
19:44пожаловаться#2

AE

Alexey Evdokimov in Data Engineers
самый древний авс, с ним больше всего всякой мелкой мороки.
а вообще, найдите где-нибудь у себя человека, который их хоть как-то нюхал, и попросите показать
источник
19:46пожаловаться#3

ME

Max Efremov in Data Engineers
P.S. Тут есть у кого опыт спаривания Amazon Athena и Tableau?
источник
20:01пожаловаться#4

SZ

Sergey Zakharov in Data Engineers
Alexey Evdokimov
самый древний авс, с ним больше всего всякой мелкой мороки.
а вообще, найдите где-нибудь у себя человека, который их хоть как-то нюхал, и попросите показать
Спасибо
источник
20:14пожаловаться#5

А

Андрей in Data Engineers
Всем привет.
Ребята, подскажите, пожалуйста, с чем может быть связана ошибка при попытке загрузки информации с csv файла в Hive-таблицу:
Error: Error while compiling statement: FAILED: NullPointerException null (state=42000,code=40000)
источник
22:53пожаловаться#6

А

Андрей in Data Engineers
запрос вида
LOAD DATA LOCAL INPATH '%filename%.csv' OVERWRITE INTO TABLE %tablename% PARTITION (partition_name)
источник
22:54пожаловаться#7

А

Андрей in Data Engineers
Мне говорили, что такое возможно, т.к. при считке с csv хайв может создавать дополнительные пустые партиции, и из-за этого джоба может валиться. Но это не точно
источник
23:02пожаловаться#8
2020 March 24

GP

Grigory Pomadchin in Data Engineers
Dasha
попробуй положить в зеппелиновский пас какойнить
источник
00:33пожаловаться#9

GP

Grigory Pomadchin in Data Engineers
@fall_out_bug может быть прав
источник
00:33пожаловаться#10

D

Dasha in Data Engineers
хм, то есть перенести сам файл в папку zeppelin’а?
источник
00:46пожаловаться#11

YI

Yukari I in Data Engineers
Андрей
Всем привет.
Ребята, подскажите, пожалуйста, с чем может быть связана ошибка при попытке загрузки информации с csv файла в Hive-таблицу:
Error: Error while compiling statement: FAILED: NullPointerException null (state=42000,code=40000)
Подключи external table, из нее уже забери в таблицу хайв
источник
01:42пожаловаться#12

А

Андрей in Data Engineers
Yukari I
Подключи external table, из нее уже забери в таблицу хайв
Спасибо за совет, утром попробую
источник
01:47пожаловаться#13

YI

Yukari I in Data Engineers
Андрей
Спасибо за совет, утром попробую
У тебя строго определенная структура файла?
источник
09:31пожаловаться#14

MB

Mikhail Butalin in Data Engineers
Пустая директория...
hdfs dfs -ls ничего не показывает
hdfs dfs -du  тоже

А hdfs dfs -du -s  говорит 2.3 ТБ

Как такое может быть?
источник
11:27пожаловаться#15

S

Stanislav in Data Engineers
снепшотов нет?
источник
11:34пожаловаться#16

A

Alex in Data Engineers
The -s option will result in an aggregate summary of file lengths being displayed, rather than the individual files. Without the -s option, calculation is done by going 1-level deep from the given path.
источник
11:36пожаловаться#17

A

Alex in Data Engineers
может что в скрытых папках
источник
11:38пожаловаться#18

MB

Mikhail Butalin in Data Engineers
Alex
может что в скрытых папках
hdfs dfs -ls не показывает ничего
источник
11:38пожаловаться#19

MB

Mikhail Butalin in Data Engineers
Stanislav
снепшотов нет?
Есть на родительскую директорию. Думаете в них дело?
источник
11:39пожаловаться#20