В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1705 membersпожаловаться на группу
2020 January 16

P

Pavel in Data Engineers
Anton Zadorozhniy
я не уверен что понимаю что такое два контейнера на одном докере, но мой опыт (и рекомендации, например, конфлюент) показывает что ЗК нужны отдельные и быстрые диски https://docs.confluent.io/current/zookeeper/deployment.html#hardware
да, чет я переборщил) просто на впс крутятся 2 контейнера на голом докере (без куба и пр. херни для оркестрации)
источник
11:55пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
Pavel
да, чет я переборщил) просто на впс крутятся 2 контейнера на голом докере (без куба и пр. херни для оркестрации)
это вот не  очень понятно зачем, чтобы с сетью было нескучно работать?
источник
11:55пожаловаться#2

P

Pavel in Data Engineers
Anton Zadorozhniy
это вот не  очень понятно зачем, чтобы с сетью было нескучно работать?
из коробки с сетью особых проблем нет (пока у нас rps < 1000), все друг друга прекрасно видят. это быстро, просто, удобно, рестарт любого сервиса 1 строкой, конфиг тоже в 1 файле (докер компоуз)
источник
11:57пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Pavel
из коробки с сетью особых проблем нет (пока у нас rps < 1000), все друг друга прекрасно видят. это быстро, просто, удобно, рестарт любого сервиса 1 строкой, конфиг тоже в 1 файле (докер компоуз)
интересные доводы, спасибо)
источник
11:58пожаловаться#4

V

Vλadimir in Data Engineers
Привет. запускаю кверю в хайв и получаю ошибку 
Error: Error while compiling statement: FAILED: SemanticException [Error 10293]: Unable to create temp file for insert values AlreadyExistsException(message:Table Values__Tmp__Table__1 already exists.)


в самой квери нет создания временных таблиц, нагуглил что они могут создаваться при джоинах (в одной транзакции несколько селект запросов с джоинами) - как решить проблему?
источник
12:03пожаловаться#5

P

Pavel in Data Engineers
Anton Zadorozhniy
интересные доводы, спасибо)
да) сегодня доводы в пользу снятия нагрузки с devops очень канают) по этой причине мы, слава богу, пока отказались от хдфс в пользу готового с3
источник
12:19пожаловаться#6

A

Alexander in Data Engineers
Коллеги,  а есть здесь знатоки oozie? Скажите, можно ли триггерить воркфлоу по будням датасетом, а в выходные просто по времени
источник
13:55пожаловаться#7

T

T in Data Engineers
Alexander
Коллеги,  а есть здесь знатоки oozie? Скажите, можно ли триггерить воркфлоу по будням датасетом, а в выходные просто по времени
первое что приходит на ум 2 разных координатора которые будут использовать один и тотже wf, но я не настоящий сварщик. Но вроде там можно писать if условия
источник
13:57пожаловаться#8

A

Alexander in Data Engineers
T
первое что приходит на ум 2 разных координатора которые будут использовать один и тотже wf, но я не настоящий сварщик. Но вроде там можно писать if условия
О! Надо попробовать
источник
13:58пожаловаться#9

СХ

Старый Хрыч in Data Engineers
https://habr.com/ru/company/sberbank/blog/484096/#comment_21141416 сбер решил людей убить смехом
Хабр
Битва двух якодзун, или Cassandra vs HBase. Опыт команды Сбербанка
Это даже не шутка, похоже, что именно эта картинка наиболее точно отражает суть этих БД, и в конце будет понятно почему: Согласно DB-Engines Ranking, две самы...
источник
15:01пожаловаться#10

DM

David Manukian in Data Engineers
@usualreptiloid пробовал с таблицами хайва перезаписать (overwrite) только 1 партицию выставив spark.sql.sources.partitionOverwriteMode= dynamic - не работает,  не делай так если используешься спарк ниже 2.3)
источник
15:16пожаловаться#11

ME

Max Efremov in Data Engineers
Старый Хрыч
https://habr.com/ru/company/sberbank/blog/484096/#comment_21141416 сбер решил людей убить смехом
Хабр
Битва двух якодзун, или Cassandra vs HBase. Опыт команды Сбербанка
Это даже не шутка, похоже, что именно эта картинка наиболее точно отражает суть этих БД, и в конце будет понятно почему: Согласно DB-Engines Ranking, две самы...
хм, а DynamoDB никто не пользуется, разве? В графике популярности её нету(
источник
15:20пожаловаться#12

АЖ

Андрей Жуков in Data Engineers
Max Efremov
хм, а DynamoDB никто не пользуется, разве? В графике популярности её нету(
multi-model ибо
источник
15:22пожаловаться#13

АЖ

Андрей Жуков in Data Engineers
а сбер не подумал
источник
15:22пожаловаться#14

СХ

Старый Хрыч in Data Engineers
Max Efremov
хм, а DynamoDB никто не пользуется, разве? В графике популярности её нету(
ну она менее популярна, она очень дорогая, я клиента недавно с неё переносил. 10к баксов в месяц превратились в scylladb rf5 и 1200 баксов на железо, нагрузка на железе 15%
источник
15:22пожаловаться#15

AE

Alexey Evdokimov in Data Engineers
динаму юзать всё равно что топить паровоз пачками ассигнаций
источник
15:22пожаловаться#16

АЖ

Андрей Жуков in Data Engineers
Старый Хрыч
ну она менее популярна, она очень дорогая, я клиента недавно с неё переносил. 10к баксов в месяц превратились в scylladb rf5 и 1200 баксов на железо, нагрузка на железе 15%
https://db-engines.com/en/ranking
Да фиг там
DB-Engines
DB-Engines Ranking
Popularity ranking of database management systems.
источник
15:23пожаловаться#17

СХ

Старый Хрыч in Data Engineers
Андрей Жуков
https://db-engines.com/en/ranking
Да фиг там
DB-Engines
DB-Engines Ranking
Popularity ranking of database management systems.
ну возможно, но мы людей уже перводили
источник
15:23пожаловаться#18

AE

Alexey Evdokimov in Data Engineers
для чего-нибуть особо мишн критикал пойдёт, а так дорого очень
источник
15:23пожаловаться#19

СХ

Старый Хрыч in Data Engineers
oracle популярнее mysql О_О
источник
15:24пожаловаться#20