В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 August 01

PK

Pavel Klemenkov in Data Engineers
Anton Zadorozhniy
Как-то пропустил что метасторы разделились, может сказать автору чтобы поправили описание? По сути ведь проблема в том что Spark не умеет читать ACID таблицы Hive, все остальное это просто способ огородить пользователей и дать им адаптер..
@Shishkanova_k это к тебе
источник
15:54пожаловаться#1

AP

Alexander Piminov in Data Engineers
@dartov правильно расписал, путем несложных манипуляций можно настроить нужный каталог, отключается ACID и т.п., в описании от HW некоторые формулировки отдают маркетингом.
источник
15:58пожаловаться#2

IB

Ivan Blinkov in Data Engineers
Долгожданный ClickHouse Meetup в Москве состоится 5 сентября, уже можно регистрироваться: https://yandex.ru/promo/clickhouse/moscow-2019

Обратите внимание, что в программе большой слот выделен под доклады пользователей — не стесняйтесь в него записываться при заполнении формы.
ClickHouse митап Москва, 5 сентября 2019
Приглашаем технических специалистов на митап по ClickHouse. Разработчики системы расскажут о новых функциях и планах, а пользователи — о собственном опыте.
источник
15:58пожаловаться#3

AZ

Anton Zadorozhniy in Data Engineers
Alexander Piminov
@dartov правильно расписал, путем несложных манипуляций можно настроить нужный каталог, отключается ACID и т.п., в описании от HW некоторые формулировки отдают маркетингом.
точно, и доклад было бы лучше аннотировать так: в текущей версии Spark не может читать Hive ACID таблицы, если вам это очень нужно - вот HWC и использовать его можно так...
источник
16:00пожаловаться#4

ЕГ

Евгений Глотов in Data Engineers
А не кривой ли он?
источник
16:08пожаловаться#5

ЕГ

Евгений Глотов in Data Engineers
А, так про это и есть весь доклад, очень интересно послушать будет
источник
16:12пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
Евгений Глотов
А не кривой ли он?
Начать надо с того что Hive ACID кривой, дальше пойдёт легче)
источник
16:21пожаловаться#7

ЕГ

Евгений Глотов in Data Engineers
Я на раннем этапе дёргал эту штуку, криво было всё, может за полтора года допилили что-то)
источник
16:22пожаловаться#8

ЕГ

Евгений Глотов in Data Engineers
Anton Zadorozhniy
Начать надо с того что Hive ACID кривой, дальше пойдёт легче)
Да это понятно, осталось только доказать это опытным архитекторам)
источник
16:22пожаловаться#9

AP

Alexander Piminov in Data Engineers
Евгений Глотов
Да это понятно, осталось только доказать это опытным архитекторам)
Если ты был на докладе про HDP 3.x, то там вкратце было про pain points, замеченные в новой версии. С тех пор были изменения, конечно.
источник
16:27пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
Интересно что можно улучшить в дизайне где SI транзакции дописывают дельту в объектный сторадж, блокировки хранятся в зукипере, а компакции выполняются как yarn джобы
источник
16:37пожаловаться#11

PK

Pavel Klemenkov in Data Engineers
Anton Zadorozhniy
Интересно что можно улучшить в дизайне где SI транзакции дописывают дельту в объектный сторадж, блокировки хранятся в зукипере, а компакции выполняются как yarn джобы
Приходи на митап, похоливорить )
источник
16:40пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
Pavel Klemenkov
Приходи на митап, похоливорить )
Я не в Москве живу, а оказии не намечается, так что сорян
источник
16:42пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Anton Zadorozhniy
Интересно что можно улучшить в дизайне где SI транзакции дописывают дельту в объектный сторадж, блокировки хранятся в зукипере, а компакции выполняются как yarn джобы
Забыл что сами метаданные при этом хранятся в отдельной реляционке)
источник
16:42пожаловаться#14
2019 August 02

KS

Ksu Shishkanova in Data Engineers
Anton Zadorozhniy
точно, и доклад было бы лучше аннотировать так: в текущей версии Spark не может читать Hive ACID таблицы, если вам это очень нужно - вот HWC и использовать его можно так...
Да, речь пойдет про spark +hive с acid, мы по некоторым причинам его отключать не стали и иногда используем
источник
12:48пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
Ksu Shishkanova
Да, речь пойдет про spark +hive с acid, мы по некоторым причинам его отключать не стали и иногда используем
да я без претензий по сути темы, просто первое предложение про первый доклад попало в глаз, а там все неправильно)
источник
13:14пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
(ACID/LLAP появились до HDP3, метастор один, настраивать нужно только в узких случаях)
источник
13:19пожаловаться#17

KS

Ksu Shishkanova in Data Engineers
Anton Zadorozhniy
(ACID/LLAP появились до HDP3, метастор один, настраивать нужно только в узких случаях)
там не написано, что ACID и LLAP появились в hdp3, метасторы(точнее каталоги) разделились, но действительно только для ACID.
источник
13:24пожаловаться#18

神

神風 in Data Engineers
Привет. Упражняюсь в structured streaming. Spark 2.4.3 Запускаю пример из документации spark.apache.org. Failed to find data source: kafka...
В зависимостях есть spark-streaming-kafka-0-10_2.12 version 2.4.3
источник
14:21пожаловаться#19

R

Renarde in Data Engineers
神風
Привет. Упражняюсь в structured streaming. Spark 2.4.3 Запускаю пример из документации spark.apache.org. Failed to find data source: kafka...
В зависимостях есть spark-streaming-kafka-0-10_2.12 version 2.4.3
а на чем приложение написано?
источник
14:23пожаловаться#20