В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1791 membersпожаловаться на группу
2020 April 01

DZ

Dmitry Zuev in Data Engineers
ну я скорее всего сегодня напишу свой
источник
19:52пожаловаться#1

DZ

Dmitry Zuev in Data Engineers
orig.gif.mp4
(106.97 Кб)
источник
19:52пожаловаться#2

AS

Andrey Smirnov in Data Engineers
Dmitry Zuev
блин, у меня gs, и это боль
заведите кафку и через нее
источник
19:52пожаловаться#3

AK

Andrew Kochen in Data Engineers
я пару месяцев писал)
источник
19:52пожаловаться#4

DZ

Dmitry Zuev in Data Engineers
Andrew Kochen
я пару месяцев писал)
ну на крайняк я всегда могу сохрнанить в gs и копировать на тачку с кх и дальше лить через клиент
источник
19:54пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
Andrey Smirnov
заведите кафку и через нее
оверкил
источник
19:54пожаловаться#6

DZ

Dmitry Zuev in Data Engineers
Andrew Kochen
тоже так пытался, это не сработает никак)
а через JdbcDialect?
источник
19:58пожаловаться#7

AK

Andrew Kochen in Data Engineers
Dmitry Zuev
а через JdbcDialect?
Ну я про него и говорил. Не получится написать ClickhouseJDBCDialect
точнее, может, и получится, но только на пару простейших операций
источник
19:59пожаловаться#8

DZ

Dmitry Zuev in Data Engineers
мне ток лоад нужен сейчас
источник
19:59пожаловаться#9

AK

Andrew Kochen in Data Engineers
Эт не знаю, надо пробовать...
источник
20:00пожаловаться#10

M

Mi in Data Engineers
Коллеги, возможно ли для EMR кластера создать еще одного юзера кроме дефолтного hadoop?
источник
20:06пожаловаться#11

DZ

Dmitry Zuev in Data Engineers
Andrew Kochen
Эт не знаю, надо пробовать...
кароч запись можно сделать через createTableOptions
источник
20:11пожаловаться#12

S

Sergey in Data Engineers
Dmitry Zuev
кароч запись можно сделать через createTableOptions
А это для batch или streaming
источник
20:24пожаловаться#13

DZ

Dmitry Zuev in Data Engineers
batch
источник
20:24пожаловаться#14

AE

Alexey Evdokimov in Data Engineers
Mi
Коллеги, возможно ли для EMR кластера создать еще одного юзера кроме дефолтного hadoop?
https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-authenticate-cluster-connections.html или про что вопрос?
Amazon
Authenticate to Amazon EMR Cluster Nodes - Amazon EMR
SSH clients can use an Amazon EC2 key pair to authenticate to cluster instances. Alternatively, with Amazon EMR release version 5.10.0 or later, you can configure Kerberos to authenticate users and SSH connections to the master node. For more information, see
источник
20:30пожаловаться#15

РП

Роман Пашкевич in Data Engineers
Коллеги. А помогите с таким вопросом.
Почему на ноде могут оставаться висеть процессы и службы? После питоновских+спарк скриптов?

Вот вывел список служб по времени работы. Вижу одни и те же.  Их же в идеале надо убивать? Они засирают ноду...
источник
22:34пожаловаться#16

РП

Роман Пашкевич in Data Engineers
источник
22:35пожаловаться#17

DZ

Dmitry Zuev in Data Engineers
Может зомби
источник
22:37пожаловаться#18

DZ

Dmitry Zuev in Data Engineers
Здесь не понятно
источник
22:37пожаловаться#19

РП

Роман Пашкевич in Data Engineers
зомби похоже и есть, только я хз что это
источник
22:37пожаловаться#20