Телеграмм чат группы hadoopusers страница 1786

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 November 19

A

Alex in Data Engineers

а в чем собственно заключается интеграция? это обчыное java приложение, которое можно запустить хоть в кубике хоть в ярне

ну берём пример ярна:

нужно сделать AppMaster
он должен следить за воркерами (запускать, стопать и тд)
туда же вытянуть ui по топологии которая запущена
туда же вытянуть метрики кто что сейчас процессит и тд

источник

11:23пожаловаться #1

A

Alex in Data Engineers

то есть в теории всё можно сделать, на практике это как сравнивать jquery и angular/react для вебразработки

источник

11:24пожаловаться #2

DM

Daniel Matveev in Data Engineers

то есть в теории всё можно сделать, на практике это как сравнивать jquery и angular/react для вебразработки

Жкуери возможно все еще популярнее))

источник

11:24пожаловаться #3

A

Alex in Data Engineers

так не про популярность то речь, а про решение поставленной задачи
поэтому и kstreams имеют право на жизнь

источник

11:25пожаловаться #4

DM

Daniel Matveev in Data Engineers

Эт прост шутка

источник

11:25пожаловаться #5

AZ

Anton Zadorozhniy in Data Engineers

а в чем собственно заключается интеграция? это обчыное java приложение, которое можно запустить хоть в кубике хоть в ярне

ну условно spark можно сделать spark-submit —master и там подставить свой, ярн или кубер, само приложение при этом абсолютно одинаковое, у kstreams есть что-то такое?

источник

11:26пожаловаться #6

AZ

Anton Zadorozhniy in Data Engineers

Есть. Но он оч примитивный.

ksql, хе-хе ))

источник

11:27пожаловаться #7

A

Alex in Data Engineers

https://pbs.twimg.com/media/Dpu84w6W0AAFtOa.jpg

источник

11:27пожаловаться #8

DM

Daniel Matveev in Data Engineers

Anton Zadorozhniy

ksql, хе-хе ))

я не про функциональную часть, а оркестрацию джобиками

источник

11:30пожаловаться #9

AZ

Anton Zadorozhniy in Data Engineers

я не про функциональную часть, а оркестрацию джобиками

а можно ссылку?

источник

11:30пожаловаться #10

RI

Rustam Iksanov in Data Engineers

разные типы подставляю, все варианты перебрал

Вообще не понятно, что ты хочешь. col возращает колонку, а ты ее сравниваешь со всем другими типами. И самой колонки с именем COUNT в твоем df нет

источник

11:31пожаловаться #11

IP

Ilya Pribytkov in Data Engineers

Вообще не понятно, что ты хочешь. col возращает колонку, а ты ее сравниваешь со всем другими типами. И самой колонки с именем COUNT в твоем df нет

мне надо первое значение из этой колонки

источник

11:32пожаловаться #12

RI

Rustam Iksanov in Data Engineers

мне надо первое значение из этой колонки

df.select($"column").head типа такого?

источник

11:33пожаловаться #13

IP

Ilya Pribytkov in Data Engineers

df.select($"column").head типа такого?

наверное, щас попробую

источник

11:35пожаловаться #14

IP

Ilya Pribytkov in Data Engineers

df.select($"column").head типа такого?

источник

11:43пожаловаться #15

IP

Ilya Pribytkov in Data Engineers

не могу обратиться к колонке в результирующем дф

источник

11:43пожаловаться #16

RI

Rustam Iksanov in Data Engineers

Очевидно, что у тебя нет колонки с именем count

источник

11:44пожаловаться #17

IP

Ilya Pribytkov in Data Engineers

Очевидно, что у тебя нет колонки с именем count

источник

11:46пожаловаться #18

IP

Ilya Pribytkov in Data Engineers

там есть вот это,

источник

11:46пожаловаться #19

IP

Ilya Pribytkov in Data Engineers

как мне обратится к sum(COUNT)

источник

11:47пожаловаться #20