В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2331 membersпожаловаться на группу
2021 March 02

ИК

Иван Калининский... in Data Engineers
er@essbase.ru
*В ит меня одно радует, что из-за ошибок нет риска для жизни. 😁 Нервы не в счёт .
https://www.labirint.ru/books/665544/

Помимо Теслы, которая не замечает грузовиков, и прочих дронов есть ещё проросшие везде интернет-вещи и сбор частной информации. Впрочем, пока тесла едет, а информация не слита, можно считать, всё в порядке 😕
Labirint.RU
Убийственные большие данные. Как математика превратилась в оружие массового поражения
Математические алгоритмы с каждым днем все сильнее подчиняют себе нашу жизнь. Более того - по мнению автора книги, профессора математики и финансового аналитика, эти алгоритмы уже превратились в опасное оружие в руках государства и корпораций - и...
источник
15:53пожаловаться#1

OI

Oleg Ilinsky in Data Engineers
Nikita Blagodarnyy
А перестартовать трифт-сервер с уменьшенным доспустимым бродкастом? Чтобы он не выбирал его постоянно.
ну вот у меня был по дефолту 10мб, меньше как-то совсем не понятно, зачем он)
источник
15:53пожаловаться#2

N

Nikita Blagodarnyy in Data Engineers
Oleg Ilinsky
ну вот у меня был по дефолту 10мб, меньше как-то совсем не понятно, зачем он)
а сеть норм?
источник
15:53пожаловаться#3

OI

Oleg Ilinsky in Data Engineers
Nikita Blagodarnyy
а сеть норм?
да хз, это вообще всё в кубах (попеншифт которые) работает
источник
15:54пожаловаться#4

N

Nikita Blagodarnyy in Data Engineers
Oleg Ilinsky
да хз, это вообще всё в кубах (попеншифт которые) работает
там может не в спраке и дело тогда?
источник
15:54пожаловаться#5

OI

Oleg Ilinsky in Data Engineers
🤔
ну вообще, возможно
источник
15:55пожаловаться#6

D

Dimidr0 in Data Engineers
Dmitry Zuev
Главное с Бабушкиным не работать
А почему, кстати?
источник
16:02пожаловаться#7

А

Алексей in Data Engineers
подскажите, как Flink обеспечивает реалтайм? У Spark - это микробатчи, а флинка что? Чтото типа лонг полинга?
источник
16:05пожаловаться#8

NN

No Name in Data Engineers
Dimidr0
А почему, кстати?
А кто это, кстати?
источник
16:10пожаловаться#9

SO

Simon Osipov in Data Engineers
Dimidr0
А почему, кстати?
Валера борьбой занимался и нож у него был всегда)
источник
16:12пожаловаться#10

D

Dmitriy in Data Engineers
Anton Zadorozhniy
вообще надо начать этот разговор с пристального взгляда на архитектора который такое предложил, но тут уже не технические вопросы
имя ему космический хаос
источник
16:16пожаловаться#11

ИК

Иван Калининский... in Data Engineers
Алексей
подскажите, как Flink обеспечивает реалтайм? У Spark - это микробатчи, а флинка что? Чтото типа лонг полинга?
Рилтайм недостижим физически, нужно выбирать приближение, исходя из потребностей))
источник
16:20пожаловаться#12

ИК

Иван Калининский... in Data Engineers
Dmitriy
имя ему космический хаос
сдаётся мне, что вся заваруха из-за желания не съезжать с легаси
источник
16:28пожаловаться#13

AZ

Anton Zadorozhniy in Data Engineers
Алексей
подскажите, как Flink обеспечивает реалтайм? У Spark - это микробатчи, а флинка что? Чтото типа лонг полинга?
тут все написано https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/sources.html#sourcereader
источник
16:30пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
вообще раздел полезный, особенно если вы пишете свой data source, там много полезных замечаний которые надо держать в уме
источник
16:35пожаловаться#15

А

Алексей in Data Engineers
Anton Zadorozhniy
тут все написано https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/sources.html#sourcereader
основная идея получается в цикле без задержки опрашивать источник, пока не получит новую порцию данных? (вместо фиксированных по времени запуска микробатчей спарка)
>  A Flink task keeps calling pollNext(ReaderOutput) in a loop to poll records from the SourceReader.
источник
16:40пожаловаться#16

e

er@essbase.ru in Data Engineers
Иван Калининский
сдаётся мне, что вся заваруха из-за желания не съезжать с легаси
И это правда
источник
16:48пожаловаться#17

AZ

Anton Zadorozhniy in Data Engineers
Алексей
основная идея получается в цикле без задержки опрашивать источник, пока не получит новую порцию данных? (вместо фиксированных по времени запуска микробатчей спарка)
>  A Flink task keeps calling pollNext(ReaderOutput) in a loop to poll records from the SourceReader.
да, SourceReader выдает блок на каждый полл (и признак того есть есть ли там еще данные, ждать или закрывать ридер вообще, если это батч)
источник
16:51пожаловаться#18

А

Алексей in Data Engineers
Anton Zadorozhniy
да, SourceReader выдает блок на каждый полл (и признак того есть есть ли там еще данные, ждать или закрывать ридер вообще, если это батч)
спасибо
источник
16:56пожаловаться#19

AZ

Anton Zadorozhniy in Data Engineers
там самое интересное конечно это event time и watermark генераторы
источник
16:58пожаловаться#20