Size: a a a

2017 June 13

AM

Aleksander Melnichnikov in Data Engineers
Я и не собирался :)) я сразу понял, что с локом на всю базу засчет одного пишущего треда я далеко не уеду
источник

NK

ID:1373407 in Data Engineers
tenKe
какую очередь лучше под 1.6.3 использовать, если требования - это в первую очередь стабильность работы
то есть вы с разными спарками хотите разный мессадж брокер использовать?
источник

t

tenKe in Data Engineers
не
источник

t

tenKe in Data Engineers
мы используем 1.6.3 и планируем использовать брокер
источник

t

tenKe in Data Engineers
вопрос в том, что под 2.0 рабочих вариантов достаточно много, а вот под 1.6.3 я только кафку видел
источник

t

tenKe in Data Engineers
остальное либо не тестировалось на 1.6х, либо еще что нибудь
источник

NK

ID:1373407 in Data Engineers
tenKe
вопрос в том, что под 2.0 рабочих вариантов достаточно много, а вот под 1.6.3 я только кафку видел
Ну если работает кафка, зачем на что-то другое менять? Мне предстоит сейчас с кроликом работать, и пока мне он кажется более проблемной вещью чем кафка
источник

t

tenKe in Data Engineers
спасибо
источник

NK

ID:1373407 in Data Engineers
tenKe
спасибо
но это субъективно. Поэтому я бы провёл бы исследования.
источник

t

tenKe in Data Engineers
да, само собой тестировать будем :) просто пытаюсь понять, с чего начинать
источник

t

tenKe in Data Engineers
видимо с кафки
источник

NK

ID:1373407 in Data Engineers
Некоторые проблемы были с кафка продьюсером в 1.3 версии спарка , валилось соединение если я продьюсер делал один на экзекьютор, поэтому продьюсер пер партишн пришлось сделать
источник

AM

Aleksander Melnichnikov in Data Engineers
Кстати, появился вопрос. Если использовать кафку с монгой, то код консумера придётся писать вручную и приляпывать в Кафке приложение, которое будет ее в монгу разгребать?
источник

NK

ID:1373407 in Data Engineers
Aleksander Melnichnikov
Кстати, появился вопрос. Если использовать кафку с монгой, то код консумера придётся писать вручную и приляпывать в Кафке приложение, которое будет ее в монгу разгребать?
есть akka-streams
источник

NK

ID:1373407 in Data Engineers
но проще на чём-нибудь типа спарка сделать
источник

AM

Aleksander Melnichnikov in Data Engineers
Ну, т.е это отдельное приложение, которое ее будет перекладывать.
источник

AM

Aleksander Melnichnikov in Data Engineers
Akka-streams - это никак не связано с фреймворком для скалы?:)
источник

GP

Grigory Pomadchin in Data Engineers
)) связано
источник

NK

ID:1373407 in Data Engineers
Я хотел написать kafka-streams, но akka-streams как вариант
источник

AM

Aleksander Melnichnikov in Data Engineers
Понятно. Короче с таким количеством систем походу все придётся упаковывать в докер
источник