Size: a a a

2021 June 03

SS

Sergey Shushkov in Data Engineers
Ну цсв на 15м тоже не пару минут выгружаться будет
источник

AZ

Anton Zadorozhniy in Data Engineers
«Посылать в Кафке только метаданные про готовый датасет? Это же не очень стримингово»
источник

NN

No Name in Data Engineers
А что я не так сказал?
Я сейчас не хочу вообще об энтерпрайзе говорить, а говорю об архитектуре в вакууме.
И, кстати, я из телекома, и довольно часто здесь решение архитектурное выбирается на уровне команды.
источник

AZ

Anton Zadorozhniy in Data Engineers
Зависит от размеров в байтах, но S3 rest api выдаёт 100 мб/сек не особо пыхтя
источник

NN

No Name in Data Engineers
Ладно, хотел знаний набраться, но, чувствую, настрой сегодня у народа шутливый)
источник

SS

Sergey Shushkov in Data Engineers
Я скорее про выгрузку из чего то релиационного в холодное, а не скачку из холодного
источник

AZ

Anton Zadorozhniy in Data Engineers
Ну вот у меня как раз что-то реляционное под рукой, оно ещё быстрее работает)
источник

SS

Sergey Shushkov in Data Engineers
А таблица исхода плоская?)
источник

AZ

Anton Zadorozhniy in Data Engineers
Там три десятка джоинов по 10 ТБ данных, делаю демо для клиента
источник

SS

Sergey Shushkov in Data Engineers
Весело у вас
источник

AZ

Anton Zadorozhniy in Data Engineers
Просто батч это изначально способ оптимизации, если он медленнее чем «по одному» даже в несколько потоков - вы что-то сделали не так
источник

SK

Sergey Kaurov in Data Engineers
Почему в для spark в udf не дают функции работать?
В место:
Range (start, end, 1)
Когда прописал значения:
Range(2021, 2025, 1)
А до этого "квасилась" чего-то с диагнозом:
java.lang.StackOverflowError
источник
2021 June 04

TT

Taika Tytto in Data Engineers
Добрый вечер

Подскажите, какие есть адекватные аналоги (беслпатные и не очень) Microsoft SQL Server Master Data Services?
источник

VG

Vsevolod Grabelnikov in Data Engineers
Есть unidata community edition (сам не ковырял)
источник

GP

Grigory Pomadchin in Data Engineers
пример покажи чо пытаешься сделать
источник

GP

Grigory Pomadchin in Data Engineers
не понятно как интепретировать твой вопрос
источник

GP

Grigory Pomadchin in Data Engineers
у меня вот 1 to 100 by 1 работает
источник

SK

Sergey Kaurov in Data Engineers
Написать могу сейчас по памяти
источник

GP

Grigory Pomadchin in Data Engineers
источник

SK

Sergey Kaurov in Data Engineers
vak start = (ввожу через z.input)
val end = (z.input..)
Далее
источник