Size: a a a

2021 June 01

AZ

Anton Zadorozhniy in Data Engineers
Latency, не throughput
источник

K

KrivdaTheTriewe in Data Engineers
а есть более нагруженые тесты?
источник

AZ

Anton Zadorozhniy in Data Engineers
Не могу показать) но ребята из панды вам точно помогут
источник

AZ

Anton Zadorozhniy in Data Engineers
Могу сказать что на большем потоке разница поменьше но все равно около порядка
источник

K

KrivdaTheTriewe in Data Engineers
у меня именно тот кейс , когда это не нагруз тестирование
источник

K

KrivdaTheTriewe in Data Engineers
фрупут тож интересен
источник

AZ

Anton Zadorozhniy in Data Engineers
Если вы сильно упираетесь в латенси Кафки - обязательно сделайте бенчмарк
источник

AZ

Anton Zadorozhniy in Data Engineers
Другое дело что в бигдате люди не так часто упираются в латенси Кафки, поэтому адопшен красной панды не очень большой
источник

K

KrivdaTheTriewe in Data Engineers
в фрупут
источник

K

KrivdaTheTriewe in Data Engineers
источник

K

KrivdaTheTriewe in Data Engineers
тут как бы летенси тож не супер)
источник

AZ

Anton Zadorozhniy in Data Engineers
Для acks all? Ну если вы сможете сильно быстрее - весь рынок ваш
источник

K

KrivdaTheTriewe in Data Engineers
я могу пока только в чате задавать вопросы
источник

СС

Святослав Семеркин... in Data Engineers
подскажите плиз, в сторону какого фреймворка посмотреть, чтобы можно было бы скачивать данные из базы, апи и ftp и определять свою логику при трансформации? И хотелось бы запускать этот фреймворк из кода, не через гуи
источник

A

Alex in Data Engineers
Nifi может?
источник

K

KrivdaTheTriewe in Data Engineers
у нас внутренний фрейворк на spark
источник

K

KrivdaTheTriewe in Data Engineers
над фтп сделали доп слой в виде nfs
источник

СС

Святослав Семеркин... in Data Engineers
понял, благодарю)
источник

СС

Святослав Семеркин... in Data Engineers
у вас был с этим похожий опыт или просто предположение?)
источник

VP

Vitaly Pismarev in Data Engineers
Ну где же ты раньше с этим инсайдом был. Клоудера за сегодня +23% показывает )
источник