Size: a a a

2021 May 07

В

Вячеслав in Data Engineers
Если это просто миграция данных из базы в базу - почему не ETL какой-нибудь?
По описанию это сейчас выглядит дико странно.
источник

S

Sebastian in Data Engineers
эту миграцию нужно будет превратить в етл/елт потом и поставить на планирование
источник

S

Sebastian in Data Engineers
походу, я тоже что-то не понимаю тут
источник

S

Sebastian in Data Engineers
ну, нужна миграция сейчас)
источник

S

Sebastian in Data Engineers
кажется, я понял откуда у меня это... есть один девопс, который мой код подглядывает в гитлабе и комментирует. хочу какое-то красивое архитектурное решение для своих адаптеров для импрешона)
источник

S

Sebastian in Data Engineers
хотя, впрочем, все равно
источник

r

romλn in Data Engineers
Коллеги, привет. Был на проекте hbase поверх него phoenix. Поменялись юз кейсы нужно держать овер 1к qps в которых ренж сканы по таймстемпу в в рамках даты за один день (200 млн рекордов)
источник

GP

Grigory Pomadchin in Data Engineers
хорошая история
источник

r

romλn in Data Engineers
Phoenix не держит более 40 qps
источник

r

romλn in Data Engineers
Подскажите чем можно подменить?
источник

AS

Andrey Smirnov in Data Engineers
ну так уберите его
источник

r

romλn in Data Engineers
Hbase тоже не справляется
источник

GP

Grigory Pomadchin in Data Engineers
это как? медленно отрабатывает? или что
источник

AS

Andrey Smirnov in Data Engineers
ну так больше регионов, больше серверов, больше памяти, тюнить column family (если это применимо)
источник

r

romλn in Data Engineers
Падает скорость ответа после 30-40 qps
источник

GP

Grigory Pomadchin in Data Engineers
должна до 60мс держать
источник

GP

Grigory Pomadchin in Data Engineers
не так много 1000кпс
источник

AS

Andrey Smirnov in Data Engineers
ну так может у вас один регион хот, все внего лезут.
чем читаете, дата локалити  и т.д.
источник

GP

Grigory Pomadchin in Data Engineers
+
источник

AS

Andrey Smirnov in Data Engineers
но универсальный ответ один, выкиньте феникс
источник