Size: a a a

2021 June 22

AA

Ay Artur in Data Engineers
всем привет, извините за вопрос не по теме, а есть такой же чат для java-разработчиков?
источник

АБ

Артемий Богданов... in Data Engineers
@it_chats
Тут есть все
источник

AA

Ay Artur in Data Engineers
👍🏽👍🏽
источник

N

Nikita Blagodarnyy in Data Engineers
источник

SS

Sergey Sheremeta in Data Engineers
дяденьки и тетеньки, здравствуйте!
подскажите, пожалуйста, приходилось ли вам реализовывать "алгоритмы перемещения"? (не знаю как корректно назвать, но уверен что подобное уже придумано!)
суть в том, что мне нужно перемещать между географическими регионами профили пользователей на основании данных о входах пользователей с IP-адресов конкретных регионов.

например, пользователь Джон Доу живет в Северной Вирджинии и его профиль хранится в датацентре us-east-1, но вот он поехал с женой в Париж и начинает входить в сервис с айпишников Европы - я хочу спустя 100 входов с другого региона осуществить перемещение его профиля.
но при этом я не хочу перемещать его профиль если входы с регионов, отличных от его актуального региона, происходят спорадически (из-за работы VPN)
источник

AZ

Anton Zadorozhniy in Data Engineers
я консультировал про такое для геймдева, резюме: надо делать на уровне вашего сервиса-репозитория, на уровне баз данных такое гибко сделать нельзя
источник

AZ

Anton Zadorozhniy in Data Engineers
на уровне таблиц близкое к такому это Follow-the-workload таблицы в таракане, но вам нужно построчно, такое мне не знакомо
источник

SS

Sergey Sheremeta in Data Engineers
спасибо!
пользуясь случаем спрошу: вы не консультируете по вопросами Cross-Region-Replication между Великим Китаем и миром?
источник

AZ

Anton Zadorozhniy in Data Engineers
зависит от отрасли) например в отношении коммерческого автотранспорта они давали выгружать данных из материкового Китая (с учетом что основная копия хранится внутри), а так вообще у вас наверное есть GR для таких вопросов
источник

AZ

Anton Zadorozhniy in Data Engineers
в B2B обычно ограничения на регионы накладываются по соображениям сохранения функциональности в условиях отключения, но есть отрасли где всякие тайны охраняют, для этого есть очень дорогие юристы и джи-ары, они все вам расскажут
источник

R

Roman in Data Engineers
Всем доброго дня. Возможно у кого-то есть что-то интересное для подготовки к кейс интервью? Буду благодарен любым ссылкам и материалам
источник

T

T in Data Engineers
Кейс интервью это вы так систем дизайн назваете ? Или вам там задание заранее дают и потом по нему общаетесь ?
источник

R

Roman in Data Engineers
Сразу дадут задание и нужно будет что-то по нему рассказать, подробностей не дали.
источник

T

T in Data Engineers
А задание какого вида? etl написать или спроектировать продукт какой - нибудь ? Кликстрим аналитику на пример?
источник

~

~~~~~ •} in Data Engineers
Коллеги привет) Подскажите пожта библиотеку для выгрузки в ftp на 12-й Скала и совместимую с 3-м Спарком?
источник

~

~~~~~ •} in Data Engineers
Нашел только такую - "com.springml" % "spark-sftp_2.11" % "1.1.3" но она под 11 вроде только
источник

AS

Adlet Sarsembaev in Data Engineers
Кто нибудь юзал great_expectations?
источник

AS

Adlet Sarsembaev in Data Engineers
Особенно для проверки распределения
источник

AZ

Anton Zadorozhniy in Data Engineers
А как вы хотите контролировать распределение? Считать какие-нибудь KS или PSI против референса или попарно?
источник

AS

Adlet Sarsembaev in Data Engineers
ну у меня есть признаки, забиваем эталонное, дальше на ежедневном расчете сверяем с эталонным, например для дискретных хи-квадрат, для непрерывных калмогоров-смирнов
источник