Size: a a a

2021 October 11

GP

Grigory Pomadchin in Data Engineers
никак но послушал бы
источник

GP

Grigory Pomadchin in Data Engineers
источник

N

Nikita Blagodarnyy in Data Engineers
ну если есть хоть какая-то ограниченная сетевая связанность, можно бахнуть кафку во внешнем контуре, кафку во внутреннем и между ними бахнуть миррор мейкер.
источник

N

Nikita Blagodarnyy in Data Engineers
если нет-извращаться как в нефтебанках, типа SFTP, который в оба сегмента может смотреть.
источник

N

Nikita Blagodarnyy in Data Engineers
в одном банке видел даже изврат с виртуальными машинами, одна по сети была вовне, другая внутри и они шарили один виртуальный диск, через который и менялись.
источник

SS

Sergey Sheremeta in Data Engineers
а почему не два разных листенера над одной Кафкой? один максимально защищенный - для внешки
источник

N

Nikita Blagodarnyy in Data Engineers
можно еще по почте слать, гонять почту через Кашпировского и потом из почты брать цсв (извините)
источник

MY

Maxim Yastremsky in Data Engineers
Да, у нас в нефтебанкотелекоме - SFTP.
источник

MY

Maxim Yastremsky in Data Engineers
Чего-то "из разряда кафки" нет
источник

MY

Maxim Yastremsky in Data Engineers
Тоже послушал бы
источник

N

Nikita Blagodarnyy in Data Engineers
ну можно по всякому, вопрос что инфобезы согласуют. раз такой вопрос вообще возник, значит есть какие-то консерны безопасности, а два листенера значит, что кафка по сети доступна из обоих сегментов, а это безы уже прям очень не любят.
источник

N

Nikita Blagodarnyy in Data Engineers
если вдруг кто забыл, там сейчас Паша смартдату открывать будет через 30 секунд.
источник

СХ

Старый Хрыч... in Data Engineers
2021-10-11 21:57:46,668 WARN  hdfs.StateChange (FSDirRenameOp.java:unprotectedRenameTo(181)) - DIR* FSDirectory.unprotectedRenameTo: failed to rename /apps/hive/warehouse/export.db/.hive-staging_hive_2021-10-11_21-19-09_930_7940548729657475969-1/_task_tmp.-ext-10004/_tmp.000132_0 to /apps/hive/warehouse/export.db/.hive-staging_hive_2021-10-11_21-19-09_930_7940548729657475969-1/_tmp.-ext-10004/000132_0 because destination's parent does not exist
источник

СХ

Старый Хрыч... in Data Engineers
встречал кто такую ошибку
источник

СХ

Старый Хрыч... in Data Engineers
на клоудере есть начало ошибки, но окончание разное а оно явно влияет на смысл
источник

СХ

Старый Хрыч... in Data Engineers
источник

Д

Дмитрий in Data Engineers
https://gobblin.apache.org/
Если не спарк - то есть такое, но скорее всего для этой задачи это overhead.
источник

Т

Тимофей in Data Engineers
Коллеги, добрый вечер. Есть какой-нибудь чат с отзывами о работе DE (или в целом IT специалистов) в различных компаниях? Поделитесь ссылками, пожалуйста =)
источник

GP

Grigory Pomadchin in Data Engineers
@datajobs прям туда вопрос
источник

Т

Тимофей in Data Engineers
Спасибо=)
источник