GP
никак но послушал бы
Size: a a a
2021 October 11
N
ну если есть хоть какая-то ограниченная сетевая связанность, можно бахнуть кафку во внешнем контуре, кафку во внутреннем и между ними бахнуть миррор мейкер.
N
если нет-извращаться как в нефтебанках, типа SFTP, который в оба сегмента может смотреть.
N
в одном банке видел даже изврат с виртуальными машинами, одна по сети была вовне, другая внутри и они шарили один виртуальный диск, через который и менялись.
SS
а почему не два разных листенера над одной Кафкой? один максимально защищенный - для внешки
N
можно еще по почте слать, гонять почту через Кашпировского и потом из почты брать цсв (извините)
MY
Да, у нас в нефтебанкотелекоме - SFTP.
MY
Чего-то "из разряда кафки" нет
MY
Тоже послушал бы
N
ну можно по всякому, вопрос что инфобезы согласуют. раз такой вопрос вообще возник, значит есть какие-то консерны безопасности, а два листенера значит, что кафка по сети доступна из обоих сегментов, а это безы уже прям очень не любят.
N
если вдруг кто забыл, там сейчас Паша смартдату открывать будет через 30 секунд.
СХ
2021-10-11 21:57:46,668 WARN hdfs.StateChange (FSDirRenameOp.java:unprotectedRenameTo(181)) - DIR* FSDirectory.unprotectedRenameTo: failed to rename /apps/hive/warehouse/export.db/.hive-staging_hive_2021-10-11_21-19-09_930_7940548729657475969-1/_task_tmp.-ext-10004/_tmp.000132_0 to /apps/hive/warehouse/export.db/.hive-staging_hive_2021-10-11_21-19-09_930_7940548729657475969-1/_tmp.-ext-10004/000132_0 because destination's parent does not exist
СХ
встречал кто такую ошибку
СХ
на клоудере есть начало ошибки, но окончание разное а оно явно влияет на смысл
СХ
Д
https://gobblin.apache.org/
Если не спарк - то есть такое, но скорее всего для этой задачи это overhead.
Если не спарк - то есть такое, но скорее всего для этой задачи это overhead.
Т
Коллеги, добрый вечер. Есть какой-нибудь чат с отзывами о работе DE (или в целом IT специалистов) в различных компаниях? Поделитесь ссылками, пожалуйста =)
GP
@datajobs прям туда вопрос
Т
Спасибо=)