DZ
Конекшон можно и пробросить
это ты про что?
Size: a a a
2019 June 17
K
это ты про что?
Ну у эирфлоу есть коннекшоны, которые ты хранишь в базе эирфлоу
DZ
есть
GG
Пришли к тому , что вообще все запускает докероператор и внутри докер оператора все работает
молодцы! я за это и топлю
K
И операторам передаёшь , можно условно написать sql скрипт и запускать из докера , но параметры соединения то передать нужно как то ?
DZ
да, я понял.
RS
Есть ли у кого-нибудь электронная книга об Apache Flink, а связанные ресурсы Flink потребляют данные от Kafka? Можно ли поделиться? Спасибо
K
можно например куипить)
K
или на сафари букс по триалу почитать
VS
можно на торрентах поискать, выбор не большой https://data-flair.training/blogs/apache-flink-books/
N
Можно ламерский вопрос? Есть текущий HDFS c repl factor 2, есть теоретический GFS, в который теоретически нужно съехать. В доке есть фраза: GFS replicas: The GFS has two replicas: Primary and secondary replicas. Это всмысле у него по дефолту repl factor 2?
ЕГ
По описанию больше похоже на то, что там оригинал и две реплики разного приоритета
N
оу, то есть это x3 места? а кто с ни работает, как-то можно это изменить? допустим, исходный HDFS 50TB, HDFS c replfactor 2 - 100TB, на GFS выйдет 150?
ЕГ
Да там наверняка тоже можно задать 2
ЕГ
В хадупе же тоже по умолчанию 3, но можно поменять как в целом, так и для каждой папки отдельно
EL
Евгений Глотов
Да там наверняка тоже можно задать 2
Ага, но будь готов к потери части данных, или решай вопрос с возможным вылетом харда на уровне железа (рейд). Если поднимаешь HDFS в облаке, то можно смело ставить 2 и не так смело даже 1 :)
ЕГ
Ага, но будь готов к потери части данных, или решай вопрос с возможным вылетом харда на уровне железа (рейд). Если поднимаешь HDFS в облаке, то можно смело ставить 2 и не так смело даже 1 :)
VS
Ага, но будь готов к потери части данных, или решай вопрос с возможным вылетом харда на уровне железа (рейд). Если поднимаешь HDFS в облаке, то можно смело ставить 2 и не так смело даже 1 :)
Рейд для хдфс? 😳
EL
Рейд для хдфс? 😳
Дааа. Ты удивишься :)
VS
Зачем?