UD
С рестартом неймнод чтение fsimage все еще одним тредом?
Size: a a a
2019 October 01
UD
(Пока в игрушечном кластере создали 50млн файлов, стартует минут 7 )
ПФ
но вы бы слышали что придумывают люди отвечая на этот вопрос
Мне прям интересно. Я конечно не знал сколько занимает места, но мне пришло в голову только зависание из-за занятости всех дескрипторов и память
ПФ
типо в самом плохом случае - у тебя все дескрипторы это открытые файлы
Не, подожди, там как минимум должны быть сокеты, хотя бы один, нет?
2019 October 02
C
Sibcast Balarabe has been banned! Reason: CAS ban.
C
Atucious loki has been banned! Reason: CAS ban.
C
C
OK
Всем привет. Возникла необходимость вытягивать данные из хдфс/bigquery и скидывать в какую-то обычную базу(планируется монго), чтобы микросервисы бегали во что-то простое и не знали ничего о бигдата.
Вот и Возник вопрос: надо ли пилить свой велосипед или что-то уже есть в опенсурсе?
Заранее спасибо
Вот и Возник вопрос: надо ли пилить свой велосипед или что-то уже есть в опенсурсе?
Заранее спасибо
OK
В общем планируется спаркжою, который периодически будет вытягивать какие-то таблицы их хдфс и вкидывать в монгу. Любое похожее решение будет интересно изучить.
A
Можно скупом, можно спарком, можно вообще консольной утилитой "прочитал-записал"
Вы бы объёмы примерные назвали
Вы бы объёмы примерные назвали
OK
Можно скупом, можно спарком, можно вообще консольной утилитой "прочитал-записал"
Вы бы объёмы примерные назвали
Вы бы объёмы примерные назвали
В планах спарковой джобой брать и вкидывать в бд. Данных много, но вытянуть придется мааалую часть
OK
Хотя это много вопрос относительный, но не петпбайты
OK
Да и вопроч не про перформанс, а про: пилим велик или нет
A
Ну вот вот из "невелосипедов":
1) sqoop
2) hive (коннекторы ко всему что только можно)
3) spark
Любое из решений можно скрестить для окрестрации и скедулинга
1) airflow (пишем описание на python)
2) oozie (xml, можно как квадратики в hue накидать, так и выгенерить откуда)
3) Pentaho
1) sqoop
2) hive (коннекторы ко всему что только можно)
3) spark
Любое из решений можно скрестить для окрестрации и скедулинга
1) airflow (пишем описание на python)
2) oozie (xml, можно как квадратики в hue накидать, так и выгенерить откуда)
3) Pentaho
A
Вопрос слишком абстрактный чтобы иметь одно решение :)
A
И иногда велик с простым классом и параметрами src-dst запускаемый через cron тоже имеет право на существование
OK
Ну вот вот из "невелосипедов":
1) sqoop
2) hive (коннекторы ко всему что только можно)
3) spark
Любое из решений можно скрестить для окрестрации и скедулинга
1) airflow (пишем описание на python)
2) oozie (xml, можно как квадратики в hue накидать, так и выгенерить откуда)
3) Pentaho
1) sqoop
2) hive (коннекторы ко всему что только можно)
3) spark
Любое из решений можно скрестить для окрестрации и скедулинга
1) airflow (пишем описание на python)
2) oozie (xml, можно как квадратики в hue накидать, так и выгенерить откуда)
3) Pentaho
Крутота!
OK
И иногда велик с простым классом и параметрами src-dst запускаемый через cron тоже имеет право на существование
Да, тоже рассматриваем
OK
Спасибо за инфо