AZ
Не, сервер за 90 р.)
лучше 2 ядра но 1 гиг хотя бы
Size: a a a
2020 March 06
A
Кто разворачивал NiFi, знаете его системные требования (требуемое кол-во RAM и дискового пространства)? В документации пишут только про Java 8, операционки и браузеры.
N
Может это на самом деле miNiFi?
Он вообще на калькуляторе запускается.
Он вообще на калькуляторе запускается.
АБ
Вот на MiNiFi и смотрю
AZ
так это совсем другое дело
АБ
На работе ETL-щики подсказали про него
AZ
там зависит от нагрузки, но ему достаточно десятков мегабайт, он под встройку даже подходит, вроде сенсоров
AZ
главное чтобы нужные вам процессоры были, или умение писать на плюсах
RI
Коллеги, а кто какие используют hdfs клиенты для python?
D
Использовал это https://pypi.org/project/PyHDFS/ . По сути это клиент для WebHDFS, годится для несложных операций.
RI
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
M
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
EMR 6+ разве не с ним из коробки?
RI
EMR 6+ разве не с ним из коробки?
не трогал EMR, планирую работу с CDH кластером
АЖ
Использовал это https://pypi.org/project/PyHDFS/ . По сути это клиент для WebHDFS, годится для несложных операций.
Это если одмины и иб забыли отключить
АЖ
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
Да, используем
ЕГ
pyarrow
АЖ
Евгений Глотов
pyarrow
Эээ
АЖ
Pyarrow требует либу hdfs для себя
A
Евгений Глотов
pyarrow
И внутри он либо libhdfs который подымает внутри jvm или libhdfs3
ЕГ
Да