Size: a a a

2020 March 06

AZ

Anton Zadorozhniy in Data Engineers
Александр Булатов
Не, сервер за 90 р.)
лучше 2 ядра но 1 гиг хотя бы
источник

A

Anton Kovalenko in Data Engineers
Александр Булатов
Кто разворачивал NiFi, знаете его системные требования (требуемое кол-во RAM и дискового пространства)? В документации пишут только про Java 8, операционки и браузеры.
источник

N

Nikita Blagodarnyy in Data Engineers
Может это на самом деле miNiFi?
Он вообще на калькуляторе запускается.
источник

АБ

Александр Булатов in Data Engineers
Вот на MiNiFi и смотрю
источник

AZ

Anton Zadorozhniy in Data Engineers
так это совсем другое дело
источник

АБ

Александр Булатов in Data Engineers
На работе ETL-щики подсказали про него
источник

AZ

Anton Zadorozhniy in Data Engineers
там зависит от нагрузки, но ему достаточно десятков мегабайт, он под встройку даже подходит, вроде сенсоров
источник

AZ

Anton Zadorozhniy in Data Engineers
главное чтобы нужные вам процессоры были, или умение писать на плюсах
источник

RI

Rustam Iksanov in Data Engineers
Коллеги, а кто какие используют hdfs клиенты для python?
источник

D

Dmitry Tron in Data Engineers
Использовал это https://pypi.org/project/PyHDFS/ . По сути это клиент для WebHDFS, годится для несложных операций.
источник

RI

Rustam Iksanov in Data Engineers
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
источник

M

Mi in Data Engineers
Rustam Iksanov
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
EMR 6+ разве не с ним из коробки?
источник

RI

Rustam Iksanov in Data Engineers
Mi
EMR 6+ разве не с ним из коробки?
не трогал EMR, планирую работу с  CDH кластером
источник

АЖ

Андрей Жуков in Data Engineers
Dmitry Tron
Использовал это https://pypi.org/project/PyHDFS/ . По сути это клиент для WebHDFS, годится для несложных операций.
Это если одмины и иб забыли отключить
источник

АЖ

Андрей Жуков in Data Engineers
Rustam Iksanov
Я сейчас смотрю в сторону hdfs3, его кто-нибудь использует?
Да,  используем
источник

ЕГ

Евгений Глотов in Data Engineers
pyarrow
источник

АЖ

Андрей Жуков in Data Engineers
Евгений Глотов
pyarrow
Эээ
источник

АЖ

Андрей Жуков in Data Engineers
Pyarrow требует либу hdfs для себя
источник

A

Alex in Data Engineers
Евгений Глотов
pyarrow
И внутри он либо libhdfs который подымает внутри jvm или libhdfs3
источник

ЕГ

Евгений Глотов in Data Engineers
Да
источник