вообще, складывается впечталение, что дата инжиниринг — это только для взрослых дядек, которые и на джаве жнец, и на администрировании игрец и в базах данных дудец, поэтому джуновых вакансий такого рода не видно от слова совсем, только синьорные. Компаниям нужны специалисты, которые могут, грубо говоря, и дата лейк поднять и инфраструктуру настроить и мониторингом всё это обложить. мне кажется, или это далеко не джуновского уровня задачи? интересно, какого уровня задачи дают на таких стажировках?

Вроде в питерском epam были.

Эта стажировка как раз не касалась де. Это стажировка в плане обращения и использования к двх, в том числе, к даталейку

А дата инжинер причем тут?

Кто нибудь работал со sqoop через ssh tunnel или какойто proxy, pg_hba.conf не пускает с дев машины

а воркеры имеют доступ к тунелю?

где-то была статья года 2013го про это

или даже на мастере не работает ничо?

просто проблемы нет просто кинуть тунель на мастер ssh -L

но может бытьчто воркеры не имеют доступа

флажок -g еще нужен будет

спс, буду думать как это реализовать

у меня тачка airflow, у нее везде есть доступы
есть remote hadoop 10 тачек с нодами (у них нет никуда доступа)

sqoop параллелит и делает коннекшены с нод, тут появляется пробелма

такой туннель будет SPF и узким местом лучше все-таки разрешить соединяться с нужными базами данных из кластера (входящие при этом пусть остаются закрытыми)

Коллеги, посоветуйте годную либу под python для работы с файловой системой HDFS

наподобие snakebite

Люди из arrow пытались использовать

(py)arrow, в целом, норм, но он не на работу с hdfs нацелен

pyarrow