GG
Size: a a a
2019 June 03
GG
а здесь пишут, что можно pyarrow.HdfsClient юзать
A
Pyarrow
даже оно в доках говорит
driver ({'libhdfs', 'libhdfs3'}, default 'libhdfs') – Connect using libhdfs (JNI-based) or libhdfs3 (3rd-party C++ library from Apache HAWQ (incubating) )
driver ({'libhdfs', 'libhdfs3'}, default 'libhdfs') – Connect using libhdfs (JNI-based) or libhdfs3 (3rd-party C++ library from Apache HAWQ (incubating) )
GG
не совсем догоняю. Так нативного способа из питона ходить в hdfs ведь нет?
GG
libhdfs3 - с этим у меня тоже были нюансы с установкой
A
первая вообще запускает локально libjvm и использует java классы
вторая насколько помню чисто плюсая
в свое время первую использовал
вторая насколько помню чисто плюсая
в свое время первую использовал
A
не совсем догоняю. Так нативного способа из питона ходить в hdfs ведь нет?
A
вот он её и пытался использовать
я её видел, но никогда не использовал
я её видел, но никогда не использовал
A
как раз нативный способ, они реализовали протокол комуникации с неймнодой и датанодой
GG
Не на сишной библиотеке как обычно ? Хм
A
нет, именно все в питоне
A
https://github.com/spotify/snakebite/pull/248/files
пулреквест на третий питон
собрал свою версию и запушил в корпоративный pypi
регулярно такое делаем =)
пулреквест на третий питон
собрал свою версию и запушил в корпоративный pypi
регулярно такое делаем =)
A
@krivdathetriewe ленишься ты, ленишься =)
K
@krivdathetriewe ленишься ты, ленишься =)
Это костыль который не вошел
K
Есть библмотека
A
кстати в 2.7 в хадуп меняли протол для работы с неймнодой, там точно в одном месте int на long меняли
поэтому даже если заставите работать, то потом патчить на поддержку свежего хадупа
поэтому даже если заставите работать, то потом патчить на поддержку свежего хадупа
K
кстати в 2.7 в хадуп меняли протол для работы с неймнодой, там точно в одном месте int на long меняли
поэтому даже если заставите работать, то потом патчить на поддержку свежего хадупа
поэтому даже если заставите работать, то потом патчить на поддержку свежего хадупа
Проще bash вызывать из питон кода
A
ну для pyarrow я выше кинул линк, они заявляют что напрямую могут с hdfs работать (через одну из 2х основных либ)