В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 October 10

A

Alex in Data Engineers
fuse это уровень трансляции и интерфейс со стороны ядра
с одной стороны он с кернел vfs взаимодействует
с другой в userspace реализация лежит того что нужно (hdfs, sshfs, restfs, и тд)

сейчас для fuse hdfs вроде даже нативную реализацию hdfs делали, для уменьшения оверхеда
а раньше запускался внутренний libjvm и молотило все в java коде
источник
14:18пожаловаться#1

A

Alex in Data Engineers
будет ли быстрее через fuse чем через nfs gateway зависит от того что и как вы собираетесь делать
так как fuse конечно открывает коннекты на датаноды напрямую, но вот вопрос реализации и поддержки открыт
источник
14:20пожаловаться#2

A

Alex in Data Engineers
https://github.com/apache/hadoop/tree/trunk/hadoop-hdfs-project/hadoop-hdfs-native-client/src/main/native/fuse-dfs/doc

нет, все так же требует jvm внутри
GitHub
apache/hadoop
Apache Hadoop. Contribute to apache/hadoop development by creating an account on GitHub.
источник
14:24пожаловаться#3

F

Flover in Data Engineers
спасибо большое, буду наверное через gateway. он уже с коробки есть
источник
14:27пожаловаться#4

A

Alex in Data Engineers
вопрос чатику:
кто-нибудь пользовался libhdfspp или нет?

тот же arrow для доступа к hdfs имеет 2 варианта:
1) libhdfs который запускат libjvm и дергает java код
2) libhdfspp с нативной реализацией протокола в плюсах

но чтобы кто-то с arrow напрямую к hdfs лез что-то не слышал =(
источник
14:33пожаловаться#5

GP

Grigory Pomadchin in Data Engineers
Alex
вопрос чатику:
кто-нибудь пользовался libhdfspp или нет?

тот же arrow для доступа к hdfs имеет 2 варианта:
1) libhdfs который запускат libjvm и дергает java код
2) libhdfspp с нативной реализацией протокола в плюсах

но чтобы кто-то с arrow напрямую к hdfs лез что-то не слышал =(
libhdfs3 слышал
https://hdfs3.readthedocs.io/en/latest/
источник
14:37пожаловаться#6

K

KrivdaTheTriewe in Data Engineers
Alex
вопрос чатику:
кто-нибудь пользовался libhdfspp или нет?

тот же arrow для доступа к hdfs имеет 2 варианта:
1) libhdfs который запускат libjvm и дергает java код
2) libhdfspp с нативной реализацией протокола в плюсах

но чтобы кто-то с arrow напрямую к hdfs лез что-то не слышал =(
либхдфс юзал, нужно чтобы все переменные среды были определены нормально и тогда работает, но библиотека крайне скудна на функционал
источник
14:39пожаловаться#7

ЕГ

Евгений Глотов in Data Engineers
Alex
вопрос чатику:
кто-нибудь пользовался libhdfspp или нет?

тот же arrow для доступа к hdfs имеет 2 варианта:
1) libhdfs который запускат libjvm и дергает java код
2) libhdfspp с нативной реализацией протокола в плюсах

но чтобы кто-то с arrow напрямую к hdfs лез что-то не слышал =(
Использую pyarrow + libhdfs
источник
14:49пожаловаться#8

ЕГ

Евгений Глотов in Data Engineers
Потому что сишные либы libhdfs есть в поставке hdp, а всё остальное надо ставить через судо
источник
14:50пожаловаться#9

DM

Daniel Matveev in Data Engineers
@pomadchin сёр, плиз провайд ё экселент эрудишн

Ты ж наверняка пробовал/смотрел postgis? У него там свой кастомный индекс с персистом на диск?
источник
16:04пожаловаться#10

λ

λoλdog in Data Engineers
А у постгри все из коробки есть, че вообще даже постгис ?
источник
16:06пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
Daniel Matveev
@pomadchin сёр, плиз провайд ё экселент эрудишн

Ты ж наверняка пробовал/смотрел postgis? У него там свой кастомный индекс с персистом на диск?
да, поверх р дерева
источник
16:07пожаловаться#12

GP

Grigory Pomadchin in Data Engineers
λoλdog
А у постгри все из коробки есть, че вообще даже постгис ?
поиск по вложению, пересечению, и т.п.
источник
16:07пожаловаться#13

GP

Grigory Pomadchin in Data Engineers
удобные функции просто
источник
16:08пожаловаться#14

GP

Grigory Pomadchin in Data Engineers
https://postgis.net/workshops/postgis-intro/indexing.html
источник
16:08пожаловаться#15

DM

Daniel Matveev in Data Engineers
Grigory Pomadchin
да, поверх р дерева
гуд, спасибо, сёр
источник
16:08пожаловаться#16

λ

λoλdog in Data Engineers
Прикольно
источник
16:09пожаловаться#17

EA

Evgeny A in Data Engineers
вопрос чату
Как можно получить среднее время выполнения таски hive сервера по jmx (executing, compiling tasks... etc)?
источник
18:59пожаловаться#18

λ

λoλdog in Data Engineers
Можно взять dropwizard и вкрутить в таску
источник
19:03пожаловаться#19
2019 October 11

K

Kirill in Data Engineers
Есть в чате знатоки спарка? Вопрос - делаю leftsemi джойн двух датафремов и вижу что проиходит полный шафл правого датафрейма, хотя от него нужна только одна колонка. Т.е. по сути мне нужно сделать селект одной колонки правого датафрейма чтобы все было в разы быстрее. Почему catalyst такое не ловит? Есть ли ишью(я не нашел)?
источник
13:33пожаловаться#20