A
@krivdathetriewe webhdfs + knox
Size: a a a
2019 June 03
GG
фишка в том, что ты кормишь реквайрементс. Они обычно по алфавиту. у тебя какой-нибудь nmslib, который зависит от pybind11
GG
угадай что и в каком порядке ставится
GG
ну типичная боль, любая либа с нативными зависимостями
+100
A
ну типичная боль, любая либа с нативными зависимостями
с нативными насколько помню только condo поможет, но и то не всегда
UD
ну типа тензорфлоу
UD
воркс он май машин, а прод на каком-нибудь центосе6
GG
с нативными насколько помню только condo поможет, но и то не всегда
ты легко можешь въехать в ту же проблему, что и с нативными пакетами питон для операционки (apt install, yum install)
UD
или нампу, для сборки которого нужен компилятор фортрана
GG
нампи обычно из вилов ставится. Но если ставится из исходников. Проще застрелиться
UD
ну или докер образ в пару гигов 🙂
A
у нас второе =)
GG
нампи и прочее говно, по-моему, в 800МБ вписать можно
A
докер образы
GG
тензорфлоу - да, + еще фиг знает скольок. Итого образы по 1.5-2-5ГиБ
GG
докер образы
это не решает полностью проблему с зависимостями. А только проблему с повторяемостью и засиранием хостовой системы
K
@krivdathetriewe webhdfs + knox
Pyarrow
A
эм, а каким боком pyarrow к доступу на hdfs?
GG
но оно как-то не так взлетало