ЕГ
Они в пандасе становятся обжектами
Size: a a a
2019 October 05
ЕГ
А спарк из принимает как флоат, например
ЕГ
И ломается
ЕГ
С интами та же проблема
GP
ЕГ
А, вернее даже тут в инте проблема
ЕГ
Точно
ЕГ
Пандас в нулловый инт подставляет НаН
ЕГ
Ну и он попадает в спарк, спарк не понимает такое
ЕГ
Думаю, с флоат и стринг не будет такой проблемы
ЕГ
В общем, ограничения есть, они в некоторой степени логичны, вытекают из особенностей реализации как пандаса, так и спарка
ЕГ
Но в общем модели крутятся - лавеха мутится
GP
Хочу свою конвертилку делать
ЕГ
Я внутрь спарка не лезу, поверх него бы успеть напилить всё, что нужно для себя и коллег, помимо работы на продуктах)
E
Всех кроме Алексея из новоприбывших можно удалить
A
а почему такая дискриминация сразу на входе?
E
а почему такая дискриминация сразу на входе?
Ботяры это
E
Ну во первых в их профиль загляни, точно такие же и в другие чаты заходят
DL
Уважаемые коллеги! Я развернул кластер HDFS для хранения и дальнейшей обработки HTML файлов через mapred streeming. Так как файлов очень много, а к тому же html формат хорошо сжимается, я попытался каждый каталог сжать в один файл, для эффективного использования занятого пространства, использовал формат lzo. Но возникла проблема! После сжатия, я уже не смог корректно обрабатывать html в стриминг mapred, потому что после распаковки данные теряются либо перемешиваются и в итоге <html>*</html> страница получается битая. Подскажите пожалуйста как правильно работать с компрессией в HDFS?