UD
Size: a a a
2019 October 05
A
Евгений Глотов
можно выкатить то, что получилось напилить, за несколько дней, с падением производительности в 2 раза
я выше писал про spakdeploy plugin
но у нас такой же есть и для питоновского кода =)
oozie + сгенерированный xml + hadoop yarn docker
указал в каком енве/image и как часто запускать надо, оно и полетело
одна команда
причем в качестве параметра как python скрипт, так и jupyter notebook (python/sparkmagic) можно указать
всё перевариваем
но у нас такой же есть и для питоновского кода =)
oozie + сгенерированный xml + hadoop yarn docker
указал в каком енве/image и как часто запускать надо, оно и полетело
одна команда
причем в качестве параметра как python скрипт, так и jupyter notebook (python/sparkmagic) можно указать
всё перевариваем
A
поэтому с “выкатили то что получилось написать” хорошо знаю
ЕГ
вопрос только в соотношении объёмов кастомного кода и опенсорсного)
UD
еще бы критео разродились своим сервисом для профайлера
UD
oops или как он там
ЕГ
@Unkledolan я там выше спрашивал уже, но все молчат
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
https://iceberg.incubator.apache.org/
никто еще не пробовал? а то что-то нетфликс регулярно пиярит
по описанию круто, надо будет проверить)
A
комитов не сильно много, ну и в issues тоже достаточно много всего
поэтому и интересны были отзывы
поэтому и интересны были отзывы
ЕГ
ну, аксакалы бигдэйты поговаривают, что спарк в инкубаторе тоже через раз работал)
AS
Евгений Глотов
с использованием gpu
deeplearning4j умеет в gpu, вот доклад будет в ближайшее время
https://bigdatadays.ru/ru/spark/
https://bigdatadays.ru/ru/spark/
ЕГ
deeplearning4j умеет в gpu, вот доклад будет в ближайшее время
https://bigdatadays.ru/ru/spark/
https://bigdatadays.ru/ru/spark/
пару лет назад видел инфу про tensorflow-on-spark, но это всё было на уровне альфа-версий в каких-то репозиториях в гите, теперь, я так понял, по-нормальному допилили?)
ЕГ
всё равно есть вещи, которые ну вот явно нескоро кто-то возьмётся запилить поверх спарка, и тут pandas udf решает вопрос применения модели, причём рабочий процесс ДСов вообще не затрагивается
A
Евгений Глотов
ну, аксакалы бигдэйты поговаривают, что спарк в инкубаторе тоже через раз работал)
Причём требовал специальной версии хадупа.
В то время yarn не было, а каждый map/reduce таск должен был выполниться в указанный промежуток времени, так что долгоиграющие драйвер и воркеры спарка не вписывались.
Был ещё какой то фреймворк на питоне, распределенный, в итоге питониста пальцем тыкали что их WordCount работает быстрее и Mr и спарка, и не требует тормозной jvm
В то время yarn не было, а каждый map/reduce таск должен был выполниться в указанный промежуток времени, так что долгоиграющие драйвер и воркеры спарка не вписывались.
Был ещё какой то фреймворк на питоне, распределенный, в итоге питониста пальцем тыкали что их WordCount работает быстрее и Mr и спарка, и не требует тормозной jvm
A
Про то что хайв чекали скриптом по крону на
select 1 и рестартили если что уже не говорю ;)ЕГ
GP
Евгений Глотов
можно конечно упороться и написать всё на чистом си, используя MPI, но вы поседеете, а проект так и не сдадите)
Почему это быстрее будет?
GP
В любом случае надо копировать из памяти в память
GP
минимизация (де) сериализаций то что надо
ЕГ
Да, я имел в виду, что сериализации нет
ЕГ
А вот что копирование есть, не думал об этом