rG
Спарк джоб и драйвер это одно понятие?
Size: a a a
2021 July 02
NN
Неа. Джоб - этот процесс обработки. Драйвер - ну, это драйвер, даже не знаю.
rG
).. спасибо такой ответ очень поможет) а то две вероятных информационные ветки запоминать при просмотре лекций затея не оч)
rG
у меня ещё загуглить лекций про спарк джоб не получается)) вакансии выпадают))
NN
Не нужно гуглить отдельно лекции про спарк джоб, это же просто процесс обработки данных в спарке. Допустим, у Вас пайспарк, Вы подняли в ноутбучике спарк-сессию - считайте, что у вас теперь есть спарк приложение. Запуск скрипта в нем инициирует спарк-джобу. Она, в свою очередь, состоит из стейджей и тасков.
Почитайте просто про архитектуру спарка, это даст нужное представление.
Почитайте просто про архитектуру спарка, это даст нужное представление.
rG
Ой спасибоо.. я уже не первый день людей мучаю) и тут приспрашивался.. для понимания взаимодействий хотел узнать. Может у вас есть что посоветовать конкретное для стака: кассандра, кафка, спарк, табло? Я имею ваиду полезные материалы для изучения ну или хотяб благословление)
NN
Благословляю Вас
NN
Ну, а если серьезно - никаких рекомендаций по стэку я дать не могу, исходите из потребностей - что на работе есть, в задачах используется, то и изучайте.
Материалы - ну, читайте доки, почитайте материалы какой-нибудь бигдатаскул, книжки на орайли есть по спарку хорошие, типа spark: the definitive guide, аналогичная есть по кафке и прочему.
Ну и стаковерфлоу, само собой.
Материалы - ну, читайте доки, почитайте материалы какой-нибудь бигдатаскул, книжки на орайли есть по спарку хорошие, типа spark: the definitive guide, аналогичная есть по кафке и прочему.
Ну и стаковерфлоу, само собой.
NN
Для систем дизайна местные ребята всегда советуют Designing Data-Intensive Applications, как раз читаю. Тоже на орайли есть.
rG
Думал с доков спарка начать. Я пока даже соотношение оценить не могу этих трех первых.
NN
Просто начните с того, что непосредственно делаете. И, да, лучше всего начать с доков.
rG
Ощущение что спарк процентов 80, а остальное кассандра с кафкой.
rG
Гляну, спасибо)
А
Типа вот так, да?)
У меня просто тот же вопрос был
У меня просто тот же вопрос был
NN
Ну мне тут даже добавить нечего
А
а можно еще нубский вопрос - а как образуются стейджи? почему какие то содержат в себе 1 таск а какие то много тасков?
rG
Там выше была рекомендация поизучать спарк, наверно там описано и это
NN
Стейджи разделяют широкие трансформации, если проще - между ними шаффл.
rG
Что такое шафл?))