А
локальная, т.е. тупо на ноуте поставил спарк и запустил джобу
Size: a a a
2021 July 02
rG
Я еще не понимаю какая роль у витрин в этом всем, если можно лайв.
rG
А есть где-нибудь плейлист еще на ютубе с подобными лекциями? Там кажись меилру была. Всего одну нашел(
rG
Или я обознался и Гриш больше в ДЕ, чем где либо)
GP
на конференциях я со спарком не докладывал) ток на спарк митапе выступал; мож обознался (?)
но там говорил про то как партицирование происходит и как избегать ненужного шафла
но там говорил про то как партицирование происходит и как избегать ненужного шафла
rG
Ох. Окей) не буду приставать) а хотел)
NN
Я не оч силен в спарк стэндэлоун, так что лучше тут Вас самому почитать. Но, грубо, если нода одна, то, да, все пойдет в один поток, и толку от спарка нет.
GP
ну колво ядер то может быть больше одного 🙂
NN
Витрина - это просто табличка. Грубо, Вы можете или просто складывать в hdfs файлики, и процессите их, указывая директорию или конкретные файлы, или сохраняете данные в табличку, и тогда у вас ещё появляются метаданные в метасторе, и происходит обращение к нему при работе с табличкой.
NN
Ну, да, логично.
NN
Я уже на даче пьянствую, так что мыслями далеко)
NN
Зачем Вам этому учиться? Задачу так поставили?
rG
Да, только что в лекции про это говорили))
rG
На втором этапе собеса обозначили три пункта: кассандра, спарк, кафка. Месяц-два может у меня есть, чтоб научиться собирать данные для анализа. Это типа фулстек аналитик называется. Наверно)
rG
Собес был с директором, так что я решил запотеть.
А
нифигасе аналитик дата инженер)
rG
Но мнеж не надо это всё поднимать. Онож уже все работает. Миллиарды строк.
NN
Я бы рекомендовал разориться и сгонять на курсы de от newprolab. Не помню, есть ли там кассандра, но там Вы по итогу сделаете собственный проект, включающий в себя в том числе спарк и кафку, и много других чудесных вещей. Уровень знаний для собеса по итогу будет достаточным.
rG
Я безработный. Мне 37. Набрал еды на год и учусь сам. Как-то так) учился я на кодера с++ но не практиковал совсем.
rG
…после универа.